Tom’s Hardware 报道,一名律师搭建了私人 AI 服务器,使用八块二手 Nvidia V100 GPU,让涉及法律文件的工作尽量留在离线环境完成。这个场景的核心并不是追求最大规模的模型,而是把文件控制权和计算能力放到自己手里。

这台服务器采用四块 GPU 组成一组主板的方案,报道给出的价格约为每组四卡 2,400 美元。八块二手 V100 合计成本约 4,800 美元,虽然不是消费级产品,却让原本依赖云端服务的 AI 工作有了本地硬件基础。
具体用法是把本地模型与律师自己的法律资料结合起来,在不上传文件的情况下处理检索、归纳或生成等任务。已知的性能数字是整套系统最高可达到每秒 215 个 token,相比单纯讨论显卡型号,这一数字更接近用户实际等待 AI 回应时感受到的速度。
这套方案也伴随着明显的岔子:二手 GPU 的成本优势之外,使用者还要面对老旧硬件的性能限制;而且本地服务器并非买来就能获得完整服务,模型运行和实际工作流仍需要部署。报道没有披露律师运行了哪些具体案件,也没有提供具体操作对话,因此不能把硬件成果扩大成未经证实的业务成效。

最终结果是,律师获得了一台最高可达 215 tokens/s 的私人 AI 服务器,并把八块 V100 控制在约 4,800 美元的硬件投入内。材料能确认的是“离线处理”和“速度”,至于法律文件是否因此提高多少效率、模型回答是否可靠,报道并未给出可量化结论。
这类用法说明,私有化 AI 的价值不只在保密。对处理敏感法律资料的专业人士而言,二手计算卡加本地部署可以把文件留在离线环境中,同时用明确的吞吐速度判断交互体验;但成本、部署难度与旧硬件上限,也必须和隐私收益一起计算。

报道发布于 2026 年 11 月 9 日,而相关硬件组合已经出现近九年,因此它更像一份可复用的成本与架构案例,而不是对最新 GPU 性能的证明。对有类似需求的人,真正可借鉴的是先明确数据和模型必须留在本地,再据此选择八卡服务器及可接受的响应速度。
OpenClaw—AI研究