OpenClaw—AI研究OpenClaw—AI研究
  • AI动态
  • OpenClaw教程
  • 技术解读
  • 用户故事

Nota携手Dube交付金融业本地部署AI编程代理,GPU吞吐量提升最高95%

Nota携手Dube交付金融业本地部署AI编程代理,GPU吞吐量提升最高95%

2026年11月16日 by WoodStone

2026年11月16日,韩国AI推理优化企业Nota Inc.宣布,已与金融信息技术公司Dube签署合同,为面向金融行业的本地部署AI编程代理提供优化大语言模型及服务器,并完成交付,相关产品可使同一图形处理器每分钟处理的请求量提升约58%至95%。

图1

Nota表示,该方案将大语言模型部署在客户内部服务器,不调用外部AI服务接口,也不将源代码及内部业务信息传输至外部云端,以适应金融机构对封闭网络和敏感信息管理的限制。Dube主要面向金融机构承接系统集成开发项目,其AI编程代理覆盖需求分析与整理、界面和屏幕开发等任务,并可接入客户编码规则及内部开发库。

由于AI编程代理需要反复处理大量代码和开发规范,单次请求可能涉及数万枚令牌。随着并发用户增加,GPU内存占用和响应时间往往上升。Nota为此采用模型量化降低大语言模型的内存需求,并优化答案生成过程及多请求处理环境,以缓解代码型智能体工作负载对硬件资源的压力。

图2

测试结果显示,在GPU配置保持不变的情况下,优化后每分钟可处理的请求量较此前提高约58%至95%,从提交问题到生成首个答案的时间缩短至原来的一半或更低。这意味着企业可在不立即扩充GPU的情况下服务更多编程代理用户,从而降低硬件扩容负担。

金融业采用AI编程工具长期面临双重约束。一方面,封闭网络环境限制源代码及内部业务信息外传;另一方面,模型运行和并发请求增长会推高GPU采购及基础设施投入。Nota与Dube交付的组合方案试图以模型压缩、推理和服务环境优化,兼顾敏感数据内部管理与算力使用效率。

图3

Nota计划继续与Dube合作,向金融业客户推广本地部署AI编程代理,并依据客户用户规模、安全要求及运行环境,提供定制化的大语言模型和服务器。此次项目交付显示,AI编程助手的竞争重点正从通用云端功能延伸至封闭网络适配、模型压缩效果以及现有算力条件下的吞吐量表现。

← 返回文章列表
分类: AI动态 标记: AI动态, AI编程代理, GPU优化, 大语言模型, 金融科技

© 2026 OpenClaw—AI研究 版权所有

沪ICP备2026010690号-1