WAIC 2026商汤发布‘大装置’算电协同Agent：单位电力成本Token产出提升80%

商汤‘大装置’：面向超大规模AI推理的新型基础设施范式

商汤科技于WAIC 2026（世界人工智能大会2026）主论坛正式发布‘大装置’（Da Zhuangzhi）——一个专为千亿参数级大模型持续推理服务构建的软硬协同基础设施平台。该系统并非单纯硬件堆叠，而是以‘算力-电力-冷却-任务流’四维耦合为设计原点，核心突破在于首次将电力调度策略深度嵌入Agent决策闭环，形成可编程、可验证、可审计的算电协同执行体。

与传统数据中心依赖静态PUE优化或粗粒度负载迁移不同，‘大装置’通过部署轻量级边缘Agent集群（基于自研SenseAgent v2.1框架），实时感知GPU集群功耗（NVIDIA H100 SXM5节点）、市电分时电价（接入国家电网华东调度中心API）、液冷系统温升速率及LLM请求的SLA等级（如<200ms延迟的高优Query vs 批处理摘要任务），动态重规划计算图切分、KV Cache驻留策略与FP8/INT4混合精度调度路径。

算电协同Agent：从能耗感知到能耗博弈的范式跃迁

该Agent并非传统监控告警模块，而是一个具备三层决策能力的强化学习主体：

• 感知层：融合DCIM（Data Center Infrastructure Management）传感器数据、NVML GPU功耗采样（100Hz）、Llama-3-70B-Instruct实时推理延迟分布直方图；
• 建模层：内置商汤自研的Power-Aware Mixture-of-Experts（PA-MoE）调度器，将每毫秒级任务请求映射为‘功耗-延迟-精度’三维帕累托前沿上的最优解；
• 执行层：通过CUDA Graph Patching与Custom NVLink Throttling Protocol（CNTP v1.3）直接干预底层运行时，实现微秒级功耗重分配。

实测数据显示，在连续72小时压力测试中（QPS=12,800，模型为Qwen2.5-72B-Instruct + RAG增强），‘大装置’相较未启用算电协同的同构H100集群，单位kWh Token产出由1,240 tokens/kWh提升至2,230 tokens/kWh，绝对提升990 tokens/kWh，相对增幅达80%。该指标经中国信息通信研究院泰尔实验室第三方认证（报告编号：CAICT-TAE-2026-0887）。

行业影响：重构AI基础设施的成本函数与商业模型

这一进展标志着AI基建正从‘算力中心主义’迈向‘能源价值中心主义’。以往大模型服务定价主要锚定GPU小时单价与网络带宽，而‘大装置’首次将kWh作为一级成本变量显式建模。商汤已与长三角3家IDC运营商签署联合试点协议，将‘每千Token电费成本’（$\text{¢/kToken}$）纳入SLA条款，并开放SenseAgent SDK供生态伙伴接入自有调度系统。

值得注意的是，该技术不依赖新型芯片或冷却介质，完全基于现有H100+浸没式液冷架构实现，凸显软件定义能效（Software-Defined Efficiency）路径的现实可行性。其开源组件SenseAgent Core已发布于GitHub（github.com/sensetime/senseagent-core v0.9.2），但PA-MoE调度器与CNTP协议仍为闭源核心模块。

技术边界与待验证挑战

尽管指标亮眼，该方案当前存在三类约束条件：

• 仅支持Transformer-based LLM推理，暂未覆盖训练/微调场景；
• 需对接具备分钟级电价API的智能电网区域（目前仅覆盖江苏、浙江、上海）；
• 在极端高温（>35℃环境）下，液冷系统热冗余下降导致调度增益收窄至52%（仍高于基线）。

商汤透露，下一代‘大装置’Beta版（代号‘伏羲’）将于2027 Q1上线，将扩展对Gemini 2.0、Claude-4及多模态模型（如Qwen-VL-2）的算电协同支持，并引入碳流追踪（Carbon Flow Tracking）模块，实现Scope 2排放的实时归因。