中国电信完成业界首个面向国产算力的跨架构大模型推理技术验证

近日，中国电信研究院联合中科院计算所、华为昇腾、沐曦等产业伙伴，依托中国电信云网融合技术中试验证平台，成功完成业界首个面向国产算力的跨架构大模型推理技术验证。此次突破构建了基于Triton的异构大模型推理框架，实现“一套框架代码、三芯透明迁移”的核心目标，将大模型算子适配周期从“周级”压缩至“天级”，性能达到原生算子库90%。

当前，国产芯片生态碎片化、算子开发难度高、适配周期长等问题，已成为制约国产算力规模化商用的关键瓶颈。为破解这一行业痛点，中国电信研究院牵头启动“Triton统一跨架构推理框架”技术攻关，成功突破三大核心技术：一是自研Triton跨架构编译器与统一大模型算子库，实现同一套算子源码在英伟达、昇腾、沐曦三类芯片上无缝运行，从根源上解决多架构适配难题；二是创新研发vLLM-Triton运行时透明嵌入插件，采用零侵入式接入方式，完整继承原生调度、内存管理及量化策略，保障框架兼容性与稳定性；三是打造图算融合编译器，通过多芯联合优化计算图，自动匹配最优算子实现方案与并行切分策略，将性能损耗严格控制在10%以内。

本次技术验证已完成10余款主流开源模型在三类芯片上的端到端推理测试，核心指标表现优异：平均迁移时间≤3天，较传统适配模式效率提升超80%；精度误差<0.5%，确保模型推理可靠性；在同等延迟约束下，系统吞吐达到各芯片原生算子库的90%以上，实现性能与适配效率的双重优化。此外，框架内置的benchmark与Profiling工具可一键生成跨芯性能对比报告，为业务方提供直观、精准的选芯决策支撑。

作为支撑本次验证的核心平台，中国电信云网融合技术中试验证平台入选国资委央企中试平台名录，现已对外开放20余项中试验证服务能力，凭借其优质智算资源与灵活组网能力，构建了业界领先的异构推理试验环境，为技术突破提供了关键保障，标志着国产算力生态正式从“一芯一策”的分散适配模式，迈入“统一框架”的高效协同新阶段，大幅降低了国产芯片的应用门槛。

未来，中国电信将持续拓展Triton异构推理框架的适配范围，覆盖更多算力芯片与大模型类型，与产业伙伴携手共建“代码一次编写、多芯无缝迁移”的开放生态。通过技术创新推动国产算力从“可用”向“好用”“易用”跨越，为自主可控、多元异构的算力基础设施高质量协同发展注入强劲动力，助力我国数字经济核心产业自主化进程。