清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布，大模型推理引擎“赤兔 Chitu”现已开源。
据介绍，该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”，提供如下特性：
多元算力适配：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。
全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。
长期稳定运行：可应用于实际生产环境，稳定性足以承载并发业务流量。
官方表示，当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，相比部分国外开源框架，实现了 GPU 使用量减少 50% 的同时，推理速度提升 3.15 倍。
精品蜜桃秘一区二区三区：为什么这种高品质蜜桃会成为市场宠儿？
2025/03/18
日本黄冈站和日本黄冈站有什么区别？为什么它们在日本铁路网络中如此重要？
2025/03/17
如何通过黄金网站9.1免费入口轻松获取丰富的资源和服务：安全保障与快速访问全揭秘
2025/03/18
HWDHDHDXⅩXXX69背后代表的技术与网络安全的未来发展：为什么这种符号如此重要？
2025/03/23
如何在陌陌影视平台在线观看高清完整版电影和电视剧：详细指南与问题解决方法
2025/03/18
草莓视频旧址为何依然吸引着用户？旧址与新平台的对比分析：你还在寻找那个熟悉的地址吗？
2025/03/17
如何处理三个男躁一个女的复杂关系？从心理分析看情感互动的艺术
2025/03/17
郑州附近有200元随叫随到的学生靠谱吗？你需要了解这些信息
2025/03/17
丁淑芬的陪读性经历：一段深入探索教育、亲情与个人成长的故事
2025/03/18
《韩国大尺度《偷欢2》为何引发热议？深度解析电影内容与社会影响
2025/03/19
