中信证券:持续看好AI算力层面 应用端和硬件端进步或催生更多算力需求

330 2月20日
share-image.png
蒋远华

智通财经APP获悉,中信证券发布研报称,本次Grok-3模型的发布仍然是围绕底层算法层面,尤其是大语言模型的综合、推理能力。从技术角度,Grok-3的性能表现在庞大算力、多种训练手段加持下得到显著提升。应用层面,尽管Grok-3的成本在短期可能限制了其应用场景的开阔,但是随着工程能力的进步和底层算法能力提升带来的通用推理能力的进步,该行认为AI爆款应用有望从科研、编程等高价值场景起率先解锁,软件、互联网有望率先受益。除去应用端的投资机会,硬件端的需求也必然会随着多模态的技术进步而不断提高,该行仍然持续看好AI算力层面,尤其是得益于商业端逐步成熟而带来的更多的AI推理侧算力的机会。

中信证券主要观点如下:

事项:

北京时间2月18日中午12点,马斯克创立的大模型初创公司xAI发布了其最新一代大模型Grok-3以及其相关变体版本Grok-3 Reasoning、Grok-3 mini和Grok-3 mini Reasoning,引发资本市场高度关注。

根据xAI官方X平台账号,Grok-3是xAI基于其部署于田纳西州孟菲斯的Colossus超级计算机训练得到的,消耗的计算资源等效于2亿小时H100支持的GPU训练时长,是上一代模型Grok-2的10倍以上。根据xAI官网,Colossus超级计算机至少包含10万张H100,由此该行预计预训练阶段消耗时长超2000小时(83.3天)。

此外在发布会上,马斯克还宣布在Grok-3成熟稳定后(马斯克预计几个月之后),xAI发布的上一代模型Grok-2将开源。根据xAI官网,在2024年Grok-2发布后,xAI也以Apache2.0开源协议了总参数规模达3140亿的MoE大模型Grok-1。

模型效果与实现机理:算力堆积、强化学习等显著提升模型综合、推理能力。

作为全球首个在十万卡集群上训练得到的大模型,Grok-3测评结果亮眼,在多项测试中均处于行业领先地位。

根据xAI发布会,在数学测试AIME、博士水平理科测试GPQA和代码编写测试Coding(LCB Oct-Feb)中Grok-3得分分别为52/75/57,性能表现超越了Gemini-2 Pro、DeepSeek V3、Claude 3.5 Sonnet和GPT-4o等主流模型;Grok-3 Reasoning得分分别为93/85/79,性能表现超越了o3 mini(high)、Gemini-2 flash thinking和DeepSeek R1等头部推理模型。而在Chatbot Arena这一评估AI模型受人类欢迎程度的测试中,Grok-3的早期版本得分达到了1402,高于Gemini 2.0 flash think、GPT-4o、DeepSeek R1和o1等头部大模型。

根据xAI官方X平台账号,该行认为Grok-3的性能优秀的成因有以下2点:1)庞大的算力投入带来了模型能力的涌现,根据xAI发布会,Colossus超级计算机在完成第二阶段建设后集群规模扩展至20万张H100;2)合成数据、强化学习、自我纠错机制、人类反馈循环和上下文训练等训练手段的应用。

市场定位:面向付费用户,能力提升有望解锁更多潜在场景,成本有待优化。

根据xAI发布会,目前Grok-3将率先于推特的Premium Plus用户中推广,该订阅计划目前每月订阅费用为40美元。同时,xAI还发布了由Grok模型支持的Agent产品DeepSearch。该Agent产品能通过扫描互联网和推特来获得并分析信息,最终总结回复。根据xAI发布会,DeepSearch和无限的图像生成功能将包含在SuperGrok这项独立收费计划中,预计订阅费用为每月30美元(年度订阅为300美元)。此外,Grok-3的企业级API预计将在几周后上线。

在xAI发布会中,官方还展示了如何用Grok自动化游戏开发。该行认为模型能力的不断提升下,AI应用场景有望进一步解锁;而对比Grok-3与的ChatGPT的定价水平(20美元/月),并考虑到目前仍处于市场教育抢占份额阶段,该行认为Grok-3的推理成本有待进一步优化。

趋势展望:基础模型演进节奏加快,合成数据&强化学习等值得持续关注。

根据IBM和MIT研究者的论文《A Hitchhiker's Guide to Scaling Law Estimation》(Choshen,Zhang和Andreas,2024),理论上来看现阶段预训练Scaling Law依旧有效。而根据各公司官网,2024年Inflection、Adept和Character AI等海外明星模型初创公司均已放弃预训练,并将重心转向后训练与推理技术(如Agent技术等)。

该行认为该变化主要成因有如下2个方面:1)万卡乃至十万卡级别算力集群投入过高:根据Pytorchtoatoms官网的测算,Meta于2024年3月推出的4.9万卡算力集群建设+4年运营成本达到了12.87亿美元;2)高质量数据匮乏:根据2024年NIPS会议上AI科学家伊利亚演示材料,预训练在未来或将受限于互联网数据耗尽。但Grok-3的出现不仅在实践上证明了现阶段预训练Scaling Law依旧有效,也表明了合成数据和强化学习技术的重要性。由此该行预计少数头部公司仍将继续加大预训练投入,并在合成数据和强化学习上进行更多探索。

风险因素:

AI核心技术发展不及预期风险;科技领域政策监管持续收紧风险;私有数据相关的政策监管风险;全球宏观经济复苏不及预期风险;宏观经济波动导致欧美企业IT支出不及预期风险;AI潜在伦理、道德、用户隐私风险;企业数据泄露、信息安全风险;行业竞争持续加剧风险等。

相关阅读

中信建投:AI引领全球宏观新趋势

2月20日 | 蒋远华

兴证策略:从“互联网+”到“AI+” 看科技浪潮的共性特征

2月20日 | 智通研选

传腾讯(00700)正整合四大产品线 以高效组织变革推动AI时代的产品布局和升级

2月19日 | 刘璇

中国银河证券:AI浪潮加速来袭 化工迎机遇与变革

2月19日 | 严文才

高盛:维持中国软件国际(00354)“中性”评级 目标价上调至5.6港元

2月19日 | 宋芝萦