AI算力深度报告:穿越AI的基石,算力基建的起始
研究报告内容摘要如下
算力是智能世界的基础,产业生态和投资图谱逐步清晰
智能世界三要素为算力、算法和数据,其中算力网络是一切的基础,且各类硬件发展迭代为算力狂飙提供强有力保障。海外以互联网大厂为主导,资本开支向Al大幅倾斜。国内参与全球AI基建供应链,海外大厂配套产品相对较少。
基础设备:数据中心加速升级,芯片PCB等上游部件量价齐升
A服务器带动高端GPU用量及ASP提升,提升DRAM和NAND的需求,HBM未来的渗透率有望提升,对SERDES提出更高性能要求,带动PCB量价齐升。同时还带来服务器、交换机、液冷等产业和格局的变化。
网络连接:算力配套的核心,兼顾800G主线和扩散行情
Al对网络架构变化较大,无损流量传输使得光模块需求暴增,同时新的技术路线开始出现,或对供应链格局产生影响。800G主线从各大厂需求指引预测等不同维度看,2024-2025年需求乐观,同时考虑到供应链各类因素,预计龙头企业牢牢把握份额。
终端:边缘算力建设加速,MR是最具潜力的Al终端
小型A模型逐步植入本地终端,硬件性能有望迎大升级带来换机需求。同时Soc作为核心部件有望深度受益,具有先进制程&高算力&强解码能力的SoC,能够适应更多元的场景,提供更出色的性能。
报告原文内容节选如下:
算力是智能世界的基础,基础设施从云向算泛在演进
- 智能世界三要素:数据、算力、算法是智能世界三要素,其中算力平台是核心基础。
- 算力两大类:通用算力、 HPC(高性能计算,High-performance computing)算力。其中通用算力计算量小,用于常规应用。HPC算力是一个计 算机集群系统,通过各种互联技术将多个计算机系统连接在一起,利用所有被连接系统的综合计算能力来处理大型计算问题。
- 算力基础设施从云向算泛在演进,其位置的分布从中心向边缘和端侧泛在延伸,将出现云、边、端三级算力架构。
AI大模型带动算力需求超越摩尔定律增长
- AI模型训练算力增长速度超越芯片摩尔定律。AI 训练任务中的算力增长(所需算力每 3.5个月翻一倍)已经超越摩尔定律(晶体管数量每 18 月翻一 倍)。
- ChatGPT仅推出两个月,月活跃用户数预计已达1亿。ChatGPT在2023年1月达到1亿月活跃用户,平均每天有1,300多万访客,用2个月时间达到1亿 月活数,成为史上最快达到1亿月活跃用户的应用,TikTok、Instagram、Facebook、Twitter则分别用了9个月、2年半、4年半、5年的时间。
AI大模型核心在数据、算力与模型,需消耗大量算力
- 预训练算力需求:训练一次13亿参数的GPT-3 XL模型需要的全部算力约为27.5PFlop/s-day,而训练一次1,746亿参数的GPT-3模型需要的算力约为 3,640 PFlop/s-day,对应的单次训练成本高达460万美元。
- 日常运营算力需求:ChatGPT在日常与用户交互过程中需要大量的算力支持,结合访问量与内容量测算,单月运营算力约4,800PFlop/s-day;2023 年1月ChatGPT官网总访问量已经达到6.16亿次,而ChatGPT每次交互产生的算力云服务成本约1~5美分,对应的单月运营成本高达千万美元。
- 调优迭代算力需求:ChatGPT模型需要不断进行Finetune模型调优,以确保模型处于最佳应用状态;预计每月模型调优带来的算力需求为82.5~137.5 PFlop/s-day。
MR、车载等数字经济新型应用场景带来新的算力需求
- MR的推出更带来对低延时网络传输和底层算力技术升级的需求。虚拟世界需要强大的图像实时渲染能力、计算和存储海量数据资源,头 显交互设备的出现将进一步增加对云计算和边缘计算的应用需求。云计算能将终端渲染逐步迁移至云端,基于规模效应摊低运算成本, 提升服务器使用效率,提升虚拟世界的可进入性。而边缘计算则更能满足实时数据分析需求、缓解中心云的计算负载。
- 汽车智能化需求持续升级带来数据流量的急剧飙升。随着自动驾驶等级提升,车载信息娱乐系统、长续航电池及5G网络的引入,车辆要 面对的计算量越来越大,网络架构升级、本地实时处理能力、“大容量缓存和存储”规格将成为硬需求。
算力与经济水平直接挂钩,且具有倍增效应
全球各国算力规模与经济发展水平呈现正相关。2021 年算力规模前 20 的国家中有 17 个是全球排名前 20 的经济体,并且前五名排名一致。
算力对经济有倍增效应。数字经济作为GDP的组成部分,占比正在逐年增加,而算力是数字化技术持续发挥效益的根本性要素。根据IDC的 报告,计算力指数平均每提高1个点,数字经济和GDP将分别增长3.3‰和1.8‰。当一个国家的计算力指数达到40分以上时,指数每提升1 点,对于GDP增长的拉动将提高到1.5倍;当计算力指数达到60分以上时,对GDP的拉动将进一步提升至2.9倍。
中美算力布局较为领先,中国智能算力在追赶
智能算力规模和增速亮眼。根据信通院算力白皮书,2021年全球算力增速超过40%,华为 GIV 预测2030 年人类将迎来 YB 数据时代,全球算力平 均年增速达到 65%,其中基础算力平均年增速达 27%;智能算力占大头,平均年增速超过 80%;超算算力平均年增速超过 34%。
中美算力在全球属于领先地位。美国、中国、欧洲、日本在全球算力规模中的份额分别为 34%、33%、14%和 5%,其中全球基础算力美国份额达 37%,中国以 26%份额排名第二;智能算力方面,中国、美国分别占比为 45%和 28%;美国、日本、中国在超级计算综合性能指标方面份额分别为 48%、22%、18%。
算力板块国内产业投资图谱
算力芯片: Al服务器带动高端GPU用量及ASP提升
AI服务器采用异构式架构,GPU数量远高于普通服务器。AI服务器和普通服务器的主要区别在于:1)架构不同,AI服务器采用 CPU+GPU/FPGA/ASIC等异构式架构,而普通服务器一般是CPU架构;2)GPU数量差别巨大,AI服务器单服务器GPU用量通 常在 4 颗以上。例如:NVIDIA DGX A100包括8个A100 GPU + 2个AMD Rome CPU,而浪潮英信服务器NF5280M6仅配置 1-2个英特尔第三代Xeon处理器。
GPU 架构为主流加速架构,是服务器核心成本构成。GPU采用并行计算,适用于处理密集型运算,如图形渲染、机器学习等场 景,AI算力需求的提升推动了GPU卡的运算速度和用量需求进一步增长。根据 IDC 数据,2022年GPU加速卡占据AI市场89% 的份额,在机器学习型服务器中GPU成本占比达 72.8% 。
高速互连技术开创者,多卡互联优势显著。为实现超算模型的高速通信需求,英伟达开创式提出NVLink和NVSwitch技术:NVLink主要用于连接多个GPU,以加速高性能计算和深度学习等应用;NVSwitch用于连接多个GPU和CPU,形成高性能计算系 统,适用于更复杂和大规模的场景,用户可根据具体应用需求和系统配置来决定使用NVLink或NVSwitch。GH200超级芯片所采 用的NVLink-C2C技术,通过Chiplet工艺将CPU+GPU组合到同一封装,相比于PCIe5在能效方面提升25倍,面积效率提升90倍。
CUDA生态不断演进,满足各类行业需求。英伟达依托于CUDA软件栈进行第三方应用及工具的扩展,形成了广义的CUDA生态, 并在此基础上向上扩展出CUDA-X,以对接不同的行业应用需求,分为面向AI计算的CUDA-X AI和面向HPC计算的CUDA-X HPC。
自主可控:国内企业高算力Al芯片的布局和发展进度
受益大模型热潮,国内AI服务器市场增量明显。ChatGPT横空出世,引发科技企业大模型竞赛,全球算力需求呈指数级增加,带 动国内AI服务器市场快速增长,以浪潮信息为主的国内厂家占据国内AI服务器主要市场。
头部厂商持续加单,国内AI芯片需求强劲。全球头部互联网厂商相继入局大模型赛道,以英伟达GPU为代表的算力核心产品订单 暴增,一批中国AI芯片企业立足于不同技术路径开展研发,面向云计算、汽车、智能家居等领域,国内AI芯片市场同样前景广阔。
国际巨头炙手可热,高性能GPU一芯难求。科技企业大模型竞赛下,凭借A100、H100等绝对主流算力芯片,海外巨头英伟达 订单火爆,芯片价格节节攀升;同时在地缘政治摩擦背景下,国产替代需求迫切。
在国家政策的指引下,国产公司遍地开花,各施所长不断缩短差距。中国主要的AI芯片公司,寒武纪已量产四代芯片,其在研 思元590性能预计能达到A100的70%,有望部分场景实现替代;华为昇腾采用独家达芬奇架构,昇腾910性能优越,处理速度达到 同类产品180%;阿里平头哥另辟蹊径,其含光800推理性能和能效均达到世界前列水平;沐曦科技的通用芯片曦云MXC500对标 A100;壁仞的BR100、燧原的邃思2.5以及天数智芯的智铠100等一系列高性能芯片即将面世。
存储:AI 服务器催动DRAM/NAND需求
AI大模型的数据处理需求驱动服务器硬件升级与扩容。目前 AI 大模型处理数据的吞吐量呈指数级增长。AI服务器对内存、硬盘存 储容量要求更高。主要的提升是支持更大容量的内存满足当下实时负载增加的需求,提供更多外置硬盘插槽,并广泛支持NVME/ PCIE等SSD,满足数据洪流需求。根据半导体观察,AI服务器容量是普通服务器的8倍,NAND容量是普通服务器的3倍。
交换芯片: AI服务器对SerDes提出更高性能要求
SerDes作为底层接口技术,是充分发挥AI硬件算力效能的关键。SerDes是Serializer/Deserializer的缩写,即串行器和解串器, 是目前主流的串行通信技术。通过数据在发送端并转串—串行传输—在接收端串转并,实现芯片间信号的有线传输。相比于传统 并行接口传输,SerDes具有更高的速率(Gbps级)、更低的功耗,以及显著的成本优势,能够满足AI训练&推理等场景下高带 宽、低延迟的数据传输要求,适用于电信、汽车、工业等领域。
AI服务器算力提升显著,带动SerDes通信带宽需求激增。AI服务器网络模块升级主要表现为带宽增加,主要涉及的芯片是 SerDes。高性能计算机性能提升主要源于单个结点计算能力增强和系统中结点数增加。一般而言,结点对互连带宽的要求与其处 理能力呈正比。随着结点计算能力迅速提高,系统对互连网络带宽的需求更加迫切。
以“天河二号”为例,单个计算结点性能3TFlops,结点通信带宽112Gbps,结点带宽性能比0.037。在未来 E级高性能计算机中, 单结点计算能力约为10TFlps,若要将结点带宽性能比维持在0.04,则结点通信带宽需增加至400Gbps,对SerDes芯片性能提出 了更高的要求。通过交替增加SerDes通道数量和每个通道传输速率,实现容量翻倍。
国内SerDes发展现状:
- 上游:半导体IP龙头芯原股份于2021年2月获得加拿大高速接口领域全球领导者Alphawave公司在国内一系列多标准SerDes IP 的独家经销权。
- 中游:芯片设计领域,专注于高速混合芯片设计公司龙讯股份基于单通道12.5Gbps SerDes技术研发的通用高速信号延长芯片 可在 5G 通信领域实现国产化应用。国产以太网PHY芯片龙头裕太微研究形成高性能SerDes技术,可实现1.25~5G等不同数据 率,应用于多款量产产品;10G SerDes现已通过实验室性能测试,在FR4电路板上传输距离长达40英寸,适配以太网、PCIE等 多种上层协议。
(本文转载自网络“幻影视界库”,仅供学习交流,不代表论坛板块观点。如需使用相关信息,请参阅报告原文。)
本报告共计:110页。受篇幅限制,仅列举部分内容。
本文转载来源:https://baijiahao.baidu.com/s?id=1771636493339264356&wfr=spider&for=pc
AI算力深度报告:穿越AI的基石,算力基建的起始
研究报告内容摘要如下
算力是智能世界的基础,产业生态和投资图谱逐步清晰
智能世界三要素为算力、算法和数据,其中算力网络是一切的基础,且各类硬件发展迭代为算力狂飙提供强有力保障。海外以互联网大厂为主导,资本开支向Al大幅倾斜。国内参与全球AI基建供应链,海外大厂配套产品相对较少。
基础设备:数据中心加速升级,芯片PCB等上游部件量价齐升
A服务器带动高端GPU用量及ASP提升,提升DRAM和NAND的需求,HBM未来的渗透率有望提升,对SERDES提出更高性能要求,带动PCB量价齐升。同时还带来服务器、交换机、液冷等产业和格局的变化。
网络连接:算力配套的核心,兼顾800G主线和扩散行情
Al对网络架构变化较大,无损流量传输使得光模块需求暴增,同时新的技术路线开始出现,或对供应链格局产生影响。800G主线从各大厂需求指引预测等不同维度看,2024-2025年需求乐观,同时考虑到供应链各类因素,预计龙头企业牢牢把握份额。
终端:边缘算力建设加速,MR是最具潜力的Al终端
小型A模型逐步植入本地终端,硬件性能有望迎大升级带来换机需求。同时Soc作为核心部件有望深度受益,具有先进制程&高算力&强解码能力的SoC,能够适应更多元的场景,提供更出色的性能。
报告原文内容节选如下:
算力是智能世界的基础,基础设施从云向算泛在演进
AI大模型带动算力需求超越摩尔定律增长
AI大模型核心在数据、算力与模型,需消耗大量算力
MR、车载等数字经济新型应用场景带来新的算力需求
算力与经济水平直接挂钩,且具有倍增效应
全球各国算力规模与经济发展水平呈现正相关。2021 年算力规模前 20 的国家中有 17 个是全球排名前 20 的经济体,并且前五名排名一致。
算力对经济有倍增效应。数字经济作为GDP的组成部分,占比正在逐年增加,而算力是数字化技术持续发挥效益的根本性要素。根据IDC的 报告,计算力指数平均每提高1个点,数字经济和GDP将分别增长3.3‰和1.8‰。当一个国家的计算力指数达到40分以上时,指数每提升1 点,对于GDP增长的拉动将提高到1.5倍;当计算力指数达到60分以上时,对GDP的拉动将进一步提升至2.9倍。
中美算力布局较为领先,中国智能算力在追赶
智能算力规模和增速亮眼。根据信通院算力白皮书,2021年全球算力增速超过40%,华为 GIV 预测2030 年人类将迎来 YB 数据时代,全球算力平 均年增速达到 65%,其中基础算力平均年增速达 27%;智能算力占大头,平均年增速超过 80%;超算算力平均年增速超过 34%。
中美算力在全球属于领先地位。美国、中国、欧洲、日本在全球算力规模中的份额分别为 34%、33%、14%和 5%,其中全球基础算力美国份额达 37%,中国以 26%份额排名第二;智能算力方面,中国、美国分别占比为 45%和 28%;美国、日本、中国在超级计算综合性能指标方面份额分别为 48%、22%、18%。
算力板块国内产业投资图谱
算力芯片: Al服务器带动高端GPU用量及ASP提升
AI服务器采用异构式架构,GPU数量远高于普通服务器。AI服务器和普通服务器的主要区别在于:1)架构不同,AI服务器采用 CPU+GPU/FPGA/ASIC等异构式架构,而普通服务器一般是CPU架构;2)GPU数量差别巨大,AI服务器单服务器GPU用量通 常在 4 颗以上。例如:NVIDIA DGX A100包括8个A100 GPU + 2个AMD Rome CPU,而浪潮英信服务器NF5280M6仅配置 1-2个英特尔第三代Xeon处理器。
GPU 架构为主流加速架构,是服务器核心成本构成。GPU采用并行计算,适用于处理密集型运算,如图形渲染、机器学习等场 景,AI算力需求的提升推动了GPU卡的运算速度和用量需求进一步增长。根据 IDC 数据,2022年GPU加速卡占据AI市场89% 的份额,在机器学习型服务器中GPU成本占比达 72.8% 。
高速互连技术开创者,多卡互联优势显著。为实现超算模型的高速通信需求,英伟达开创式提出NVLink和NVSwitch技术:NVLink主要用于连接多个GPU,以加速高性能计算和深度学习等应用;NVSwitch用于连接多个GPU和CPU,形成高性能计算系 统,适用于更复杂和大规模的场景,用户可根据具体应用需求和系统配置来决定使用NVLink或NVSwitch。GH200超级芯片所采 用的NVLink-C2C技术,通过Chiplet工艺将CPU+GPU组合到同一封装,相比于PCIe5在能效方面提升25倍,面积效率提升90倍。
CUDA生态不断演进,满足各类行业需求。英伟达依托于CUDA软件栈进行第三方应用及工具的扩展,形成了广义的CUDA生态, 并在此基础上向上扩展出CUDA-X,以对接不同的行业应用需求,分为面向AI计算的CUDA-X AI和面向HPC计算的CUDA-X HPC。
自主可控:国内企业高算力Al芯片的布局和发展进度
受益大模型热潮,国内AI服务器市场增量明显。ChatGPT横空出世,引发科技企业大模型竞赛,全球算力需求呈指数级增加,带 动国内AI服务器市场快速增长,以浪潮信息为主的国内厂家占据国内AI服务器主要市场。
头部厂商持续加单,国内AI芯片需求强劲。全球头部互联网厂商相继入局大模型赛道,以英伟达GPU为代表的算力核心产品订单 暴增,一批中国AI芯片企业立足于不同技术路径开展研发,面向云计算、汽车、智能家居等领域,国内AI芯片市场同样前景广阔。
国际巨头炙手可热,高性能GPU一芯难求。科技企业大模型竞赛下,凭借A100、H100等绝对主流算力芯片,海外巨头英伟达 订单火爆,芯片价格节节攀升;同时在地缘政治摩擦背景下,国产替代需求迫切。
在国家政策的指引下,国产公司遍地开花,各施所长不断缩短差距。中国主要的AI芯片公司,寒武纪已量产四代芯片,其在研 思元590性能预计能达到A100的70%,有望部分场景实现替代;华为昇腾采用独家达芬奇架构,昇腾910性能优越,处理速度达到 同类产品180%;阿里平头哥另辟蹊径,其含光800推理性能和能效均达到世界前列水平;沐曦科技的通用芯片曦云MXC500对标 A100;壁仞的BR100、燧原的邃思2.5以及天数智芯的智铠100等一系列高性能芯片即将面世。
存储:AI 服务器催动DRAM/NAND需求
AI大模型的数据处理需求驱动服务器硬件升级与扩容。目前 AI 大模型处理数据的吞吐量呈指数级增长。AI服务器对内存、硬盘存 储容量要求更高。主要的提升是支持更大容量的内存满足当下实时负载增加的需求,提供更多外置硬盘插槽,并广泛支持NVME/ PCIE等SSD,满足数据洪流需求。根据半导体观察,AI服务器容量是普通服务器的8倍,NAND容量是普通服务器的3倍。
交换芯片: AI服务器对SerDes提出更高性能要求
SerDes作为底层接口技术,是充分发挥AI硬件算力效能的关键。SerDes是Serializer/Deserializer的缩写,即串行器和解串器, 是目前主流的串行通信技术。通过数据在发送端并转串—串行传输—在接收端串转并,实现芯片间信号的有线传输。相比于传统 并行接口传输,SerDes具有更高的速率(Gbps级)、更低的功耗,以及显著的成本优势,能够满足AI训练&推理等场景下高带 宽、低延迟的数据传输要求,适用于电信、汽车、工业等领域。
AI服务器算力提升显著,带动SerDes通信带宽需求激增。AI服务器网络模块升级主要表现为带宽增加,主要涉及的芯片是 SerDes。高性能计算机性能提升主要源于单个结点计算能力增强和系统中结点数增加。一般而言,结点对互连带宽的要求与其处 理能力呈正比。随着结点计算能力迅速提高,系统对互连网络带宽的需求更加迫切。
以“天河二号”为例,单个计算结点性能3TFlops,结点通信带宽112Gbps,结点带宽性能比0.037。在未来 E级高性能计算机中, 单结点计算能力约为10TFlps,若要将结点带宽性能比维持在0.04,则结点通信带宽需增加至400Gbps,对SerDes芯片性能提出 了更高的要求。通过交替增加SerDes通道数量和每个通道传输速率,实现容量翻倍。
国内SerDes发展现状:
(本文转载自网络“幻影视界库”,仅供学习交流,不代表论坛板块观点。如需使用相关信息,请参阅报告原文。)
本报告共计:110页。受篇幅限制,仅列举部分内容。
本文转载来源:https://baijiahao.baidu.com/s?id=1771636493339264356&wfr=spider&for=pc