您的位置:首页 > 互联网

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较)_算力智库估值

发布时间:2025-01-01 00:28:44  来源:互联网     背景:

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较) 通信产业网|2024-11-12 09:30:15作者:胡媛来源:通信产业网

为什么面试要看芝麻信用

【通信产业网讯】(记者 胡媛)近两年,AI大模型给产业带来了巨大的影响,以GPU为核心的智算逐步成为算力的主要发展方向。据工信部规划,中国智能算力的占比将在2025年达到35%,年复合增长率在30%以上,这意味着智算中心将引领数据中心建设的潮流。

服务器是提供数据存储、运算等服务的高性能计算机,包含处理器、内存、硬盘和其他功能及基础硬件。2024年以来,中国智算中心建设如火如荼,也在不断推动着服务器厂商持续推出加速计算服务器新品。

算力服务是什么

运营商智算“加速跑”

AI算力基础需求高增,国内供给显著改善。今年以来,运营商开展了大规模的智算中心建设,并开展了几次重要的算力服务器集采。

从资本开支来看,运营商加大算力相关资本开支。公开信息显示,2024年,中国移动算力领域预计投入475亿元,同比增长21.5%,占资本开支比重提升5.8个百分点至27.5%。中国电信产业数字化计划资本开支370亿元,同比增长4.1%,在云/算力计划投资180亿元。中国联通在算网数智投资方面将坚持适度超前、加快布局,但是未披露具体数额。可以看出,中国移动暂时拔得头筹,中国电信和中国联通紧随其后。

此外,财报显示,到2024年底,中国电信智算算力规模将大幅领先,中国移动次之。中国电信计划2024年智算算力提升10EFLOPS,超过21EFLOPS。中国移动2024年智算算力累计超过17EFLOPS。

从运营商积极布局智算中心来看,据不完全统计,目前,国内建成和在建的智算中心项目超500个,运营商为满足市场需求,正加快建设智算中心项目超80个,争夺政企市场。

中国移动优化全国性智算中心和边缘智算节点布局,全网智算规模达到17EFLOPS(FP16),年内将投产3个近两万卡超大规模单体智算中心和12个区域智算中心。中国电信适度超前建设智算基础设施,持续加大智算能力建设,规划并建设全国“2+3+7+X”公共智算云池,在京津冀、长三角地区建设两大万卡智算集群,西部地区打造大规模绿色智算池。中国联通布局热点集约、跨区辐射、边缘覆盖的多级算力体系,构建了“1+ N+X”全国分梯次智算资源,IDC规模超40万架,云池覆盖230多个城市。

小米新款汽车

算力中心是什么意思

从运营商招标项目来看,2024年4月,中国移动发布2024年至2025年新型智算中心采购招标公告,此次采购包含AI服务器7994台,成为有史以来国内最大规模的AI服务器集采。加上此前中国移动2023年至2024年新型智算中心(试验网)集采项目,12个标包对应AI训练服务器采购量总计达到2454台,中国移动这两次AI服务器集采规模合计超万台。

除了中国移动之外,其他两大运营商此前也开启了AI服务器大规模采购。中国联通在今年3月启动2024年人工智能服务器集采,其中,人工智能服务器采购总规模为2503台。中国电信在去年10月也采购了4175台AI服务器。以算力基础设施来说,在大模型产品迭代发展中,算力需求持续增长,带动AI服务器的需求居高不下。

AI服务器市场竞争激烈

在智算中心的建设中,服务器的选择至关重要,它直接关系到算力的强弱、任务的执行效率以及资源的利用率。一般来讲,智算中心的服务器主要包括训练服务器、推理服务器或训推一体服务器等三大类。

训练服务器主要利用大量数据对AI模型进行训练,通过调整模型参数使模型更好地拟合数据,学习数据中的特征和规律。这通常需要高性能的硬件支持,如高性能GPU或TPU(张量处理单元),以及大容量内存和高速存储设备。此类服务器的特点是适用于模型开发和训练阶段,需要强大的计算能力和长时间的稳定运行。  

推理服务器主要功能是对输入数据进行快速推理计算,生成预测结果。这通常用于实时应用场景,如自动驾驶、实时语音识别等。这类服务器特点是要求低延迟、高可靠性,通常采用低功耗的GPU或专用的推理芯片,如NVIDIA的TensorRT系列芯片,在保证推理速度的同时降低能耗和成本。

训推一体服务器是既能进行模型训练又能进行推理计算的服务器。它的特点是资源利用率高,可以根据实际需求灵活分配计算和存储资源。但设计和维护成本也相对较高,需要解决CPU和GPU之间的算力融合问题,以及不同任务之间的资源调度问题。

针对智算中心存在的算力融合、算力孤岛、算力低效、硬件投资与更新、网络与管理等问题,在智算中心的建设中,服务器的选择应根据实际需求进行权衡。训练服务器适用于模型开发和训练阶段,推理服务器适用于实时应用场景,而训推一体服务器则可以在两者之间实现灵活切换和资源共享。

与此同时,智算服务器与传统通用服务器最大的区别,在于算力芯片的不同。智算服务器为了保证操作系统运行,也配置了CPU。但是,为了更好地完成AI计算任务,配置了更多的GPU、NPU(神经网络处理单元)、TPU等计算芯片(4块或8块),以这些芯片输出的算力为主。

除了芯片不同之外,为了充分发挥性能以及保障稳定运行,AI服务器在架构、存储、散热、拓扑等方面也进行了强化设计。例如,智算服务器的DRAM容量通常是普通服务器的8倍,NAND容量是普通服务器的3倍,甚至它的PCB电路板层数也明显多于传统服务器。

大模型发展带来了对超大规模算力、高性能存储、超大规模算力调度及管理、绿色节能等技术能力的需求。算力中心当前阶段,规模属于万卡集群、体量大,服务器采购要多型号、多厂家,配套液冷需要专业液冷供应商提供,来解决其解耦交付痛点。

算力智库估值

超聚变推出FusionPoD for AI整机柜液冷服务器,从双生态、多样性算力、绿色低碳方面全方位重构智算底座,为智算集群需求打造高密、坚实、开放平台。中兴通讯推出的新互联AI服务器突破单节点算力瓶颈,旨在应对AI大模型训练中的通信带宽和时延挑战,并在算力提升和扩展性方面展现了领先的技术创新。新华三新发布的H3C UniServer G7系列依托面向AI的可进化架构、内生AI的操作系统和管理中枢,以及拥抱AGI的多元算力体系,为用户提供了灵活、高效、绿色的算力支持。浪潮元脑服务器NF5898G8,在AI算力方面具有强大的兼容性和卓越的性能,进一步加速算力融合创新。联想新一代Neptune海神液冷服务器,允许AI和HPC客户在不需要专门的数据中心空调的情况下运行100千瓦以上的服务器机架,98%的热量将转移到水循环中。信维全新推出的AI训推服务器H8650G5I提供不同的散热SKU,包括空气冷却和液体冷却解决方案。

对于服务器厂商而言,当其身量已不再局限于提供单一硬件产品时,而是提供综合性解决方案,这些解决方案可能包括服务器、存储、网络、安全等方面。未来,智算服务器将采用更高效的能源使用方式,实现绿色计算,并加强数据和模型的保护措施,以确保数据的安全性和隐私性。

责任编辑:胡媛


返回网站首页

本文评论
京东二季度收入2879亿元 净利润66亿元
8月16日消息,京东集团(JD.O;9618.HK)发布了2023年二季度及中期业绩。京东2023年第二季度收入为人民币2,879亿元(397亿美元),较2022年第二季度增加7.6%。其中,电子产品及家用电器商品...
日期:08-16
寒武纪注册资本新增至3.6亿元,增幅高达约24222%_寒武纪万亿市值
  12月2号午间消息,AI独角兽寒武纪的运营主体——北京中科寒武纪科技股份有限公司发生工商变更,注册资本由原来的约148万人民币新增至3.6亿人民币,增幅达约24222%。   此...
日期:10-14
华为、中信科等7家中标中国移动城区及农村基站天线产品集采「中国移动 华为中标」
2023/6/1 15:23 华为、中信科等7家中标中国移动城区及农村基站天线产品集采  焦焦 ...
日期:06-03
雅虎周三股价涨5% 杨致远称公司“不会出售”_杨致远雅虎股份比例
  9月8日凌晨消息,受CEO巴茨离职消息刺激,雅虎周三股价涨5.42%,收报于13.61美元。据悉,雅虎已成立一个执行领导委员会,将进行“全面的战略重新评估”,同时愿意将公司出售。而雅...
日期:07-22
红魔mars10+256「真全面屏+纯平背壳完美设计!红魔10 Pro系列今日发布」
快科技11月13日消息,红魔10 Pro系列将于今天下午3点正式发布,目前爆料和官方预热已经公布了不少信息,让我们一起来汇总一下。首先在外观方面,新机共四款配色可选,分别是传统的暗...
日期:11-13
智汇云舟三维全景融合解决方案「智汇云舟精彩亮相WMDC2023元宇宙开发者大会」
11 月 22 日,由上海市经济和信息化委员会、上海市黄浦区人民政府指导,黄浦区科学技术委员会、黄浦科创集团、泰伯网联合主办的WMDC2023 首届元宇宙开发者大会在上海科学会堂开...
日期:11-23
数智创新 向“新”而行 | 思特奇亮相第三十届中国国际广播电视信息网络展览会
数智创新 向“新”而行 | 思特奇亮相第三十届中国国际广播电视信息网络展览会 通信产业网|2024-04-28 20:33:01作者:通文来源:通信产业网【通信产业网讯】2024年4月24-26日,第...
日期:04-29
餐饮行业不再缺席双十一 机器人服务员成餐厅引流神器(餐饮机器人销售好做吗)
  2019年双十一落下帷幕,总成交额为2684亿。2018年天猫双11最终成交额2135亿元,物流订单超过10亿。今年双11开幕16小时31分12秒,天猫成交额就超过了去年全天。如此创纪录的...
日期:03-03
小米 SU7 搭载 AI 大模型:小爱同学秒识前车车型
划重点:⭐️ 小米 SU7搭载 AI 大模型,配合小爱同学语音助手,带来智能驾驶体验。⭐️ 小爱同学具有1.1亿月活动用户,每天激活次数达2.08亿次。⭐️ 小米 SU7支持语音深度控车,可识别车...
日期:03-29
苹果16pro会256g起步吗16 Pro或直接256GB存储起步 挤牙膏新成果_iPhone
来源:中关村在线全球手机市场的领导者苹果每年推出的新一代iPhone都备受外界关注。最近,关于iPhone 16系列的外观设计和硬件配置的细节纷纷曝光,尤其是外观、性能和影像方面引...
日期:04-17
Lighthouse推出智能摘要,利用生成式AI为酒店提供日常业绩简报_酒店智能信息发布系统
**划重点:**1. 人力资源的裁员策略跌倒是65岁以上老人伤残死亡的主要原因...
日期:03-01
微软 Bing 聊天 6 月份重大更新可能包括对 Chrome、Firefox 等第三方浏览器的实验性支持
5月31日消息:微软在其 Build 2023 开发者大会上宣布了一些即将推出的 Bing 聊天新功能。其中包括支持从各种合作伙伴添加第三方插件。事实证明,Bing Chat 团队正在准备在 6...
日期:06-01
《英雄联盟》职业选手Uzi股权再被冻结!已累计被冻结104万元_lpl战队被收购
企查查APP显示,近日简自豪(游戏ID:Uzi)为大股东的海南简一网络科技有限公司新增一则股权冻结信息,冻结股权数额43万元,被执行人为简自豪,关联案件涉及财产保全,该公司由简自豪、海南...
日期:01-30
7月1日全面实施国六B 近300多万库存车受影响 汽车降价潮要来?_国六b标准现车有哪些
5月8日,工信部联合多部门下发通知显示:自2023年7月1日起,全国范围全面实施国六排放标准6b阶段,禁止生产、进口、销售不符合国六排放标准6b阶段的汽车。mini led和oled谁的色彩更...
日期:09-29
元象企业管理(云南)有限公司「元象开源650亿参数高性能大模型,无条件免费商用_网易科技」
11月6日消息,元象XVERSE公司宣布,开源650亿参数高性能通用大模型XVERSE-65B,无条件免费商用。元象XVERSE创始人姚星表示:“面对研发时间紧、算力持续短缺等挑战,团队依靠丰富经验...
日期:11-07
2022财年新东方净亏约12亿美元,大学生业务增长约30%(新东方年收益)
TP-LINKwifi6路由器评测chinajoy是什么活动三星note10加速充电和超快充电杉岩数据上市 查看最新行情   记者/查沁君   7月27日晚,新东方(NYSE:EDU)披露20...
日期:07-31
王者荣耀用讯飞输入法_讯飞输入法联手王者荣耀 为峡谷王者打造五五开黑节专属福利
  王者荣耀的五五开黑节即将拉开序幕,最近,每一位峡谷英雄和召唤师都翘首以盼,等待着这场游戏界一年一度的盛世。每年五五开黑节期间,腾讯官方都会推出丰富多彩的活动,还会和...
日期:03-08
抖音:五金工具”类目保证金提高至3万元「抖音数码产品保证金」
11月4日 消息:11月3日,抖音发布《关于“五金工具”类目保证金调整的意见征集通知》,意见征集期为2022年11月03日—2022年11月10日。调整后,【五金/工具】下二级类目【电动工具...
日期:11-13
数智发布基于区块链的《无人值守可信煤炭化验室通用技术要求》
1月7日消息,日前,数智公司宣布其牵头编制的基于区块链的《无人值守可信煤炭化验室通用技术要求》(标准编号:T/ZSA 137.2—2022)团体标准正式发布,已正式开始实施。据称,《无人值守...
日期:01-07
iphone已停产型号「因用户反馈其耐用性不佳,消息称苹果已停产“FineWoven”材质配件」
4 月 22 日消息,据苹果产品爆料者 Kosutami 的消息,苹果已经停止生产 FineWoven(精织斜纹)材质的 iPhone 手机壳和 Apple Watch 表带。FineWoven 在 2023 年 9 月 iPhone 15 系...
日期:04-22