您的位置:首页 > 互联网

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较)_智算平台

发布时间:2024-12-31 10:04:10  来源:互联网     背景:

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较) 通信产业网|2024-11-12 09:30:15作者:胡媛来源:通信产业网

【通信产业网讯】(记者 胡媛)近两年,AI大模型给产业带来了巨大的影响,以GPU为核心的智算逐步成为算力的主要发展方向。据工信部规划,中国智能算力的占比将在2025年达到35%,年复合增长率在30%以上,这意味着智算中心将引领数据中心建设的潮流。

服务器是提供数据存储、运算等服务的高性能计算机,包含处理器、内存、硬盘和其他功能及基础硬件。2024年以来,中国智算中心建设如火如荼,也在不断推动着服务器厂商持续推出加速计算服务器新品。

运营商智算“加速跑”

腾讯文学作者

AI算力基础需求高增,国内供给显著改善。今年以来,运营商开展了大规模的智算中心建设,并开展了几次重要的算力服务器集采。

从资本开支来看,运营商加大算力相关资本开支。公开信息显示,2024年,中国移动算力领域预计投入475亿元,同比增长21.5%,占资本开支比重提升5.8个百分点至27.5%。中国电信产业数字化计划资本开支370亿元,同比增长4.1%,在云/算力计划投资180亿元。中国联通在算网数智投资方面将坚持适度超前、加快布局,但是未披露具体数额。可以看出,中国移动暂时拔得头筹,中国电信和中国联通紧随其后。

此外,财报显示,到2024年底,中国电信智算算力规模将大幅领先,中国移动次之。中国电信计划2024年智算算力提升10EFLOPS,超过21EFLOPS。中国移动2024年智算算力累计超过17EFLOPS。

从运营商积极布局智算中心来看,据不完全统计,目前,国内建成和在建的智算中心项目超500个,运营商为满足市场需求,正加快建设智算中心项目超80个,争夺政企市场。

中国移动优化全国性智算中心和边缘智算节点布局,全网智算规模达到17EFLOPS(FP16),年内将投产3个近两万卡超大规模单体智算中心和12个区域智算中心。中国电信适度超前建设智算基础设施,持续加大智算能力建设,规划并建设全国“2+3+7+X”公共智算云池,在京津冀、长三角地区建设两大万卡智算集群,西部地区打造大规模绿色智算池。中国联通布局热点集约、跨区辐射、边缘覆盖的多级算力体系,构建了“1+ N+X”全国分梯次智算资源,IDC规模超40万架,云池覆盖230多个城市。

算力平台

从运营商招标项目来看,2024年4月,中国移动发布2024年至2025年新型智算中心采购招标公告,此次采购包含AI服务器7994台,成为有史以来国内最大规模的AI服务器集采。加上此前中国移动2023年至2024年新型智算中心(试验网)集采项目,12个标包对应AI训练服务器采购量总计达到2454台,中国移动这两次AI服务器集采规模合计超万台。

除了中国移动之外,其他两大运营商此前也开启了AI服务器大规模采购。中国联通在今年3月启动2024年人工智能服务器集采,其中,人工智能服务器采购总规模为2503台。中国电信在去年10月也采购了4175台AI服务器。以算力基础设施来说,在大模型产品迭代发展中,算力需求持续增长,带动AI服务器的需求居高不下。

AI服务器市场竞争激烈

在智算中心的建设中,服务器的选择至关重要,它直接关系到算力的强弱、任务的执行效率以及资源的利用率。一般来讲,智算中心的服务器主要包括训练服务器、推理服务器或训推一体服务器等三大类。

训练服务器主要利用大量数据对AI模型进行训练,通过调整模型参数使模型更好地拟合数据,学习数据中的特征和规律。这通常需要高性能的硬件支持,如高性能GPU或TPU(张量处理单元),以及大容量内存和高速存储设备。此类服务器的特点是适用于模型开发和训练阶段,需要强大的计算能力和长时间的稳定运行。  

推理服务器主要功能是对输入数据进行快速推理计算,生成预测结果。这通常用于实时应用场景,如自动驾驶、实时语音识别等。这类服务器特点是要求低延迟、高可靠性,通常采用低功耗的GPU或专用的推理芯片,如NVIDIA的TensorRT系列芯片,在保证推理速度的同时降低能耗和成本。

训推一体服务器是既能进行模型训练又能进行推理计算的服务器。它的特点是资源利用率高,可以根据实际需求灵活分配计算和存储资源。但设计和维护成本也相对较高,需要解决CPU和GPU之间的算力融合问题,以及不同任务之间的资源调度问题。

针对智算中心存在的算力融合、算力孤岛、算力低效、硬件投资与更新、网络与管理等问题,在智算中心的建设中,服务器的选择应根据实际需求进行权衡。训练服务器适用于模型开发和训练阶段,推理服务器适用于实时应用场景,而训推一体服务器则可以在两者之间实现灵活切换和资源共享。

智算中心概念股

与此同时,智算服务器与传统通用服务器最大的区别,在于算力芯片的不同。智算服务器为了保证操作系统运行,也配置了CPU。但是,为了更好地完成AI计算任务,配置了更多的GPU、NPU(神经网络处理单元)、TPU等计算芯片(4块或8块),以这些芯片输出的算力为主。

除了芯片不同之外,为了充分发挥性能以及保障稳定运行,AI服务器在架构、存储、散热、拓扑等方面也进行了强化设计。例如,智算服务器的DRAM容量通常是普通服务器的8倍,NAND容量是普通服务器的3倍,甚至它的PCB电路板层数也明显多于传统服务器。

算力中心是什么意思

大模型发展带来了对超大规模算力、高性能存储、超大规模算力调度及管理、绿色节能等技术能力的需求。算力中心当前阶段,规模属于万卡集群、体量大,服务器采购要多型号、多厂家,配套液冷需要专业液冷供应商提供,来解决其解耦交付痛点。

超聚变推出FusionPoD for AI整机柜液冷服务器,从双生态、多样性算力、绿色低碳方面全方位重构智算底座,为智算集群需求打造高密、坚实、开放平台。中兴通讯推出的新互联AI服务器突破单节点算力瓶颈,旨在应对AI大模型训练中的通信带宽和时延挑战,并在算力提升和扩展性方面展现了领先的技术创新。新华三新发布的H3C UniServer G7系列依托面向AI的可进化架构、内生AI的操作系统和管理中枢,以及拥抱AGI的多元算力体系,为用户提供了灵活、高效、绿色的算力支持。浪潮元脑服务器NF5898G8,在AI算力方面具有强大的兼容性和卓越的性能,进一步加速算力融合创新。联想新一代Neptune海神液冷服务器,允许AI和HPC客户在不需要专门的数据中心空调的情况下运行100千瓦以上的服务器机架,98%的热量将转移到水循环中。信维全新推出的AI训推服务器H8650G5I提供不同的散热SKU,包括空气冷却和液体冷却解决方案。

对于服务器厂商而言,当其身量已不再局限于提供单一硬件产品时,而是提供综合性解决方案,这些解决方案可能包括服务器、存储、网络、安全等方面。未来,智算服务器将采用更高效的能源使用方式,实现绿色计算,并加强数据和模型的保护措施,以确保数据的安全性和隐私性。

责任编辑:胡媛


返回网站首页

本文评论
人工智能与数字人应用专题论坛在成都成功举办_人工智能与数字经济融合大会
通信世界网消息(CWW)为抢抓人工智能发展机遇,落实“人工智能+”行动,推动数字人产业创新发展,加快培育新质生产力,助力数字四川建设与发展,5月17日,在中国互联网协会和四川省经济和...
日期:05-22
Windows 8文件管理仍将改进
  据国外媒体报道,Windows 8文件管理还将继续改进。   微软已经准备增加Windows 8系统早期测试人员的数量。微软同时强调,Windows 8仍然处于早期开发阶段。   微软Wind...
日期:07-22
比特币总趋势「以太币市值将挑战比特币 市场份额已上升至20.5%」
9月14日 消息:加密货币市场要变天?据报道,以太坊正在推进一项非常重要的“合并”软件升级。如果开发者未来几天内完成升级,以太坊区块链的能源消耗将大幅降低。报道称,合并后,以...
日期:09-26
799欧元起!华硕Zenfone 10小屏手机发布:搭载高通骁龙 8 Gen2「华硕zenfone8flip参数」
华硕正式发布了Zenfone 10手机系列,共推出了8 128GB、8 256GB和16 512GB三个版本。售价从799欧元起,折合人民币约6320元。Zenfone 10采用了一款5.9英寸小屏幕,配备三星AMOLED面...
日期:06-30
nova1价格「敢出彩_2799元Hi」,nova 11正式开售 「敢拍」
7月17日,Hi nova品牌推出旗下最新产品——Hi nova 11,作为一款主打极致轻薄的潮流影像手机,Hi nova 11在美学设计、影像能力、快充以及续航等方面均有优秀表现。从发布至今,Hi n...
日期:09-09
京东商城3c「京东3C数码启动“京塔计划” 持续提升门店经营服务质量」
随着人们消费水平和消费需求越来越高,对消费品质也提出了更高的要求。为了更好地满足用户需求,京东3C数码启动2023年京东京塔计划(全称:京东培训灯塔计划),携手联想、小米、华硕、...
日期:03-30
蔚来手机卖7000多 下月发布「蔚来汽车在售车型」
蔚来汽车的首款手机已经正式获得了工信部无线电核准,这意味着产品的设计已经完成,蔚来汽车创始人李斌曾表示,他们的手机将于今年第三季度发布。根据时间推算,这个日期也已经快要...
日期:06-22
快手电商广州举办“2024女装夏季新品订货会暨美妆双选会”,发布“手选好产地”IP
为了助力产地商家抓住夏季上新生意机遇,并更好地满足用户消费需求,4月25日,由快手电商主办、珠江国际纺织城与广州指南针商会协办的“粤动风潮·2024女装夏季新品订货会暨美妆...
日期:04-28
中国移动2023年法治工作座谈会召开
通信世界网消息(CWW)9月22日,中国移动2023年法治工作座谈会召开。国资委政策法规局副局长卢建勋,中国移动董事长、党组书记杨杰,副总经理、党组成员、总法律顾问、首席合规官高同...
日期:09-26
IDC:预计到2027年,全球汽车半导体市场规模超880亿美元_全球汽车半导体公司排名
IDC 咨询今天午间发布研报指出,随着高级驾驶辅助系统(ADAS)、电动汽车(EVs)以及车联网(Connections)的普及,对高性能计算芯片、图像处理单元、雷达芯片及激光雷达传感器等半导体的需...
日期:08-07
被拉进美国“黑名单”? 360为中国而“红”(被列入黑名单)
  继此前美国升级对华为“出口管制”措施后,5月23日凌晨,美国商务又宣布将33家中国公司及机构列入了“实体清单”。这份名单将网络安全、通信及AI领域企业列为重点打击对象...
日期:07-14
iPad mini 7来了:苹果最佳“游戏机”_ipadmini玩什么游戏体验好
快科技9月26日消息,产业链人士爆料,苹果会在今年年底推出iPad mini 7。对比iPad mini 6,iPad mini 7升级幅度不大,预计会延续上一代的设计语言,屏幕尺寸是8.3英寸,搭载苹果A16仿生...
日期:09-27
知乎Q3亏损锐减39%:付费会员猛增99.5%突破1000万「知乎会员涨价」
11月30日,知乎公布了2022年第三季度未经审计的财务报告,当季营收9.12亿元人民币,同比增长11%,毛利率达到48.7%的行业新高。同时,净亏损环比减少39%,经营性亏损率同比、环比均显著...
日期:12-02
数聚之江,“甬”现精彩!2024世界电信和信息社会日大会暨系列活动成功举办
通信世界网消息(CWW)5月16-17日,2024世界电信和信息社会日大会暨系列活动在浙江宁波成功举办。本届大会暨系列活动由中国通信学会主办,北京信通传媒有限责任公司、中国电信浙江...
日期:05-19
iPhone 15提升至256G?那是你不懂库克_苹果15系统多大内存
iPhone手机在存储容量方面一直保持相对保守的态度,长期沿用64GB存储版本,直至最近才升级至128GB。不过也有分析表示,苹果不会直接开放到256GB起步,而是会将现有的256GB改为512GB...
日期:07-07
视频号出现在个人资料页,要成为第二个朋友圈吗「视频号的内容朋友圈能看到吗」
声明:本文来自微信公众号“三易生活”(ID:IT-3eLife),作者:三易菌,,授权转载发布。此前在2022年12月,马化腾曾在腾讯内部员工大会中明确指出,“WXG(微信事业群)最亮眼的业务是视频号,基...
日期:01-31
《听泉》「千万级网红"听泉鉴宝"停播内背后:供货商被列入异常经营名单」
网红听泉鉴宝遭质疑,学历和藏品成焦点 继知名网红后,拥有超过 2500 万粉丝的抖音博主听泉鉴宝也引发争议,其学历真实性和藏品问题受到关注。目前,听泉鉴宝及其相关账号已删...
日期:10-27
视频生成大模型红毯结束,正戏开锣
声明:本文来自于微信公众号 窄播,作者:李威,授权转载发布。这是《窄播Weekly》的第31期,本期我们关注的商业动态是:AI视频生成大模型。今年2月OpenAI通过Sora的发布,为AI视频生成...
日期:10-08
12代i7售价过万!传音推出Tecno MegaBook S1笔记本
12月8日消息,传音在IFA大会上推出了Tecno MegaBook S1笔记本,其机身超薄轻巧,厚度仅有13.5mm,重1.35kg。这款笔记本的屏幕质量相当高,是一块15.6英寸3.2K屏,16:10宽高比,支持120Hz...
日期:12-09
淘天回应强制末位淘汰:改革是要驱动中高层,没强制末位淘汰!
  讯 7月24日晚间消息,淘天集团回应OKR与KPI并行、强制末位淘汰一事称,并未有强制末位淘汰。“改革是一定的也是必需的,方案仍在调研阶段。要广泛听取一线意见,改革的核心,是为...
日期:07-25