您的位置:首页 > 互联网

算力服务器是什么东西「寻找"算力王":智算中心需要怎样的AI服务器(附典型比较)」

发布时间:2024-12-19 16:13:22  来源:互联网     背景:

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较) 通信产业网|2024-11-12 09:30:15作者:胡媛来源:通信产业网

【通信产业网讯】(记者 胡媛)近两年,AI大模型给产业带来了巨大的影响,以GPU为核心的智算逐步成为算力的主要发展方向。据工信部规划,中国智能算力的占比将在2025年达到35%,年复合增长率在30%以上,这意味着智算中心将引领数据中心建设的潮流。

算力智库

服务器是提供数据存储、运算等服务的高性能计算机,包含处理器、内存、硬盘和其他功能及基础硬件。2024年以来,中国智算中心建设如火如荼,也在不断推动着服务器厂商持续推出加速计算服务器新品。

智算平台

运营商智算“加速跑”

AI算力基础需求高增,国内供给显著改善。今年以来,运营商开展了大规模的智算中心建设,并开展了几次重要的算力服务器集采。

从资本开支来看,运营商加大算力相关资本开支。公开信息显示,2024年,中国移动算力领域预计投入475亿元,同比增长21.5%,占资本开支比重提升5.8个百分点至27.5%。中国电信产业数字化计划资本开支370亿元,同比增长4.1%,在云/算力计划投资180亿元。中国联通在算网数智投资方面将坚持适度超前、加快布局,但是未披露具体数额。可以看出,中国移动暂时拔得头筹,中国电信和中国联通紧随其后。

此外,财报显示,到2024年底,中国电信智算算力规模将大幅领先,中国移动次之。中国电信计划2024年智算算力提升10EFLOPS,超过21EFLOPS。中国移动2024年智算算力累计超过17EFLOPS。

从运营商积极布局智算中心来看,据不完全统计,目前,国内建成和在建的智算中心项目超500个,运营商为满足市场需求,正加快建设智算中心项目超80个,争夺政企市场。

中国移动优化全国性智算中心和边缘智算节点布局,全网智算规模达到17EFLOPS(FP16),年内将投产3个近两万卡超大规模单体智算中心和12个区域智算中心。中国电信适度超前建设智算基础设施,持续加大智算能力建设,规划并建设全国“2+3+7+X”公共智算云池,在京津冀、长三角地区建设两大万卡智算集群,西部地区打造大规模绿色智算池。中国联通布局热点集约、跨区辐射、边缘覆盖的多级算力体系,构建了“1+ N+X”全国分梯次智算资源,IDC规模超40万架,云池覆盖230多个城市。

算力中心怎么挣钱

从运营商招标项目来看,2024年4月,中国移动发布2024年至2025年新型智算中心采购招标公告,此次采购包含AI服务器7994台,成为有史以来国内最大规模的AI服务器集采。加上此前中国移动2023年至2024年新型智算中心(试验网)集采项目,12个标包对应AI训练服务器采购量总计达到2454台,中国移动这两次AI服务器集采规模合计超万台。

除了中国移动之外,其他两大运营商此前也开启了AI服务器大规模采购。中国联通在今年3月启动2024年人工智能服务器集采,其中,人工智能服务器采购总规模为2503台。中国电信在去年10月也采购了4175台AI服务器。以算力基础设施来说,在大模型产品迭代发展中,算力需求持续增长,带动AI服务器的需求居高不下。

iphone14pro和max的区别

AI服务器市场竞争激烈

联通靓号拍卖网

在智算中心的建设中,服务器的选择至关重要,它直接关系到算力的强弱、任务的执行效率以及资源的利用率。一般来讲,智算中心的服务器主要包括训练服务器、推理服务器或训推一体服务器等三大类。

训练服务器主要利用大量数据对AI模型进行训练,通过调整模型参数使模型更好地拟合数据,学习数据中的特征和规律。这通常需要高性能的硬件支持,如高性能GPU或TPU(张量处理单元),以及大容量内存和高速存储设备。此类服务器的特点是适用于模型开发和训练阶段,需要强大的计算能力和长时间的稳定运行。  

推理服务器主要功能是对输入数据进行快速推理计算,生成预测结果。这通常用于实时应用场景,如自动驾驶、实时语音识别等。这类服务器特点是要求低延迟、高可靠性,通常采用低功耗的GPU或专用的推理芯片,如NVIDIA的TensorRT系列芯片,在保证推理速度的同时降低能耗和成本。

训推一体服务器是既能进行模型训练又能进行推理计算的服务器。它的特点是资源利用率高,可以根据实际需求灵活分配计算和存储资源。但设计和维护成本也相对较高,需要解决CPU和GPU之间的算力融合问题,以及不同任务之间的资源调度问题。

针对智算中心存在的算力融合、算力孤岛、算力低效、硬件投资与更新、网络与管理等问题,在智算中心的建设中,服务器的选择应根据实际需求进行权衡。训练服务器适用于模型开发和训练阶段,推理服务器适用于实时应用场景,而训推一体服务器则可以在两者之间实现灵活切换和资源共享。

与此同时,智算服务器与传统通用服务器最大的区别,在于算力芯片的不同。智算服务器为了保证操作系统运行,也配置了CPU。但是,为了更好地完成AI计算任务,配置了更多的GPU、NPU(神经网络处理单元)、TPU等计算芯片(4块或8块),以这些芯片输出的算力为主。

除了芯片不同之外,为了充分发挥性能以及保障稳定运行,AI服务器在架构、存储、散热、拓扑等方面也进行了强化设计。例如,智算服务器的DRAM容量通常是普通服务器的8倍,NAND容量是普通服务器的3倍,甚至它的PCB电路板层数也明显多于传统服务器。

大模型发展带来了对超大规模算力、高性能存储、超大规模算力调度及管理、绿色节能等技术能力的需求。算力中心当前阶段,规模属于万卡集群、体量大,服务器采购要多型号、多厂家,配套液冷需要专业液冷供应商提供,来解决其解耦交付痛点。

超聚变推出FusionPoD for AI整机柜液冷服务器,从双生态、多样性算力、绿色低碳方面全方位重构智算底座,为智算集群需求打造高密、坚实、开放平台。中兴通讯推出的新互联AI服务器突破单节点算力瓶颈,旨在应对AI大模型训练中的通信带宽和时延挑战,并在算力提升和扩展性方面展现了领先的技术创新。新华三新发布的H3C UniServer G7系列依托面向AI的可进化架构、内生AI的操作系统和管理中枢,以及拥抱AGI的多元算力体系,为用户提供了灵活、高效、绿色的算力支持。浪潮元脑服务器NF5898G8,在AI算力方面具有强大的兼容性和卓越的性能,进一步加速算力融合创新。联想新一代Neptune海神液冷服务器,允许AI和HPC客户在不需要专门的数据中心空调的情况下运行100千瓦以上的服务器机架,98%的热量将转移到水循环中。信维全新推出的AI训推服务器H8650G5I提供不同的散热SKU,包括空气冷却和液体冷却解决方案。

对于服务器厂商而言,当其身量已不再局限于提供单一硬件产品时,而是提供综合性解决方案,这些解决方案可能包括服务器、存储、网络、安全等方面。未来,智算服务器将采用更高效的能源使用方式,实现绿色计算,并加强数据和模型的保护措施,以确保数据的安全性和隐私性。

商场功能分区平面图

责任编辑:胡媛


返回网站首页

本文评论
从获客到活客  MAXHUB如何助银行解决行业痛点?
  随着新年将近,银行业一年中的重要营销节点——“开门红”也即将到来。然而,近年来受金融脱媒,尤其是客户脱媒的影响,银行网点的客户到访量越来越少,传统银行依靠开门红“冲...
日期:03-03
大模型 ai「专家特稿:大模型加速终端全栈式颠覆」
专家特稿:大模型加速终端全栈式颠覆 通信产业网|2023-08-28 10:38:22作者:饶少阳来源:通信产业网【通信产业网讯】(文 | 中国电信研究院战略发展研究所所长 饶少阳)7月6日,高通在2...
日期:09-01
2020诺贝尔文学奖获奖作品「2022年诺贝尔文学奖公布:法国女作家安妮·埃尔诺获得1000万奖金」
10月以来,2022年的诺贝尔奖陆续公布,生理或医学奖、物理学奖之前已经公布,今天晚上文学奖也公布了,瑞典文学院在斯德哥尔摩宣布,将2022年诺贝尔文学奖授予法国作家安妮埃尔诺(Anni...
日期:10-10
3C数码大牌真香AI装备齐聚京东618 亲密互动携手打造AI硬件新生态_京东商城3c
随着AI大模型和生成式AI等技术的迅猛发展,以AI电脑、AI手机等为代表的AI硬件也随之迎来了爆发元年,在为用户生活提供高效便利的同时,也为3C数码行业的创新增长带来了弯道超车的...
日期:06-20
“收割”一亿票房仅用8小时!《万里归途》票房轻松突破4亿大关「两天票房破亿」
今天上午11点,《万里归途》票房正式突破3亿元,成为了国庆档毫无疑问的黑马。现在,仅仅过去8个小时左右的19时11分,《万里归途》的票房就突破了4亿元关口,在不到半天的时间内就收...
日期:10-05
上海出台11条举措推动人工智能大模型创新发展_26个上海人工智能产业创新集群项目签约
11月9日 消息:近日,上海市经信委、发改委等五部门联合制定并正式发布了《上海市推动人工智能大模型创新发展若干措施(2023-2025年)》。文件提出11条举措,聚焦大模型创新能力、创...
日期:11-10
郎朗晒与马斯克合照:称其非常喜欢来中国_郎朗在美国
快科技3月14日消息,今天著名钢琴家朗晒出与马斯克的合影,并配文:昨天在爱丽舍宫偶遇马斯克,他跟我说非常喜欢来中国 。照片中,二人都穿着一身正装,微笑合影。52岁的马斯克胡子花白...
日期:03-15
烧烤铁签子烫手吗「男子吃烧烤被烫出微笑唇:忽略了烤肉的铁签子温度高」
7月2日消息,据国内多家媒体报道,近日,吉林一位大哥出去吃烧烤,跟别人聊天太过投入,忽略了烤肉的铁签子温度高,嘴角两边都被烫伤,成了微笑唇”。moto edge s30和x30哪个值得买大哥用...
日期:07-02
维权要合理且合法 梁先生有意“为难”弹个车原因几何?
  对于合理维权者,小编一直支持的,毕竟现在"无良商贩"很多。但是,现实中也不乏一些过度维权的案例。在汽车圈,火了两年的梁先生向弹个车维权事件终于开庭了,梳理整个事件的头...
日期:07-14
宁波钱业会馆图片「东融宁波分公司参访钱业会馆,深化金融文化理解」
5月25日上午,东融科技集团宁波分公司全体员工,在新任分公司总经理陈文涛的带领下,参观了历史悠久的宁波钱业会馆。作为宁波金融业的重要场所,此次游学不仅彰显了东融对金融文化...
日期:05-27
信息社会50人论坛启程并发布《信息社会共识》_信息社会50人论坛成员
  2011年9月9日,杭州讯——由中国信息经济学会、中国社科院信息化研究中心、国家信息中心信息化研究部、工信部电信研究院政策与经济研究所和阿里研究中心等五家单位共同...
日期:07-22
为了追赶特斯拉,奔驰连 F1 车队都搬出来了「奔驰f1车队英国技术」
随着佩雷兹的红牛 RB19 掠过阿塞拜疆巴库的终点线,今年的红牛车队已经在 F1 取得了开局 4 连胜的成绩,势如破竹。而昔日王者,曾创造连续 8 年夺得车队世界冠军伟业的梅赛德斯,在...
日期:05-08
成都链安受邀参加多个区块链安全、安全监管行业盛会「成都链安科技是干什么的」
成都链安作为全球领先的区块链安全公司,自 2018 年成立以来,一直聚焦和深耕区块链生态安全建设。凭借自身技术实力和品牌优势,成都链安多次受邀在行业峰会上进行区块链安全主题...
日期:07-21
长虹智能叫什么「长虹将发布全球首个基于大模型的智慧家电 AI 平台」
11月15日 消息:长虹公司宣布将在11月20日发布全球首个基于大模型的智慧家电 AI 平台。三星ssd980和970evoplus这个平台将结合生成式人工智能大模型和长虹自主研发的 AI 技术...
日期:11-16
铁塔xo「铁塔视联:一张"高瞻远瞩"的特色网」
铁塔视联:一张"高瞻远瞩"的特色网 通信产业网|2024-08-27 09:45:33作者:胡媛来源:通信产业网【通信产业网讯】(记者 胡媛)随着中国铁塔2024年中期业绩的公布,2024年上半年,两翼业务...
日期:09-04
马云指出淘宝天猫未来三个方向 努力适应当前激烈的竞争环境「淘宝天猫马云占股」
近几个月来,退休的马云多次亮相,与他的个人生活相关,但他一直关注着阿里。据报道,今年5月底,马云召集了淘天集团的各业务负责人,进行了一次小范围的沟通会议,会议的细节正在逐渐公...
日期:06-20
百度输入法用法_百度输入法新版尝鲜 感受地域词库智能推送
  百度输入法1.1Beta版近日发布,这款最新的百度输入法增加了地域词库智能推送、自定义标点符号、候选词条竖排显示、候选框设置等实用功能。   其中最给力的绝对是地域...
日期:07-27
实景版《千里江山图》震撼上线,全能科技旗舰荣耀Magic3系列用影像传承文化
  8月18日,荣耀Magic3系列携手中国国家地理、天猫超级品牌日赋活《千里江山图》的视频震撼上线。视频中,中国国家地理借助荣耀Magic 3的电影工业级影像系统,将《千里江山图...
日期:07-17
中国太空空间站生活视频「中国空间站"太空菜园"画面公开!一片欣欣向荣」
太空种菜,挑战无限!中国载人航天工程最新消息显示,神舟十八号飞船的宇航员叶光富、李聪、李广苏已在太空驻留逾4个月。从公开的画面中可见,宇航员在空间站内开展了丰富的科学实...
日期:10-14
降价后还有富余 15-Pro终于不溢价了
来源:中关村在线特斯拉和福特电马奇安信 行业排名上午8点,iPhone 15系列正式在上海苹果直营店开售。尽管场内人流量众多,但并未出现排长队的状况。有报道称,iPhone 15 Pro Max 2...
日期:09-23