您的位置:首页 > 互联网

算力服务器是什么东西「寻找"算力王":智算中心需要怎样的AI服务器(附典型比较)」

发布时间:2024-12-31 20:16:24  来源:互联网     背景:

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较) 通信产业网|2024-11-12 09:30:15作者:胡媛来源:通信产业网

【通信产业网讯】(记者 胡媛)近两年,AI大模型给产业带来了巨大的影响,以GPU为核心的智算逐步成为算力的主要发展方向。据工信部规划,中国智能算力的占比将在2025年达到35%,年复合增长率在30%以上,这意味着智算中心将引领数据中心建设的潮流。

服务器是提供数据存储、运算等服务的高性能计算机,包含处理器、内存、硬盘和其他功能及基础硬件。2024年以来,中国智算中心建设如火如荼,也在不断推动着服务器厂商持续推出加速计算服务器新品。

运营商智算“加速跑”

AI算力基础需求高增,国内供给显著改善。今年以来,运营商开展了大规模的智算中心建设,并开展了几次重要的算力服务器集采。

算力服务是什么

从资本开支来看,运营商加大算力相关资本开支。公开信息显示,2024年,中国移动算力领域预计投入475亿元,同比增长21.5%,占资本开支比重提升5.8个百分点至27.5%。中国电信产业数字化计划资本开支370亿元,同比增长4.1%,在云/算力计划投资180亿元。中国联通在算网数智投资方面将坚持适度超前、加快布局,但是未披露具体数额。可以看出,中国移动暂时拔得头筹,中国电信和中国联通紧随其后。

此外,财报显示,到2024年底,中国电信智算算力规模将大幅领先,中国移动次之。中国电信计划2024年智算算力提升10EFLOPS,超过21EFLOPS。中国移动2024年智算算力累计超过17EFLOPS。

从运营商积极布局智算中心来看,据不完全统计,目前,国内建成和在建的智算中心项目超500个,运营商为满足市场需求,正加快建设智算中心项目超80个,争夺政企市场。

中国移动优化全国性智算中心和边缘智算节点布局,全网智算规模达到17EFLOPS(FP16),年内将投产3个近两万卡超大规模单体智算中心和12个区域智算中心。中国电信适度超前建设智算基础设施,持续加大智算能力建设,规划并建设全国“2+3+7+X”公共智算云池,在京津冀、长三角地区建设两大万卡智算集群,西部地区打造大规模绿色智算池。中国联通布局热点集约、跨区辐射、边缘覆盖的多级算力体系,构建了“1+ N+X”全国分梯次智算资源,IDC规模超40万架,云池覆盖230多个城市。

从运营商招标项目来看,2024年4月,中国移动发布2024年至2025年新型智算中心采购招标公告,此次采购包含AI服务器7994台,成为有史以来国内最大规模的AI服务器集采。加上此前中国移动2023年至2024年新型智算中心(试验网)集采项目,12个标包对应AI训练服务器采购量总计达到2454台,中国移动这两次AI服务器集采规模合计超万台。

小安儿童手表

除了中国移动之外,其他两大运营商此前也开启了AI服务器大规模采购。中国联通在今年3月启动2024年人工智能服务器集采,其中,人工智能服务器采购总规模为2503台。中国电信在去年10月也采购了4175台AI服务器。以算力基础设施来说,在大模型产品迭代发展中,算力需求持续增长,带动AI服务器的需求居高不下。

算力中心是什么意思

AI服务器市场竞争激烈

在智算中心的建设中,服务器的选择至关重要,它直接关系到算力的强弱、任务的执行效率以及资源的利用率。一般来讲,智算中心的服务器主要包括训练服务器、推理服务器或训推一体服务器等三大类。

训练服务器主要利用大量数据对AI模型进行训练,通过调整模型参数使模型更好地拟合数据,学习数据中的特征和规律。这通常需要高性能的硬件支持,如高性能GPU或TPU(张量处理单元),以及大容量内存和高速存储设备。此类服务器的特点是适用于模型开发和训练阶段,需要强大的计算能力和长时间的稳定运行。  

推理服务器主要功能是对输入数据进行快速推理计算,生成预测结果。这通常用于实时应用场景,如自动驾驶、实时语音识别等。这类服务器特点是要求低延迟、高可靠性,通常采用低功耗的GPU或专用的推理芯片,如NVIDIA的TensorRT系列芯片,在保证推理速度的同时降低能耗和成本。

训推一体服务器是既能进行模型训练又能进行推理计算的服务器。它的特点是资源利用率高,可以根据实际需求灵活分配计算和存储资源。但设计和维护成本也相对较高,需要解决CPU和GPU之间的算力融合问题,以及不同任务之间的资源调度问题。

针对智算中心存在的算力融合、算力孤岛、算力低效、硬件投资与更新、网络与管理等问题,在智算中心的建设中,服务器的选择应根据实际需求进行权衡。训练服务器适用于模型开发和训练阶段,推理服务器适用于实时应用场景,而训推一体服务器则可以在两者之间实现灵活切换和资源共享。

蜜雪冰城商标官司

与此同时,智算服务器与传统通用服务器最大的区别,在于算力芯片的不同。智算服务器为了保证操作系统运行,也配置了CPU。但是,为了更好地完成AI计算任务,配置了更多的GPU、NPU(神经网络处理单元)、TPU等计算芯片(4块或8块),以这些芯片输出的算力为主。

除了芯片不同之外,为了充分发挥性能以及保障稳定运行,AI服务器在架构、存储、散热、拓扑等方面也进行了强化设计。例如,智算服务器的DRAM容量通常是普通服务器的8倍,NAND容量是普通服务器的3倍,甚至它的PCB电路板层数也明显多于传统服务器。

大模型发展带来了对超大规模算力、高性能存储、超大规模算力调度及管理、绿色节能等技术能力的需求。算力中心当前阶段,规模属于万卡集群、体量大,服务器采购要多型号、多厂家,配套液冷需要专业液冷供应商提供,来解决其解耦交付痛点。

超聚变推出FusionPoD for AI整机柜液冷服务器,从双生态、多样性算力、绿色低碳方面全方位重构智算底座,为智算集群需求打造高密、坚实、开放平台。中兴通讯推出的新互联AI服务器突破单节点算力瓶颈,旨在应对AI大模型训练中的通信带宽和时延挑战,并在算力提升和扩展性方面展现了领先的技术创新。新华三新发布的H3C UniServer G7系列依托面向AI的可进化架构、内生AI的操作系统和管理中枢,以及拥抱AGI的多元算力体系,为用户提供了灵活、高效、绿色的算力支持。浪潮元脑服务器NF5898G8,在AI算力方面具有强大的兼容性和卓越的性能,进一步加速算力融合创新。联想新一代Neptune海神液冷服务器,允许AI和HPC客户在不需要专门的数据中心空调的情况下运行100千瓦以上的服务器机架,98%的热量将转移到水循环中。信维全新推出的AI训推服务器H8650G5I提供不同的散热SKU,包括空气冷却和液体冷却解决方案。

对于服务器厂商而言,当其身量已不再局限于提供单一硬件产品时,而是提供综合性解决方案,这些解决方案可能包括服务器、存储、网络、安全等方面。未来,智算服务器将采用更高效的能源使用方式,实现绿色计算,并加强数据和模型的保护措施,以确保数据的安全性和隐私性。

责任编辑:胡媛


返回网站首页

本文评论
索尼新芯片「传索尼开发新硬件」
知名舅舅Tom Henderson宣称索尼又在开发新硬件,而且他不明白这一回的出发点是什么。苹果占据手机市场利润OPPO R1图片之前他透露索尼正在开发PS5 Slim与PS5 Pro,前者今年问世,...
日期:04-03
《王者荣耀》妲己九尾“收割”女玩家:实体手办1199元_王者荣耀九尾狐妲己
快科技4月30日消息,《王者荣耀》的【妲己-青丘九尾】皮肤于4月27日上线。很多女玩家纷纷入手,不过价格不菲,普遍要花几百元,有人甚至表示自己花了1200元才抽中。趁热打铁,王者荣...
日期:05-01
马斯克推特主页「“民调”投票之前,马斯克就已主动物色推特CEO“继承者”」
  讯 北京时间12月21日早间消息,据报道,知情人士透露,在推特老板兼CEO埃隆·马斯克(Elon Musk)发起“是否该卸任推特CEO”的投票之前,他就已主动为该公司物色一名新CEO。  马...
日期:12-21
对长期发展有信心 京东公告:拟回购股份不超过30亿美元!_京东收购股权
快科技3月6日消息,京东集团今天发布了2023年四季度及全年业绩。第四季度收入达到3061亿元人民币,同比增长3.6%;全年收入10847亿元人民币,同比增长3.7%。2023年全年净利润为人民...
日期:03-07
网红白冰真实身份揭秘「网红白冰辟谣1.2亿买房子被查封 称有人为流量不择手段」
近日,白冰被查封的消息引起了社会各界的关注。据报道,白冰曾花费1.2亿元购买了一栋豪华别墅,但因为涉嫌违建被政府查封。但是,在面对媒体的采访时,白冰本人却否认了这一传闻。他...
日期:03-28
SmallAI:成功接入最新AI音乐模型:Suno-V3,可无限制使用!
在当今音乐和人工智能技术的交汇点上,Suno模型以其独树一帜的能力站在了前沿。这一模型由一支位于剑桥的由音乐家和人工智能专家组成的团队开发,他们是Meta、TikTok和Kensho等...
日期:04-11
mate40曲面屏和瀑布屏的区别_终究是错付了?华为Mate50系列或放弃瀑布屏,曲面屏为何被嫌弃?
在智能手机市场,不同的消费者有不同的需求,比如,有人偏爱大电池,有人偏爱快充,有人偏爱大屏幕,有人偏爱高性能。但有一点很奇怪,在直面屏和曲面屏的偏好上,大部分消费者都嫌弃曲面屏...
日期:08-20
遍地都是的酒店机器人,已经“退烧”了_酒店机器人好可爱
声明:本文来自于微信公众号定焦(dingjiaoone),作者:布鲁斯,授权转载发布。十一假期,阿宁在酒店点了一份外卖,外卖员称已经放到酒店大堂,一会送上来。几分钟后,客房的电话响起,里面传...
日期:10-11
筋膜枪按摩的坏处「女子用筋膜枪按摩眼眶致白内障 医生:眼睛无法适应高频震动」
42岁的刘女士最近发现自己的视力明显下降,就医后检查发现左眼视力仅为0.1,被确诊为白内障。尽管医生在检查中未发现她的眼部有明显外伤,但经过进一步的询问,刘女士透露,她为了缓...
日期:03-12
华为的核心竞争力是什么华为展现全产品线卓越竞争力,技术创新引领全生态布局
来源:中关村在线上个月,华为在迪拜开启全球夏季新品盛宴。作为全球创新的领航者,华为在本次盛会中发布了一系列富含创意功能的的穿戴设备、PC及平板新品。这场科技盛筵随后接力...
日期:06-23
互动百科CEO潘海东被判诽谤百度 赔偿12万元
  记者从北京海淀法院获悉,互动百科CEO潘海东因侮辱诽谤百度公司被判向百度公开道歉并赔偿12万元损失。   据了解,潘海东在其新浪微博、腾讯微博及搜狐微博中分别以《三...
日期:07-24
IDC :微软将于2025年停止Win10
8 月 29 日消息,根据市场调查机构 IDC 公布的最新统计报告,预估 2024 年全球 PC 出货量为 2.614 亿台,同比增长 3.7%。这一出货量将高于 2018 年的 2.596 亿,但仍低于 2019 年的...
日期:08-29
Y中国市场售价将上调5000元 特斯拉Model_特斯拉y中国上市价格
【】3月20日消息,据悉,特斯拉即将在今年4月1日官方调价,Model Y车型售价调高5000元人民币。特斯拉地区销售表示,现行的8000元官方现车保险补贴政策、最高10000元的车漆减免政策...
日期:03-20
支付交易宝邮件_骗取支付宝账户的邮件解析
  今天收到一封窃取支付宝账户信息的邮件,内容如图,有几个要点值得注意:   1、在邮箱里面,他写了亲爱的***,是我的真名,   2、提示你账户已经被提现,并让你去修改密码。  ...
日期:07-24
5g基站总量「工信部赵志国:5G基站总数达383.7万,全球占比60%」
通信世界网消息(CWW)6月27日,2024世界移动大会(MWC)上海开幕。工业和信息化部总工程师赵志国出席主论坛并致辞,他表示,截至2024年5月底,中国累计建成5G基站383.7万个,占全球5G基站总...
日期:06-26
腾讯NLP技术获得世界顶级大赛多项冠军 AI助手应用不断落地(NLP比赛)
  近日,在人工智能领域的权威学术比赛——对话系统技术挑战赛(DSTC8)上,腾讯智能平台产品部参与了三个赛道的七项任务,共获得四项指标世界第一,两项指标第二的优秀成绩。这个...
日期:05-27
《双城之战》第二季中文主题曲《这样很好(Isha's Song)》上线:陈奕迅演唱
今日新闻:《英雄联盟:双城之战》动画第二季正式回归,备受期待的中文主题曲《这样很好(Ishas Song)》现已上线。由实力唱将陈奕迅深情献唱,谱写动人旋律。哈药股份最高涨到多少该主...
日期:12-31
攒钱换机了!一加/OPPO/红魔/真我等安卓厂商:骁龙8Gen 3新机来了_一加8t neo3
快科技10月25日消息,高通新一代骁龙8宣布后,小米最先行动首发这款处理器,但其他安卓厂商也都跟上。现在,一加、OPPO、vivo、真我、红魔等厂商都宣布,成为首批发布新一代骁龙8处理...
日期:10-25
波动中的内容行业,为什么IP能抗周期
声明:本文来自于微信公众号 新声Pro(ID:xinsheng-pro),作者|杨睿琦 修订|张一童,授权转载发布。已经2022年了,「甄学家」们的狂欢还在继续。10月底,喜茶和《甄嬛传》推出联名产品,...
日期:11-08
小米台式机来了!小米迷你主机与小米13同步发布
此前,小米已经推出了包含轻薄本、游戏本在内的多款笔记本产品,对电脑用户来说可以说是一个熟悉的品牌。今天,小米笔记本官方正式宣布,将推出小米的首款桌面电脑:小米迷你主机。蒋...
日期:12-02