您的位置:首页 > 互联网

算力中心是什么意思「寻找"算力王":智算中心需要怎样的AI服务器(附典型比较)」

发布时间:2024-11-13 22:04:09  来源:互联网     背景:

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较) 通信产业网|2024-11-12 09:30:15作者:胡媛来源:通信产业网

【通信产业网讯】(记者 胡媛)近两年,AI大模型给产业带来了巨大的影响,以GPU为核心的智算逐步成为算力的主要发展方向。据工信部规划,中国智能算力的占比将在2025年达到35%,年复合增长率在30%以上,这意味着智算中心将引领数据中心建设的潮流。

服务器是提供数据存储、运算等服务的高性能计算机,包含处理器、内存、硬盘和其他功能及基础硬件。2024年以来,中国智算中心建设如火如荼,也在不断推动着服务器厂商持续推出加速计算服务器新品。

运营商智算“加速跑”

AI算力基础需求高增,国内供给显著改善。今年以来,运营商开展了大规模的智算中心建设,并开展了几次重要的算力服务器集采。

从资本开支来看,运营商加大算力相关资本开支。公开信息显示,2024年,中国移动算力领域预计投入475亿元,同比增长21.5%,占资本开支比重提升5.8个百分点至27.5%。中国电信产业数字化计划资本开支370亿元,同比增长4.1%,在云/算力计划投资180亿元。中国联通在算网数智投资方面将坚持适度超前、加快布局,但是未披露具体数额。可以看出,中国移动暂时拔得头筹,中国电信和中国联通紧随其后。

此外,财报显示,到2024年底,中国电信智算算力规模将大幅领先,中国移动次之。中国电信计划2024年智算算力提升10EFLOPS,超过21EFLOPS。中国移动2024年智算算力累计超过17EFLOPS。

从运营商积极布局智算中心来看,据不完全统计,目前,国内建成和在建的智算中心项目超500个,运营商为满足市场需求,正加快建设智算中心项目超80个,争夺政企市场。

中国移动优化全国性智算中心和边缘智算节点布局,全网智算规模达到17EFLOPS(FP16),年内将投产3个近两万卡超大规模单体智算中心和12个区域智算中心。中国电信适度超前建设智算基础设施,持续加大智算能力建设,规划并建设全国“2+3+7+X”公共智算云池,在京津冀、长三角地区建设两大万卡智算集群,西部地区打造大规模绿色智算池。中国联通布局热点集约、跨区辐射、边缘覆盖的多级算力体系,构建了“1+ N+X”全国分梯次智算资源,IDC规模超40万架,云池覆盖230多个城市。

从运营商招标项目来看,2024年4月,中国移动发布2024年至2025年新型智算中心采购招标公告,此次采购包含AI服务器7994台,成为有史以来国内最大规模的AI服务器集采。加上此前中国移动2023年至2024年新型智算中心(试验网)集采项目,12个标包对应AI训练服务器采购量总计达到2454台,中国移动这两次AI服务器集采规模合计超万台。

除了中国移动之外,其他两大运营商此前也开启了AI服务器大规模采购。中国联通在今年3月启动2024年人工智能服务器集采,其中,人工智能服务器采购总规模为2503台。中国电信在去年10月也采购了4175台AI服务器。以算力基础设施来说,在大模型产品迭代发展中,算力需求持续增长,带动AI服务器的需求居高不下。

AI服务器市场竞争激烈

在智算中心的建设中,服务器的选择至关重要,它直接关系到算力的强弱、任务的执行效率以及资源的利用率。一般来讲,智算中心的服务器主要包括训练服务器、推理服务器或训推一体服务器等三大类。

训练服务器主要利用大量数据对AI模型进行训练,通过调整模型参数使模型更好地拟合数据,学习数据中的特征和规律。这通常需要高性能的硬件支持,如高性能GPU或TPU(张量处理单元),以及大容量内存和高速存储设备。此类服务器的特点是适用于模型开发和训练阶段,需要强大的计算能力和长时间的稳定运行。  

推理服务器主要功能是对输入数据进行快速推理计算,生成预测结果。这通常用于实时应用场景,如自动驾驶、实时语音识别等。这类服务器特点是要求低延迟、高可靠性,通常采用低功耗的GPU或专用的推理芯片,如NVIDIA的TensorRT系列芯片,在保证推理速度的同时降低能耗和成本。

训推一体服务器是既能进行模型训练又能进行推理计算的服务器。它的特点是资源利用率高,可以根据实际需求灵活分配计算和存储资源。但设计和维护成本也相对较高,需要解决CPU和GPU之间的算力融合问题,以及不同任务之间的资源调度问题。

针对智算中心存在的算力融合、算力孤岛、算力低效、硬件投资与更新、网络与管理等问题,在智算中心的建设中,服务器的选择应根据实际需求进行权衡。训练服务器适用于模型开发和训练阶段,推理服务器适用于实时应用场景,而训推一体服务器则可以在两者之间实现灵活切换和资源共享。

与此同时,智算服务器与传统通用服务器最大的区别,在于算力芯片的不同。智算服务器为了保证操作系统运行,也配置了CPU。但是,为了更好地完成AI计算任务,配置了更多的GPU、NPU(神经网络处理单元)、TPU等计算芯片(4块或8块),以这些芯片输出的算力为主。

除了芯片不同之外,为了充分发挥性能以及保障稳定运行,AI服务器在架构、存储、散热、拓扑等方面也进行了强化设计。例如,智算服务器的DRAM容量通常是普通服务器的8倍,NAND容量是普通服务器的3倍,甚至它的PCB电路板层数也明显多于传统服务器。

算力服务是什么

大模型发展带来了对超大规模算力、高性能存储、超大规模算力调度及管理、绿色节能等技术能力的需求。算力中心当前阶段,规模属于万卡集群、体量大,服务器采购要多型号、多厂家,配套液冷需要专业液冷供应商提供,来解决其解耦交付痛点。

超聚变推出FusionPoD for AI整机柜液冷服务器,从双生态、多样性算力、绿色低碳方面全方位重构智算底座,为智算集群需求打造高密、坚实、开放平台。中兴通讯推出的新互联AI服务器突破单节点算力瓶颈,旨在应对AI大模型训练中的通信带宽和时延挑战,并在算力提升和扩展性方面展现了领先的技术创新。新华三新发布的H3C UniServer G7系列依托面向AI的可进化架构、内生AI的操作系统和管理中枢,以及拥抱AGI的多元算力体系,为用户提供了灵活、高效、绿色的算力支持。浪潮元脑服务器NF5898G8,在AI算力方面具有强大的兼容性和卓越的性能,进一步加速算力融合创新。联想新一代Neptune海神液冷服务器,允许AI和HPC客户在不需要专门的数据中心空调的情况下运行100千瓦以上的服务器机架,98%的热量将转移到水循环中。信维全新推出的AI训推服务器H8650G5I提供不同的散热SKU,包括空气冷却和液体冷却解决方案。

义乌小商品市场销售额

算力智库官网

对于服务器厂商而言,当其身量已不再局限于提供单一硬件产品时,而是提供综合性解决方案,这些解决方案可能包括服务器、存储、网络、安全等方面。未来,智算服务器将采用更高效的能源使用方式,实现绿色计算,并加强数据和模型的保护措施,以确保数据的安全性和隐私性。

vertu5g手机怎么样

印度芯片工厂

责任编辑:胡媛


返回网站首页

本文评论
全球最有钱的10个男人:马斯克稳居第一 扎克伯格首次成世界第二大富豪
快科技10月4日消息,全球第二大富豪正式易主。嘉峪关海拨多少米以上特斯拉支持5g根据彭亿万富豪指数,随着Meta周四股价创下新高,其创始人兼CEO马克扎克伯格(Mark Zuckerberg)周...
日期:10-04
你在小红书上关注的美女博主,可能是AI_小红书上有哪些美女
声明:本文来自于微信公众号 锌刻度(ID:znkedu),作者:黎炫岐,授权转载发布。在近年来,虚拟偶像、虚拟主播(VTuber)似乎已经不是什么新鲜事,人们就算没有成为虚拟偶像的粉丝,也一定都曾听...
日期:04-09
一单只挣几块钱,年轻人追捧的代炒是门好生意吗?_代炒期货合法吗
声明:本文来自于微信公众号Tech星球(微信ID:tech618),作者:张宁洢,授权转载发布。杭州的自由职业者刘丽,最近解锁了一种新的就餐方式。她每两天就会去家附近的菜市场采购想吃的食材...
日期:11-07
上海复式楼小户型多少钱一套「小伙1600元租上海5平米复式房:空间利用到极致」
5月22日消息,上海一名小伙晒出一套5平米改成的复式一室户,直呼房东真是设计界的天才。仅仅5平米的空间,被利用到极致。从入户门进来后,左手边是一个小楼梯,楼梯下放着一个小冰箱...
日期:05-23
京东会玩儿!搜索“遥遥领先”直达华为Mate 60系列_京东抢购华为mate40
近日,华为Mate 60系列的突然未发先售引发了网友的广泛关注。据网友发现,现在在京东搜索“遥遥领先”四个字,可以直接跳转到华为Mate 60系列专区,进行订金预售。 目前,华为Mate 60...
日期:09-01
跟不上抖音梗,做不了“普通人”_跟不上溜
声明:本文来自于微信公众号 娱乐硬糖(ID:yuleyingtang),作者:谢明宏,授权转载发布。不玩抖音的人和抖音深度用户,对世界的感知是截然不同的。标准的抖人,早上先瞧一眼娟子喝水,看法...
日期:12-29
CC视频管理平台为企业注入更多品牌元素
  得益于带宽的高速增长和云技术的发展,通过网络在线观看超清视频内容成为网民日常行为。很多网民会在视频分享网站观看浏览电影、电视剧、新闻视频、企业宣传片等多种内...
日期:07-23
30岁亿万富翁SBF,终成“阶下囚”_从千万富翁到阶下囚
  出品|虎嗅科技组  作者|周舟  编辑|陈伊凡  SBF(Sam Bankman-Fried),这个美国最年轻的亿万富翁之一,下辈子或将在牢狱中度过。  2022年12月12日下午6点多,SBF在巴哈...
日期:12-14
英伟达推出全新的AI模型NVIDIA DLSS 3.5  大幅提升光影效果_英伟达 studio
8月28日 消息:今天,英伟达推出全新的AI模型NVIDIA DLSS3.5。该模型采用了光线重建(Ray Reconstruction)技术,能为密集型光追游戏和应用程序,创建更高质量的光追图像。NVIDIA DLSS...
日期:08-29
kfc生日半价桶售罄「河南鹅毛大雪满天飞 积雪脚脖子深:专家提醒安全出行」
自1月31日晚上起,河南省多地开始降雪,现场视频显示,鹅毛大雪纷纷扬扬,积雪深度达到了脚脖子。据国内多家媒体报道,本轮低温雨雪天气影响范围广、持续时间长。针对这一情况,气象专...
日期:02-01
某消费投资人看好的24个小生意:鸡蛋灌饼、麻辣烫、包子铺等…_某类消费者重视投入成本
声明:本文来自于微信公众号三言Pro(ID:sycaijing),作者:三言,授权转载发布。投资人现在看中什么赛道?近日有网友列出某知名消费投资人看好的24个小生意,包括鸡蛋灌饼、包子铺、麻...
日期:10-25
海南2025年燃油车禁售「放下执念 顺应电动汽车大势!海南:2030年停售燃油车」
快科技8月20日消息,据国内媒体报道称,海南已经确定,2030年停售燃油车。苹果2022将会发布的新机报道中提到,为落实《海南省清洁能源汽车发展规划》《海南省新能源汽车推广中长期...
日期:08-20
wps.pic.arw「WPS AI官网上线:招募智能办公体验官 文档表格一键生成」
快科技7月6日消息,在2023世界人工智能大会期间,金山办公正式推出基于大语言模型的智能办公助手WPS AI。WPS AI官网同步上线,并开启招募智能办公体验官的通道。金山办公CEO章庆...
日期:07-06
卢伟冰今天去工地开会:讨论新品「卢伟冰的公司」
中关村在线消息:今天,Redmi品牌总经理卢伟冰在微博向大家分享了它的日程,卢总今天去了小米智慧产业基地(昌平一期)开会,并晒出了工地的图片。本次卢总前去开会,很有可能是在讨论在...
日期:10-16
奇瑞董事长尹同跃:我做直播是被“绑架”的
快科技5月5日消息,在日前的央视《对话》节目中,奇瑞汽车董事长尹同跃回应了自己亲自下场开直播的原因。尹同跃表示,自己做直播是典型的被绑架”,被行业绑架,也被自己手下的这些年...
日期:05-05
百度地图iPhone版新鲜评测_苹果地图 百度地图 对比
  覆盖颇具消费力人群而为各大手机服务提供商必争的IOS平台,近日迎来新的有力竞争者。国内用户使用量最大的地图服务百度地图在推出Android和Symbian版移动客户端后,于8月1...
日期:07-22
小米集团开盘大涨近15% 小米汽车SU7大定近9万辆_小米汽车股
4月2日 消息:今日港股开盘,小米集团股价飙升,涨幅高达14.99%,市值随之攀升至4142亿港元。小米汽车的首款车型SU7于3月28日晚7点正式上市,市场反应热烈。根据小米汽车官方数据,新...
日期:04-02
淘特官方直营店「淘特上线两款智能新品“微店铺”和“心动搜索”_」
11月16日消息,淘特宣布上线两款智能产品:淘特“微店铺”和“心动搜索”。据介绍,淘特“微店铺”和“心动搜索”基于淘特搜索逻辑研发出的体验新功能,通过商业创新和交互创新,提升...
日期:11-18
midjourney干货教程:控制角色一致性的5个方法及midjourney提示分享
注:本文图片均由Midjourney生成很多人在使用Midjourney生成角色时,基本上都遇到过一个问题,那就是它很难保持角色的一致性。今天,给大家分享几个控制角色一致性的方法,希望对你有...
日期:05-23
蔚来二代换电站哪里生产?「蔚来护城河又深了 第四代换电站6月13日上线:最多日服务480次」
快科技6月1日消息,在2024粤港澳车展举办期间,蔚来官方宣布,首座第四代换电站和640kW全液冷超快充桩将于6月13日在广州正式上线。第四代换电站采用站顶光伏发电系统,拥有60平米的...
日期:06-01