您的位置:首页 > 互联网

算力中心是什么意思「寻找"算力王":智算中心需要怎样的AI服务器(附典型比较)」

发布时间:2024-11-17 07:31:02  来源:互联网     背景:

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较) 通信产业网|2024-11-12 09:30:15作者:胡媛来源:通信产业网

【通信产业网讯】(记者 胡媛)近两年,AI大模型给产业带来了巨大的影响,以GPU为核心的智算逐步成为算力的主要发展方向。据工信部规划,中国智能算力的占比将在2025年达到35%,年复合增长率在30%以上,这意味着智算中心将引领数据中心建设的潮流。

服务器是提供数据存储、运算等服务的高性能计算机,包含处理器、内存、硬盘和其他功能及基础硬件。2024年以来,中国智算中心建设如火如荼,也在不断推动着服务器厂商持续推出加速计算服务器新品。

运营商智算“加速跑”

AI算力基础需求高增,国内供给显著改善。今年以来,运营商开展了大规模的智算中心建设,并开展了几次重要的算力服务器集采。

从资本开支来看,运营商加大算力相关资本开支。公开信息显示,2024年,中国移动算力领域预计投入475亿元,同比增长21.5%,占资本开支比重提升5.8个百分点至27.5%。中国电信产业数字化计划资本开支370亿元,同比增长4.1%,在云/算力计划投资180亿元。中国联通在算网数智投资方面将坚持适度超前、加快布局,但是未披露具体数额。可以看出,中国移动暂时拔得头筹,中国电信和中国联通紧随其后。

此外,财报显示,到2024年底,中国电信智算算力规模将大幅领先,中国移动次之。中国电信计划2024年智算算力提升10EFLOPS,超过21EFLOPS。中国移动2024年智算算力累计超过17EFLOPS。

从运营商积极布局智算中心来看,据不完全统计,目前,国内建成和在建的智算中心项目超500个,运营商为满足市场需求,正加快建设智算中心项目超80个,争夺政企市场。

中国移动优化全国性智算中心和边缘智算节点布局,全网智算规模达到17EFLOPS(FP16),年内将投产3个近两万卡超大规模单体智算中心和12个区域智算中心。中国电信适度超前建设智算基础设施,持续加大智算能力建设,规划并建设全国“2+3+7+X”公共智算云池,在京津冀、长三角地区建设两大万卡智算集群,西部地区打造大规模绿色智算池。中国联通布局热点集约、跨区辐射、边缘覆盖的多级算力体系,构建了“1+ N+X”全国分梯次智算资源,IDC规模超40万架,云池覆盖230多个城市。

从运营商招标项目来看,2024年4月,中国移动发布2024年至2025年新型智算中心采购招标公告,此次采购包含AI服务器7994台,成为有史以来国内最大规模的AI服务器集采。加上此前中国移动2023年至2024年新型智算中心(试验网)集采项目,12个标包对应AI训练服务器采购量总计达到2454台,中国移动这两次AI服务器集采规模合计超万台。

除了中国移动之外,其他两大运营商此前也开启了AI服务器大规模采购。中国联通在今年3月启动2024年人工智能服务器集采,其中,人工智能服务器采购总规模为2503台。中国电信在去年10月也采购了4175台AI服务器。以算力基础设施来说,在大模型产品迭代发展中,算力需求持续增长,带动AI服务器的需求居高不下。

AI服务器市场竞争激烈

在智算中心的建设中,服务器的选择至关重要,它直接关系到算力的强弱、任务的执行效率以及资源的利用率。一般来讲,智算中心的服务器主要包括训练服务器、推理服务器或训推一体服务器等三大类。

训练服务器主要利用大量数据对AI模型进行训练,通过调整模型参数使模型更好地拟合数据,学习数据中的特征和规律。这通常需要高性能的硬件支持,如高性能GPU或TPU(张量处理单元),以及大容量内存和高速存储设备。此类服务器的特点是适用于模型开发和训练阶段,需要强大的计算能力和长时间的稳定运行。  

推理服务器主要功能是对输入数据进行快速推理计算,生成预测结果。这通常用于实时应用场景,如自动驾驶、实时语音识别等。这类服务器特点是要求低延迟、高可靠性,通常采用低功耗的GPU或专用的推理芯片,如NVIDIA的TensorRT系列芯片,在保证推理速度的同时降低能耗和成本。

训推一体服务器是既能进行模型训练又能进行推理计算的服务器。它的特点是资源利用率高,可以根据实际需求灵活分配计算和存储资源。但设计和维护成本也相对较高,需要解决CPU和GPU之间的算力融合问题,以及不同任务之间的资源调度问题。

针对智算中心存在的算力融合、算力孤岛、算力低效、硬件投资与更新、网络与管理等问题,在智算中心的建设中,服务器的选择应根据实际需求进行权衡。训练服务器适用于模型开发和训练阶段,推理服务器适用于实时应用场景,而训推一体服务器则可以在两者之间实现灵活切换和资源共享。

与此同时,智算服务器与传统通用服务器最大的区别,在于算力芯片的不同。智算服务器为了保证操作系统运行,也配置了CPU。但是,为了更好地完成AI计算任务,配置了更多的GPU、NPU(神经网络处理单元)、TPU等计算芯片(4块或8块),以这些芯片输出的算力为主。

除了芯片不同之外,为了充分发挥性能以及保障稳定运行,AI服务器在架构、存储、散热、拓扑等方面也进行了强化设计。例如,智算服务器的DRAM容量通常是普通服务器的8倍,NAND容量是普通服务器的3倍,甚至它的PCB电路板层数也明显多于传统服务器。

科大讯飞与教育部

微短剧定义

大模型发展带来了对超大规模算力、高性能存储、超大规模算力调度及管理、绿色节能等技术能力的需求。算力中心当前阶段,规模属于万卡集群、体量大,服务器采购要多型号、多厂家,配套液冷需要专业液冷供应商提供,来解决其解耦交付痛点。

超聚变推出FusionPoD for AI整机柜液冷服务器,从双生态、多样性算力、绿色低碳方面全方位重构智算底座,为智算集群需求打造高密、坚实、开放平台。中兴通讯推出的新互联AI服务器突破单节点算力瓶颈,旨在应对AI大模型训练中的通信带宽和时延挑战,并在算力提升和扩展性方面展现了领先的技术创新。新华三新发布的H3C UniServer G7系列依托面向AI的可进化架构、内生AI的操作系统和管理中枢,以及拥抱AGI的多元算力体系,为用户提供了灵活、高效、绿色的算力支持。浪潮元脑服务器NF5898G8,在AI算力方面具有强大的兼容性和卓越的性能,进一步加速算力融合创新。联想新一代Neptune海神液冷服务器,允许AI和HPC客户在不需要专门的数据中心空调的情况下运行100千瓦以上的服务器机架,98%的热量将转移到水循环中。信维全新推出的AI训推服务器H8650G5I提供不同的散热SKU,包括空气冷却和液体冷却解决方案。

对于服务器厂商而言,当其身量已不再局限于提供单一硬件产品时,而是提供综合性解决方案,这些解决方案可能包括服务器、存储、网络、安全等方面。未来,智算服务器将采用更高效的能源使用方式,实现绿色计算,并加强数据和模型的保护措施,以确保数据的安全性和隐私性。

算力中心是什么意思

卧龙龙殇队伍配合

责任编辑:胡媛


返回网站首页

本文评论
高管离职危机、CEO不靠谱,Stability AI领导地位受到威胁_it高管会
本文要点:1. Stability AI 公司因Stable Diffusion的成功而备受瞩目,但近期面临高管离职和融资困难等问题,导致领先地位受到威胁。2. 公司 CEO Emad Mostaque 因言论夸张和承...
日期:08-08
快手周杰伦直播榜一是谁「周杰伦、蔡依林之后,快手娱乐再出现象级直播」
声明:本文来自于微信公众号卡思数据(ID:caasdata6),作者:叫我娜姐,授权转载发布。一边露营,一边谈唱是种什么体验?刚刚结束的“夏日狂欢派对·野营谈唱会”上,成龙给出了他的答案...
日期:08-01
联想集团揭示先进制造的升维秘钥,第七届世界智能大会在津启幕
 【】5月18日,第七届世界智能大会在天津开幕,本届大会以“智行天下 能动未来”为主题,聚焦智能科技赋能社会经济发展。为期4天的大会将以超越往届的活动规格和参会规模,聚合中...
日期:09-27
小米汽车SU7首撞产生:雪天路滑、大灯被撞瞎_小米轿车
快科技2月3日消息,小米汽车还没交付,首撞就产生了。据知情博主透露,此次事故发生测试阶段,由于下雪导致地面结冰,没有更换轮胎的小米SU7与前车发生追尾。事故产生后,可以看到这台...
日期:02-03
华为发布全新超高端品牌:非凡大师 刘德华担任品牌大使_刘德华代言华为
9月25日消息,华为秋季全场景新品发布会在深圳举行。发布会期间,华为常务董事、终端BG CEO、智能汽车解决方案BU董事长余承东发布了超高端品牌ULTIMATE DESIGN非凡大师。iphone...
日期:09-26
性能比肩F1赛车!红牛RB17超跑发布:售价高达4700万元_红牛发布2021赛季新车rb16b
快科技7月12日消息,据媒体报道,在2024年古德伍德速度节上,红牛RB17超级跑车正式亮相,成为关注的焦点。苹果发布会iphone12紫色这款由传奇设计师阿德里安-纽维与红牛先进技术公司...
日期:07-13
黄仁勋、苏姿丰真的是亲戚!苏妈还得喊一声表舅_苏姿丰和黄仁勋合照
NVIDIA创始人兼CEO黄仁勋,AMD董事长兼CEO苏姿丰,都是当今的风云人物,一个被称为“AI教父”,一个被誉为“半导体女王”。他俩都是华裔,都出生在中国台湾台南,都从小随家人移民美国,...
日期:07-03
刚考科目二就买车开400公里高速 司机:我技术算不错的「科目二600公里」
5月13日,莆炎高速江西广昌西服务区,一名无证驾驶的男子被查获。经查,该男子在福建买了一辆二手车,但他刚考过科目二,本来想等朋友把车开回,但临时有事,觉得自己的驾驶技术还可以,便...
日期:05-30
ios15.0.2更新出错「iOS16.1 Beta2正式推送:修复两项重要问题,果粉反馈也出炉了」
众所周知,iOS系统一直都是以出色的流畅度为主打方向,但没有想到,自从进入iOS16之后,市场中的争议声一直都没有停止,带来了很多问题,导致用户体验非常差。要知道,卡顿、发热量大、功...
日期:09-30
一汽大众app功能「一汽大众官方回应中控屏弹窗:并非弹窗广告」
9 月 28 日讯:据中国新闻网报道,针对导航弹窗一事,一汽大众回应称,车机消息推送是一汽大众面向车主的关怀行为,并非弹窗广告,提醒用户保养、品牌活动邀约等与用户息息相关的信息...
日期:09-28
一只小鸟的“愤怒”生意:梦想超越迪士尼(愤怒的小鸟一家)
十七个月前,小鸟带着弟兄姊妹,悄悄地从北欧开始,跟绿猪“干”起来了。 这“愤怒的小鸟”(Angry Bird),一款貌似弱智的游戏:在手机、平板电脑、游戏机等各种设备上,人们只需要触摸屏...
日期:07-27
美团大跌后腾讯辟谣清仓,今年已遭沈南鹏8次减持「美团暴涨原因」
  作者:陆涵之;;责编:宁佳彦  8月16日,有消息称,腾讯控股(00700.HK)将出售美团(03690.HK)股票,对此腾讯集团市场与公关部总经理张军进行了辟谣。今日港股,包括美团在内的腾讯系股...
日期:09-26
HeyGen推自动剪辑工具Instant Highlights 1.0 可适配多种平台_自动剪辑神器
5月6日 消息:在AI技术不断创新的今天,HeyGen公司最近推出了一款名为Instant Highlights1.0的自动视频剪辑工具,旨在为用户提供更便捷的视频编辑体验。通过这个工具,用户可以上...
日期:05-06
我在抖音卖农具,热销10万+_抖音平台卖农产品 平台怎样收费
各位村民好,我是村长。今天分享的这个账号你一定要看,因为很多人根本就看不上这么赚钱的生意。我的核心目的希望让大家关注其中的两点,如果你能够深刻的去思考,也许也能找到赚钱...
日期:06-29
能跑步、爬楼更快了-逐际动力人形机器人测试视频曝光
【】4月11日消息,国内通用机器人公司逐际动力公开了一段人形机器人的最新测试视频。视频中,逐际动力人形机器人CL-1 完成了一步一阶上楼梯和往返跑步等。逐际动力人形机器人CL...
日期:04-11
apollo-ie「ApolloAI官网体验入口 人工智能图像、视频、音乐、语音生成使用地址」
ApolloAI是一款人工智能平台,提供AI图像、视频、音乐、语音合成等功能。用户可以通过文本或图片输入生成多种类型的内容,具备商业使用权。定价灵活,提供订阅和一次性购买两种模...
日期:04-10
iphone16pro外观设计独特的古铜色设计实属首次 iPhone-16 Pro最新外观曝光
来源:中关村在线马斯克与推特ceo海龟怎么钓据最新消息,苹果公司计划于9月10日发布其备受期待的iPhone 16系列手机。距离这一日期不足两周的时间了。近日,一位资深科技行业编辑...
日期:08-31
Rask AI :一款本地化视频翻译工具 支持60多种语言_本地视频实时翻译
8月10日 消息:Rask AI 是一款一站式本地化视频翻译工具,内容创作者只需上传视频、点击几下即可把视频翻译成60多种语言。Rask AI 借助 "文字转语音" 和 "语音克隆" 技术,你不...
日期:08-10
互联网害了一大批人「互联网已经被 AI 污染的差不多了」
声明:本文来自于微信公众号 硅星人Pro,作者:周一笑,授权转载发布。最近一张用AI批量做号的微信截图流传在各个群里,有人自爆用AI在小红书做了一个庞大的虚假账号矩阵,通过售卖账号...
日期:09-19
华为鸿蒙OS 3 Beta版升级名单出炉:7款机型 2年前老机型也在列「华为鸿蒙OS可升级名单」
华为官方公布了最新一批的华为鸿蒙OS 3 Beta版的尝鲜机型名单,其中增加了7款新的机型,最早的有2年前的老机型也可以升级。升级名单中手机包含了:nova 9 SE、nova 8、nova 8 Pro...
日期:10-12