您的位置:首页 > 互联网

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较)_智算中心概念股

发布时间:2024-12-28 00:04:21  来源:互联网     背景:

寻找"算力王":智算中心需要怎样的AI服务器(附典型比较) 通信产业网|2024-11-12 09:30:15作者:胡媛来源:通信产业网

【通信产业网讯】(记者 胡媛)近两年,AI大模型给产业带来了巨大的影响,以GPU为核心的智算逐步成为算力的主要发展方向。据工信部规划,中国智能算力的占比将在2025年达到35%,年复合增长率在30%以上,这意味着智算中心将引领数据中心建设的潮流。

iphone 15 ultra什么时候出

服务器是提供数据存储、运算等服务的高性能计算机,包含处理器、内存、硬盘和其他功能及基础硬件。2024年以来,中国智算中心建设如火如荼,也在不断推动着服务器厂商持续推出加速计算服务器新品。

运营商智算“加速跑”

AI算力基础需求高增,国内供给显著改善。今年以来,运营商开展了大规模的智算中心建设,并开展了几次重要的算力服务器集采。

从资本开支来看,运营商加大算力相关资本开支。公开信息显示,2024年,中国移动算力领域预计投入475亿元,同比增长21.5%,占资本开支比重提升5.8个百分点至27.5%。中国电信产业数字化计划资本开支370亿元,同比增长4.1%,在云/算力计划投资180亿元。中国联通在算网数智投资方面将坚持适度超前、加快布局,但是未披露具体数额。可以看出,中国移动暂时拔得头筹,中国电信和中国联通紧随其后。

民生银行史玉柱持股比例

此外,财报显示,到2024年底,中国电信智算算力规模将大幅领先,中国移动次之。中国电信计划2024年智算算力提升10EFLOPS,超过21EFLOPS。中国移动2024年智算算力累计超过17EFLOPS。

从运营商积极布局智算中心来看,据不完全统计,目前,国内建成和在建的智算中心项目超500个,运营商为满足市场需求,正加快建设智算中心项目超80个,争夺政企市场。

中国移动优化全国性智算中心和边缘智算节点布局,全网智算规模达到17EFLOPS(FP16),年内将投产3个近两万卡超大规模单体智算中心和12个区域智算中心。中国电信适度超前建设智算基础设施,持续加大智算能力建设,规划并建设全国“2+3+7+X”公共智算云池,在京津冀、长三角地区建设两大万卡智算集群,西部地区打造大规模绿色智算池。中国联通布局热点集约、跨区辐射、边缘覆盖的多级算力体系,构建了“1+ N+X”全国分梯次智算资源,IDC规模超40万架,云池覆盖230多个城市。

从运营商招标项目来看,2024年4月,中国移动发布2024年至2025年新型智算中心采购招标公告,此次采购包含AI服务器7994台,成为有史以来国内最大规模的AI服务器集采。加上此前中国移动2023年至2024年新型智算中心(试验网)集采项目,12个标包对应AI训练服务器采购量总计达到2454台,中国移动这两次AI服务器集采规模合计超万台。

除了中国移动之外,其他两大运营商此前也开启了AI服务器大规模采购。中国联通在今年3月启动2024年人工智能服务器集采,其中,人工智能服务器采购总规模为2503台。中国电信在去年10月也采购了4175台AI服务器。以算力基础设施来说,在大模型产品迭代发展中,算力需求持续增长,带动AI服务器的需求居高不下。

AI服务器市场竞争激烈

在智算中心的建设中,服务器的选择至关重要,它直接关系到算力的强弱、任务的执行效率以及资源的利用率。一般来讲,智算中心的服务器主要包括训练服务器、推理服务器或训推一体服务器等三大类。

训练服务器主要利用大量数据对AI模型进行训练,通过调整模型参数使模型更好地拟合数据,学习数据中的特征和规律。这通常需要高性能的硬件支持,如高性能GPU或TPU(张量处理单元),以及大容量内存和高速存储设备。此类服务器的特点是适用于模型开发和训练阶段,需要强大的计算能力和长时间的稳定运行。  

推理服务器主要功能是对输入数据进行快速推理计算,生成预测结果。这通常用于实时应用场景,如自动驾驶、实时语音识别等。这类服务器特点是要求低延迟、高可靠性,通常采用低功耗的GPU或专用的推理芯片,如NVIDIA的TensorRT系列芯片,在保证推理速度的同时降低能耗和成本。

第五届立创电子设计大赛

训推一体服务器是既能进行模型训练又能进行推理计算的服务器。它的特点是资源利用率高,可以根据实际需求灵活分配计算和存储资源。但设计和维护成本也相对较高,需要解决CPU和GPU之间的算力融合问题,以及不同任务之间的资源调度问题。

针对智算中心存在的算力融合、算力孤岛、算力低效、硬件投资与更新、网络与管理等问题,在智算中心的建设中,服务器的选择应根据实际需求进行权衡。训练服务器适用于模型开发和训练阶段,推理服务器适用于实时应用场景,而训推一体服务器则可以在两者之间实现灵活切换和资源共享。

与此同时,智算服务器与传统通用服务器最大的区别,在于算力芯片的不同。智算服务器为了保证操作系统运行,也配置了CPU。但是,为了更好地完成AI计算任务,配置了更多的GPU、NPU(神经网络处理单元)、TPU等计算芯片(4块或8块),以这些芯片输出的算力为主。

除了芯片不同之外,为了充分发挥性能以及保障稳定运行,AI服务器在架构、存储、散热、拓扑等方面也进行了强化设计。例如,智算服务器的DRAM容量通常是普通服务器的8倍,NAND容量是普通服务器的3倍,甚至它的PCB电路板层数也明显多于传统服务器。

大模型发展带来了对超大规模算力、高性能存储、超大规模算力调度及管理、绿色节能等技术能力的需求。算力中心当前阶段,规模属于万卡集群、体量大,服务器采购要多型号、多厂家,配套液冷需要专业液冷供应商提供,来解决其解耦交付痛点。

超聚变推出FusionPoD for AI整机柜液冷服务器,从双生态、多样性算力、绿色低碳方面全方位重构智算底座,为智算集群需求打造高密、坚实、开放平台。中兴通讯推出的新互联AI服务器突破单节点算力瓶颈,旨在应对AI大模型训练中的通信带宽和时延挑战,并在算力提升和扩展性方面展现了领先的技术创新。新华三新发布的H3C UniServer G7系列依托面向AI的可进化架构、内生AI的操作系统和管理中枢,以及拥抱AGI的多元算力体系,为用户提供了灵活、高效、绿色的算力支持。浪潮元脑服务器NF5898G8,在AI算力方面具有强大的兼容性和卓越的性能,进一步加速算力融合创新。联想新一代Neptune海神液冷服务器,允许AI和HPC客户在不需要专门的数据中心空调的情况下运行100千瓦以上的服务器机架,98%的热量将转移到水循环中。信维全新推出的AI训推服务器H8650G5I提供不同的散热SKU,包括空气冷却和液体冷却解决方案。

对于服务器厂商而言,当其身量已不再局限于提供单一硬件产品时,而是提供综合性解决方案,这些解决方案可能包括服务器、存储、网络、安全等方面。未来,智算服务器将采用更高效的能源使用方式,实现绿色计算,并加强数据和模型的保护措施,以确保数据的安全性和隐私性。

算力智库

责任编辑:胡媛


返回网站首页

本文评论
要求企业披露AI模型数据来源,美国加州通过人工智能训练数据透明度法案
8 月 28 日消息,今日,美国加州立法机构通过了一项颇具争议的法案 —— 人工智能训练数据透明度法案,该法案将提交给州长加文・纽瑟姆,但其尚未对此法案表态。iphone 15 pro更新...
日期:08-29
报告预测专用元宇宙设备市场存量将在2024年达1亿「元宇宙市场规模」
凤凰网科技讯 北京时间10月8日消息,随着对元宇宙投资的增长,专用元宇宙设备(VR和AR头显)的拥有量将激增。最新的Strategy Analytics元宇宙、增强和虚拟现实(MAV)报告《元宇宙设...
日期:10-13
360政企安服业务岗位将被大幅裁撤_360政企安全事业部
  《科创板日报》27日讯,《科创板日报》记者从多个独立信源获悉,360政企安全集团的安服岗位将被大幅裁撤。有知情人士告诉记者,除华东、北京等少数区域保留一定人员外,其他区...
日期:09-29
山东乳山楼市:6万拿下一套海景房  网友表示不敢相信「乳山9万海景房」
难道海景房已经不再受欢迎了?近期,乳山地区的房地产市场引起了众多关注,一套海景房,只要6万就可拿下,这么便宜的价格,让人难以置信。据了解,银滩旅游度假区内最便宜的一套海景房,每...
日期:02-09
年薪超140万元!千亿光伏巨头核心技术人员离职,董事长身家高达73亿美元
2023年2月3日,光伏巨头天合光能(SH688599,股价,总市值1442亿元)发布公告称,公司核心技术人员方斌近日因个人原因申请辞去相关职务并办理完成离职手续。方斌离职后将不再担任公司...
日期:02-05
天翼云在云计算领域国际知名学术期刊发表论文_天翼云技术
近日,由天翼云科技有限公司云网产品事业部混合云团队完成的论文《Multivariate Time Series Collaborative Compression for Monitoring Systems in Securing Cloud-based Di...
日期:01-19
遏制Android吸费威胁 网秦推出手机杀毒4.6 Beta版
  近日,Android平台软件吸费成为业内关注的焦点。网秦“云安全”分析中心数据显示,仅“给你米”(geinimi)病毒及其10个变种累积感染超过90万部,而“安卓吸费王”病毒则会拦...
日期:07-25
百度:在未来几个季度加大对大语言模型和生成式AI的投入
8月22日 消息:今日,百度发布了2023年第二季度财报,该季度百度总营收达到了341亿元,同比增长15.2%。对此,百度CEO李彦宏表示,生成式AI和大语言模型具有巨大的变革能力,为百度提供了...
日期:08-23
特斯拉2018年交付量「乘联会:特斯拉1月份中国产汽车销量66051辆 环比增长18%」
2 月 8 日讯:乘联会公布数据称, 1 月新能源乘用车零售销量达到33. 2 万辆,同比下降6.3%,环比下降48.3%。其中,特斯拉销量 66051 辆,环比增长18%。小苹果赚了多少钱...
日期:02-10
腾讯:微信及WeChat月活12.99亿,同比增长3.8%_腾讯微信营收
讯 8月17日下午消息,腾讯控股今日发布2022年度第二季度财报。财报显示,该公司第二季度营收1340亿元,同比下滑3%;净利润186亿元,同比下滑56%,非国际财务报告准则下,净利润281亿元,同...
日期:08-19
阿里云大规模宕机  企业关注“多云”战略  中国云市场将再现BAT三足鼎立
  用“多云”还是“单一云”一直是企业间永恒的争论话题。但3月3日临晨发生的阿里云大规模宕机事件,使得“多云”阵营成为了胜利一方。   3月3日凌晨,有众多网友在微博上...
日期:05-26
小米13 Ultra获1.0.9.0版更新 新增大师人像、AISP功能_小米十三人
5月11日 消息:小米13Ultra手机迎来了澎湃HyperOS1.0.9.0的系统更新,这次更新不仅融入了2024年4月的安全补丁,加强了系统安全性,更在相机应用上实现了显著的功能升级,引入了备受...
日期:05-11
英国芯片设计公司Arm宣布新任CFO「arm是芯片设计公司吗」
  财联社9月27日电,英国芯片设计公司Arm当地时间周一宣布任命Jason Child为首席财务官(CFO)。Child拥有超过30年的高增长公司领导经验和全球金融职能扩展经验。Child将于2022...
日期:10-03
2023腾讯全球数字生态大会文旅专场:中国乐高乐园度假区与腾讯达成战略合作
(原标题:2023腾讯全球数字生态大会文旅专场:中国乐高乐园度假区与腾讯达成战略合作) 9月8日,2023腾讯全球数字生态大会·智慧文...
日期:09-11
美团联合创始人王慧文卸任摩拜法定代表人_美团联合创始人、高级副总裁王慧文
  12月22日上午消息,天眼查数据显示,12月20日,北京摩拜科技有限公司发生工商变更,美团联合创始人、高级副总裁王慧文卸任公司法定代表人、执行董事和经理一职,由美团点评高级...
日期:04-04
大爷高铁上抽烟致强制减速 女家属:不就是抽根烟「两男子接连抽烟致动车降速:不清楚禁烟要求」
2月6日,江苏南通,一大爷在乘坐高铁时抽烟,因烟雾报警器响起导致高铁强制减速。到站后,大爷被民警带下高铁,结果大爷和旁边的家人情绪非常激动,一直和民警争吵,大爷试图冲过阻拦,重新...
日期:02-10
简化签名体验:Linux基金会推出sigstore软件真实性验证服务
  致力推动开源创新的 Linux 基金会,刚刚宣布了一项旨在通过便捷的加密软件签名、提升软件供应链安全性的新服务。BetaNews 报道称,名为“sigstore”的这项辅助,使得软件开...
日期:07-16
「标准版5999元起、Pro版涨至8999元起 「疑似苹果iPhone」-15国行售价曝光」
来源:中关村在线支付宝怎么开通直播MediaTek MT6873 5G(天玑800)据传,苹果即将发布新款iPhone 15系列,预计下周三将占据各大媒体的头条。虽然最受关注的是价格,但任何配置最终都...
日期:09-07
支付宝(杭州)全球专利申请总量近8000件 获批国家高新技术企业「支付宝申请专利了吗」
10月8日 消息:从蚂蚁集团获悉,蚂蚁集团旗下支付宝(杭州)信息技术有限公司全球专利申请总量已接近8000件。另外,高新技术企业认定管理工作网显示,支付宝(杭州)、蚂蚁链、蚂蚁智安...
日期:10-12
盒马侯毅简历「盒马CEO侯毅:预制菜发展不可逆,好吃才是王道」
5月9日,盒马发起预制菜生态联盟,首批13家企业和上海海洋大学、西北农林科技大学、武汉商学院3家高校,以及老板电器加入联盟。盒马CEO侯毅表示,“预制菜,好吃才是王道。”他认为,预...
日期:05-09