腾讯云直播集成「现场直播怼脸！腾讯云行业大模型炸场，超炫AI能力全能输出」

声明:本文来自于微信公众号 新智元（ID:AI_era），作者:新智元，授权转载发布。

6月19日，腾讯云在行业大模型这个领域成功秀了一把，还是现场直怼脸的那种。

这不，端午节就要来了，不如问个实际点的:端午节三天不出江浙沪，有什么行程推荐?

先来看标准的语言大模型模型的回答。

它给出了和许多LLM同样的「配方」，比如参观名胜古迹、品尝美食等简单安排。

总之，让人感觉好像安排了，又好像没有安排，参考性比较弱。

如果求助用行业场景数据训练后的大模型，效果如何?

这次，顺便升级一下问题复杂度:「我和孩子都是历史人文爱好者，端午节想去上海周边，预算5000以内，最好每天去2个景点玩。」

可以看到，模型给出了三天的行程规划。相较之前的回复，细致了很多，但实操性还是不够强。

接下来，同样的问题，再扔给接入文旅客户API接口后的行业大模型问一遍。

显然，这次直接提供了「保姆级三天攻略」，详细介绍了景点的特色。

另外，还给出了每天景点的交通安排，甚至，可以实时查询到今年的介绍信息、购票链接、还有价格等相关信息。

让人看完，瞬间觉得这样的行程不仅有意义，还省去了做出行功课的时间。

如果再让它推荐一下苏州的酒店，你直接得到了不同档次的推荐和介绍，还有酒店的预定链接。

足见，精调后的文旅客服大模型的回答让人拍手叫绝。

值得一提的是，这样的模型不仅可以制订详细的旅行攻略，也让智能客服系统，实现服务商业化的闭环。

未来，随着更高质量数据增加，模型的精调效果还会更好。

行业大模型已成共识

在这场ChatGPT引爆AI大模型的热潮中，企业虽然期待能够得到大模型能力的加持，但通用大模型在解决他们问题时多多少少遇到一些局限性。

首先，安全方面。

由于很多企业的业务数据等都是非常隐私的核心数据，他们根本不会将其放在数据集上进行公开训练。

然而，训练模型的专业、且高质量的数据收集是非常难的。

其次，经济方面。

很多企业和机构在构建大模型上，算力需求还是极大的。但是并非每家企业都有足够的资源，让大模型完成训练和推理。

英伟达曾公布数据显示，训练一次大模型，大约100多万美金。

再加上，如果遇到服务器过热宕机，整个GPU集群都要停止工作，训练任务也要重新开始。

这对云服务运维能力与排查问题能力的要求非常高，所以很多算法团队都选择最专业的云服务厂商来支持。

这些都需要高成本的投入，但许多企业级用户是无法做到的。

最后，效率方面。

对于通用大模型来说，数据质量非常重要。

大模型需要大量的高质量数据进行训练和优化。必须经过清洗和预处理，来消除噪声、填补缺失值并确保数据质量。

否则，训练出的模型效果、效率都无法得到保障。

除此之外，在很多产业场景中，用户对企业提供的专业服务要求高，容错性低。企业一旦提供了错误信息，可能引起巨大的法律责任或公关危机。

因此，企业使用的大模型必须可控、可追溯、可溯源，而且必须反复、充分测试才能上线。

以上种种难题，怎么破?答案就是行业大模型。

稍加观察就会发现，现在国内很多家大模型，都在往产业领域和具体的业务场景上走。

不止腾讯云，回看国内各大厂，包括阿里云、百度云、京东云在内都在加速大模型在各行各业的应用。

可以看到，行业大模型大概率已经成为了产业共识。因为聚焦到具体应用场景中，行业大模型更符合垂类场景的需求。

当然，在此之前，腾讯云早已在自家平台上做了深度的探索。

作为国内开发者最常用的辅助工具，GitHub Copilot让大家充分感受到了智能的力量。代码自动补全的功能，代表着巨大飞跃的来临。

而腾讯云的新一代AI代码助手，也实现了GitHub Copilot的类似功能。多种编程语言、主流开发框架、常用IDE等，AI代码助手都支持。

举个例子，比如有段代码不会写，AI代码助手就可以根据代码类型、代码上下文等信息，自动进行代码补全。不仅如此，它还能根据代码反向生成注释和单元测试代码，甚至更进一步地帮你debug。

MaaS一站式解决方案

现在，腾讯云基于自己的应用积累，以及行业上的实际需求，重磅推出了全新的MaaS（Model-as-a-Service）一站式服务，大幅降低了大模型的应用门槛。

目前，腾讯云已经联合头部企业，为诸如金融、传媒、文旅、政务、教育等10大行业，输出了超过50个解决方案。

具体来说，腾讯云MaaS可以覆盖行业大模型生命周期的整个流程——「模型选型-训练共建-部署应用」，同时支持MLOps体系及相关工具。

在配套服务方面，腾讯云提供本地化的训练、落地及陪跑优化服务，并可以针对用户的需求，提供私有化部署、公有云托管、混合云部署等灵活部署方案。

其中，企业可以利用自己的场景数据，定制专属的精调大模型。或者，也可以根据自身的需求，开展多模型训练任务。

举个例子，在某商业银行的日常业务中，就时常遇到这样的难题。

客户业务中涉及到大量银行回单、交易发票、跨境汇款申请书、业务往来邮件、传真等数据，需要整理、录入系统。

如果纯依赖人工，就会面临耗时长、效率低、成本高、易出错的难题。

即使是采用传统的OCR深度学习模型，也需要经过「检测→识别→结构化」等多个阶段，这个流程一走完，经过各个阶段的错误累积，检测识别的难点往往难以突破。

并且，模型也不具备阅读理解和推理能力、指标上限低，在不同场景下，模型的能力更是无法复制、定制成本极高。

而腾讯云TI-OCR大模型却充分解决了以上痛点。

首先，它是基于原生大模型，不经过训练，就可以直接支持常规下游任务，零样本学习泛化召回率可达93%。

其次，通过prompt设计，模型不经过训练，就可支持复杂的下游任务，小样本学习泛化召回率可达95%。

另外，通过多模态技术，模型可以通过小样本精调解决传统OCR难题，比传统模型召回率提高了3%-20%。

最终，在在智能OCR应用方面，腾讯云针对交易回单、交易发票、业务往来邮件等多种格式的数据，实现了95%以上准确率的文件智能识别和关键词提取。极大地减少低价值高耗时手工作业，节省运营人力成本。

那么，这样「预制菜」式的大模型精调，是怎么实现的呢?

坚实的技术积累

为了帮助用户实现一站式的大模型精调，腾讯云也给TI平台来了个全面升级，提供包括数据标注、训练、评估、测试和部署等全套工具链。

升级之后的TI平台，能够更好地完成「业务分析-数据分析-数据清洗-数据标注-大模型选择-训练加速-模型评测-应用落地」这一全套的行业大模型落地流程。

人人皆知，算力、数据、算法是AI的三要素，大模型时代也是如此。

大模型训练，算力是基础。

就算力来讲，可以说，腾讯云把配置全给拉满了。

早在今年4月，腾讯云便发布了面向大模型训练的最新一代HCC（High-Performance Computing Cluster）高性能计算集群。

采用最新一代腾讯云星星海自研服务器，结合多层加速的高性能存储系统，能够提供3.2Tbps业界最高互联带宽，算力性能提升3倍。

具体来说，集群的单GPU卡能够在不同精度下，输出最高1979TFlops的算力。

而在大模型场景下，集群利用并行计算理念，通过CPU和GPU节点的一体化设计，能够将单点算力性能提升至更高。

除了单点的运算能力外，集群中不同计算节点之间的通信性能也会直接影响训练效率。

为此，腾讯云自研了具备业界最高3.2T RDMA通信带宽的星脉高性能计算网络，能够更好地满足节点间海量的数据交互需求。

实测结果显示，相较于此前的1.6T网络，在GPU数量不变的情况下，3.2T星脉网络能够给集群带来20%的算力提升。

其次，大模型的训练数据至关重要，经常会遇到数据清洗、标注、分析等问题。

而在前期的数据处理阶段，TI-DataTruth数据标注平台能提供智能数据生产服务支持，包括数据标注作业、数据众包管理、场景数据挖掘等。

在接下来的模型训练上，TI-ONE一站式机器学习平台内置了多种训练方式和算法框架，可以满足不同AI应用场景的需求，并支持从数据接入、模型训练、模型管理到模型服务的全流程开发。

ChatGPT还没联网之前，训练数据只截止到2021年9月，而对训练截止之日之后发生的事情一无所知。而向量数据库通过存储最新信息，让大模型能够访问，来弥补这个不足点。

向量是AI理解世界的数据形式，由此向量数据库之于大模型的价值就是「记忆体」，能够给LLM提供与加强记忆。可以说，向量数据库是大模型时代「储存新基座」。

就在今年3月，老黄在GTC大会上还首次提及了将要推出的RAFT向量数据库。

基于这一需求，腾讯自研的大模型向量数据库（Tecent Cloud Vector DB），不仅具备高吞吐、低延迟、低成本、高可用、弹性扩展等特点，而且还能进行实时更新，并大幅提升大模型阅读理解的长度，从2千字到8千字。

为了提升模型的训练推理效率，降低用户成本，腾讯云在去年推出了TI-ACC加速工具。

TI-ACC底层使用TNN作为框架，训练加速实现了数据IO优化、计算加速、通信加速、并行训练、显存优化等能力，兼容原生PyTorch、TensorFlow框架和DDP、PS工具。

而TI-ACC推理加速则可以实现计算优化、低精度加速、内存优化等能力，能力通过统一的加速库和优化函数的形式提供，同样兼容原生PyTorch等框架，无需进行模型转换。

这次，腾讯云更进一步地将TI-ACC升级为「太极Angel」，从而提供更优和更完整的大模型训练和推理加速能力。

在传统CV、NLP算法模型的基础上，太极Angel新增了对大模型的训练和推理加速能力，通过异步调度优化、显存优化、计算优化等方式，相比行业常用方案性能提升30%+。

在模型的应用和部署上，TI-Matrix应用平台支持快速接入各种数据、算法和智能设备。用户则可以借助可视化编排工具，进行模型服务和资源的管理及调度。

最后，对于行业大模型尤为重要的安全、合规方面，腾讯云也有成熟的技术积累和经验。

通过在问题侧、模型侧和答案侧同时进行敏感信息的过滤和规避，可以让输出的答案符合安全、规范的要求，并确保大模型可信、可靠、可用。

模型应用，产业先行

大模型方兴未艾，为什么大家都在走向大模型通往产业领域的路径?这是否意味着通用大模型失去了价值?

其实不然。我们见证了，GPT-4、PaLM等巨量参数的通用大模型，涌现出「举一反三」的强大泛化能力。

它们都是利用大算力，在大规模无标注数据集中进行训练，相当于完成了「通识教育」。

最直接的证明是，OpenAI把通用大模型的训练结果——ChatGPT带到所有人面前，让发展大半个世纪的AI真正步入提升人类生产力的新纪元。

可见，通用大模型是迈向通用人工智能里程碑的重要一步，其价值不可估量。

对于通用大模型来讲，生态最为重要，可以让众多企业接入大模型底座去赋能千行百业。

同时，我们也要看到，通用大模型并非万能，在更加深入的一个专业领域中，其know-how是远远无法满足的。

再加上大模型经常会出现「胡说八道」，对于至关重要的场景，比如律师行业，将带来更大的风险。

然而，现有大模型的算力和能耗的挑战，再加上行业不同，需求不同，垂直领域大模型的到来注定是必然的。

因为，专业领域大模型在金融、文旅、传媒、政务、教育等多个产业场景中具有广泛应用和商业创新价值。

比如，今年3月，彭博社发布了为金融界打造的500亿大模型BloombergGPT。

这一模型依托彭博社大量金融数据源，在金融任务上的表现超过任一模型。甚至，在通用场景中，也能与现有模型一较高下。

还有谷歌推出的医疗领域大模型Med-PALM2，在医学考试问答上超过了许多专家的水平。

要知道，只有真正创造价值的技术才能可持续、高质量地发展。

目前，国内布局大模型领域的大厂，正在不断夯实通用大模型，打造产业大模型，进而助力AI产业大模型的发展。

「通用大模型+产业大模」两条腿走路，并驾齐驱，可能更适合目前我国发展的情况。

甚至，国家也在营造人工智能大模型产业生态中给予大力支持。

比如「北京市通用人工智能产业创新伙伴计划」的启动，就是要推动大模型赋能千行百业数智化转型。

要看到的是，垂直大模型是一种全新的生产力。

以GPT-4为代表的认知大模型在多个任务上实现了惊艳的表现，同时也带动了相关产业创新应用也在不断涌现。

这次技术峰会，腾讯云进一步释放行业大模型的服务能力。从侧面也看出，目前企业对大模型实际落地需求也是非常迫切的。

从真实客户需求场景出发，腾讯云独到的「量体裁衣、普惠适用」的行业模型解决方案，让大家做属于自己的行业模型，实现提质增效。

腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生表示，

大模型只是开端，AI与产业的融合，将绽放出更有创造力的未来。生态共建是AI发展的有效路径，腾讯将坚持生态开放，为企业提供高质量模型服务，同时支持客户多模型训练任务，加速大模型在产业场景的创新探索。

在这个AI2.0时代，若想成为掌握下一个十年的核心竞争力的先行者，还需模型应用，产业先行。

腾讯云在做的，让行业大模型落地更实在。