多模态大模型技术，开启新一代建筑图纸管理与协同_多模态图像是什么意思

6月21日，华为开发者大会2024（HDC 2024）在东莞松山湖盛大开幕，万翼科技应邀出席盘古多模态大模型专题论坛，并发表“万翼多模态大模型技术，开启新一代建筑图纸管理与协同”专题演讲。

万翼图纸大模型，助力建筑工程全场景智能化升级

万翼科技曾在3月14日华为中国合作伙伴大会上与华为云联合发布：基于AI的图纸管理协作解决方案——图云。本次万翼科技AI审图部门合伙人夏晨曦进一步介绍了基于盘古大模型的最新研发成果，提出万翼图纸大模型全新解决方案，为建筑工程在全生命周期中的大模型应用落地描绘出清晰的蓝图。

图纸是建筑行业最重要的数据，项目全周期各参与方都在不同程度地基于图纸信息开展自身工作。理解图纸，是大模型落地建筑行业的关键要素。然而，由于工程图纸是一种复杂的混合数据，是不同于一般图像、文本的特殊模态。多层次、多模态、非结构化等难题限制着大模型技术在建筑行业的落地应用。

作为中国领先的不动产科技平台，万翼科技推出的图云基于“一张图“理念，打通设计-施工-运维的全周期业务链条。万翼科技通过多年对图纸智能识别技术的积累，并在盘古大模型的支持下，通过图纸结构化、设计语义理解、图纸RAG三大关键任务，让大模型能“看懂”图纸、“听懂”行话，真正意义上的理解图纸，为大模型在业务应用场景中提供原生数据，成为“图纸原生数据”落地业务场景的驱动引擎。

首创图纸Agent，开启图纸交互新纪元

演讲中，夏晨曦演示了基于盘古大模型的图纸Agent（智能体）：卓灵，用具体案例充分展示了大模型在建筑行业落地的可行性和全新视角

卓灵：AI图纸智能体

基于万翼研发的国内首个建筑多模态大模型解决方案“卓灵”，作为全国首个图纸智能体，用户通过自然语言与图纸的互动交流，迅速而直观地访问图纸所含信息，极大优化了图纸信息查找使用的便捷性。

图云-基于AI的图纸管理协作新方案

演讲中夏晨曦还演示了图纸大模型的关键应用场景——图纸管理与协作，以及万翼图云平台的亮点创新。

应用场景①：图纸结构化，图纸智能整理

改变传统“文件夹……文件”的存图模式，通过万翼图纸结构化能力，将图纸智能整理，实现“图本-图纸”的存储模式，扁平化的归档方式可实现图纸级快速搜索，真正做到秒级找图、看图、用图。

应用场景②：大样智能跳转，施工现场看图效率翻倍

自动识别门窗编号和墙身大样索引，点击直接跳转至对应大样。

应用场景③：叠图留痕，跨专业交圈更轻松

直接搜索选择对应图纸进行快速叠图，一人叠图多专业快速用图，不用二次叠图，跨专业交圈检查效率提升10倍以上，叠图留痕，质量管理抓手更可靠。

应用场景④：图纸智能对比，改动一目了然

自动对比两版图纸差异，智能识别并过滤无关信息，图纸改动一目了然。

应用场景⑤：多方在线协同沟通

无需来回发送文件，多人多设备共批一张图；批注中可@同事实时协作；实现问题可跟踪、知闭环、能追溯。

在几百个项目应用实践后，通过图云统一的图纸下发和使用渠道，避免“漏发漏转漏看用错图”导致的上百万返工成本和工期浪费。相比当前文件夹管理方式，图云让图纸查找效率提升超6倍，单项目可为各方节省800小时。此外，通过完善的问题跟踪机制，避免“提过的问题未解决“造成的数十万损失，大幅提升图纸审查、批注和版本对比的效率。

在管理层面，通过打造统一的图纸底座，各端口各业务都在统一的渠道找图用图，并且支撑对设计进度、图纸质量等信息进行统计分析，实现数据驱动管理。图云建立图纸和问题大数据库，便于各方查找使用，为大模型等前沿技术的进一步挖掘应用提供基础。

在万翼图纸大模型和图云平台高效、智能运行的背后，华为云盘古大模型提供了坚实的底层能力。基于云计算的强大数据处理能力，能够支持图纸的结构化处理和多模态大模型推理，实现图纸自动整理和智能对比；同时，华为云盘古大模型强大的NLP（自然语言理解）能力在万翼图纸信息提取、语义理解、Agent自然语言问答等环节都发挥了关键的作用。

万翼与华为云将继续深度合作，“解难题做难事”，持续挖掘图纸识别潜力，运用领先的人工智能技术提升建筑工程行业领域生产力，助力行业高质量发展！