美国在军事领域开展生成式AI治理的启示_美国在军事领域开展生成式ai治理的启示

通信世界网消息（CWW）2024年6月27日，美国陆军发布《生成式人工智能（Gen AI）和大语言模型（LLM）指南》，在肯定生成式AI工具应用潜力的同时，强调其在数据隐私、安全和内容控制方面存在风险，为平衡应用收益和风险，文件对陆军内部发展、部署和使用生成式AI进行指导和约束。当前全球高度关注AI风险与治理，本文通过总结美国在军事领域进行生成式AI治理的做法与启示，为我国推进关键领域生成式AI治理提供思考和建议。

美国军事领域生成式AI发展现状

1.战略重视：加速生成式AI军事化战略布局

一方面，国防军事领域积极拥抱生成式AI，将其纳入尖端技术目录重点发展。如美国国防信息系统局（DISA）连续两年将生成式AI列入“技术观察清单”，表明该局或在未来几年内关注生成式AI技术发展，其中2023财年技术观察清单把生成式AI作为新增项目列入计划类，2024财年技术观察清单涉及使用大语言模型及部署AI的具体措施；2024年2月美国白宫科学技术政策办公室（OSTP）将生成式AI系统列入对国家安全至关重要的关键和新兴技术清单，凸显其在国家安全战略中的重要地位。另一方面，拨款专项研发经费助力军事生成式AI发展，如2024财年《国防授权法案》拨款18亿美元支持包括生成式AI在内的AI技术研发与部署；国防高级研究计划局（DARPA）预算数据显示，2023财年在AI领域的基础研究经费已跃居其基础研究经费总额的榜首，占比31.5%，金额约1.52亿美元。

2.应用推进：各军种积极开展生成式AI应用探索

一方面，各军种相关机构积极探索生成式AI在军事领域适用场景，如2023年4月美国海军陆战队大学与Scale AI公司合作研发军事规划大模型Hermes，探究大语言模型在作战规划方面的能力，结果表明其有助于军事规划者多维度观察战场、完善行动方案；2024年2月美国陆军研究实验室提出COA-GPT框架，探究大语言模型在军事决策和规划中的应用潜力，通过整合军事理论和领域专业知识，实现几秒内产生初步作战行动序列、基于指挥官反馈实时调整。另一方面，各军种内部开始应用生成式AI工具，如2023年5月美国陆军应用大语言模型Donovan实现战场态势实时洞察，辅助指挥官制定作战计划；2023年7月美国空军将生成式AI“战备”应用于人机对话、资料检索等方面，优化空军机队战勤保障流程、大幅缩减飞机停飞检修时间；2023年8月美国海军应用生成式AI助手Amelia提升海军体系服务台应答效率。

美国军事领域生成式AI治理启示

1.制度保障：领域内构建完善治理制度体系，保障治理工作顺利推进

一是自上而下逐步细化并完善管理机构。美国国防部于2022年整合联合人工智能中心等组织，设立国防部首席数字和人工智能办公室（CDAO）统筹AI发展和治理顶层策略，并在2023年8月由CDAO领导成立“利马”（Lima）生成式AI工作组，推进国防部生成式AI治理工作，具体军种如陆军，由首席信息官办公室负责AI和大模型在陆军的安全使用。二是构建多层次生成式AI治理政策。美国国防部在2019年发布基础性AI伦理准则《人工智能原则：国防部人工智能应用伦理的若干建议》，在此基础上“利马”生成式AI工作组发布生成式AI临时指南，海军、陆军也相继出台内部安全使用生成式AI和大语言模型的指导文件，提出安全审查要求。三是建立问责机制，明晰主体责任。如国防部生成式AI临时指南将问责制作为指南关键内容；陆军《生成式人工智能和大语言模型指南》分别对生成式AI工具的研发者与拥有者、使用者、管理机构进行明确责任与义务划分。

2.数据治理：全流程把控数据安全，严防军事信息泄露

一是限制直接使用商用生成式AI模型处理军事数据。生成式AI模型能学习用户输入，直接使用市场上现有的商用模型可能会导致军事敏感或机密信息泄露给第三方，为保证数据安全，2023年9月美国太空部队规定未经批准，暂停在编人员使用ChatGPT等模型。二是确保生成式AI模型在受控的网络、云环境下运行。网络攻击、设备毁坏等均会造成信息泄露，美国国防部严格控制生成式AI的运行环境，如国防部副首席技术官Maynard Holliday曾表示国防部定制的生成式AI模型会部署在国防部的云计算上；陆军把大语言模型Donovan系统用于第18空降师的加密网络，还计划将生成式AI运行在影响级别5（IL5）的安全云环境。三是管理可用数据，未来或向生成式AI模型逐步开放更高权限。如海军的生成式AI助手Amelia当前主要使用人力资源、培训和教育等非军事信息系统的数据库，海军表示正努力扩大训练和资料库规模，预期未来给Amelia更高机密权限。

3.算法治理：加强算法技术把关，构建负责任的生成式AI

一是发布专用算法治理工具。如2023年11月国防部首席数字与人工智能办公室推出负责任的人工智能工具包（DoD Responsible AI Toolkit），集成约70种专用工具，涵盖评估、缓解偏见等功能，能在整个产品生命周期中提供开发和评估工具，帮助国防部人员负责任地设计、开发、部署生成式AI。二是通过跨部门合作提升算法模型安全性。如“利马”生成式AI工作组将负责推进国防部和情报界、其他政府机构加强合作，通过共享资源、经验和最佳实践，开发负责任的生成式AI工具。三是激励道德黑客、技术爱好者等以第三方视角挖掘算法漏洞。如2024年初国防部首席数字与人工智能办公室开展AI偏见赏金挑战赛，以赏金激励美国道德黑客、技术爱好者等聚焦开源聊天机器人，帮助识别大语言模型潜在风险。

4.应用治理：通过使用案例评估应用效果，避免幻觉问题导致严重应用后果

一是在非生产环境下测试生成式AI应用效果。建立试验性环境测试生成式AI，能在探索产品应用潜力的同时，避免在实际生产中引发财产损失、人员伤害等风险。如海军《生成式人工智能和大语言模型使用指南》明确规定，所有AI生成的软件代码在实现之前都需要在受控的、非生产环境中经过全面审查、评估测试；空军通过军事演练探索生成式AI适用的作战场景，在第6次全球信息优势演习（GIDE）中对5种大语言模型进行测试，涵盖辅助决策、获取目标信息等军事任务。二是在生产环境中建立试点检验生成式AI应用效果。生产环境试点是非生产环境测试解决大部分潜在问题之后，对生成式AI应用效果的补充检验，可以发现模拟环境中无法暴露的潜在问题，同时又能控制潜在问题对真实业务环境造成的潜在负面影响范围。如陆军计划于2024年7月在其采购、后勤和技术（ASA(ALT)）部门建立试点项目，试运行生成式AI以检验、降低使用风险。

推进我国关键领域生成式AI安全与发展并行

美国在军事领域开展生成式AI治理的经验做法，能够为我国关系国家安全、国民经济命脉的重要行业和关键领域（如军工国防科技、电网电力、文化等）推进生成式AI应用和治理提供参考和借鉴。

1.提升关键领域生成式AI使用率

一是推动各关键领域的主管部门，如国防部、能源局、文化和旅游部等，组织制定领域内的生成式AI发展规划，明确应用方向和目标，选取部分场景开放试点，组织制定模型部署技术标准与规范，并率先探索生成式AI在部门内的应用。二是设立专项项目攻关，推进关键领域内生成式AI应用研究，通过项目补贴、发放算力券等方式鼓励关键领域内企业使用生成式AI工具。三是夯实算力、数据等应用基础，推进建设一批与军事、金融、能源等领域紧密结合的智算中心，引导各关键领域主管部门牵头组织行业专家、企业代表等共研领域内数据使用、共享、流通等标准。

2.完善领域内治理制度体系

一是推进管理体系与治理体系并行，引导各关键领域主管部门（如文化和旅游部）成立生成式AI工作组，推动相关省市单位（如各省市文化和旅游厅(委)）设立相应治理工作组，形成上下联动的治理体系。二是逐步构建多层级AI治理政策体系，加快我国AI立法进程，夯实基础性治理准则，引导军事、能源、金融等关键领域结合应用实际推进领域内AI治理政策与标准。三是推进生成式AI问责机制研究，考虑按照技术开发、供应、部署、使用的价值链确立每环节各责任主体的责任与义务划分，确立监管机构及职责，推动各关键领域根据领域场景调整和细化治理责任分摊。

3.多措并举加强数据安全保护

一是鼓励军事、能源等关键领域的主管部门、领域内企业通过自研或与国资央企科技型企业合作的方式，研发符合本领域应用和安全要求的垂直领域大模型，推进涵盖芯片、开发工具、算法模型等的全链路国产化。二是引导电信运营商加强布局云网安全领域，加大安全科技创新投入，推动云网向内生和原生安全演进，打造云网边端一体化安全产品。三是推动各关键领域主管部门组织制定数据分级分类标准和管理机制，先行推进非机密数据的训练使用，配套严格审查机制，确保后续敏感数据安全使用。

4.推动产学研各方广泛参与算法治理

一是推动各领域构建体现领域特色的AI算法治理工具平台，提供与领域内现有治理原则适配的、模块化和可扩展的治理工具，引导产学研合作共建并开放生成式AI算法治理实例数据库。二是推动政府多部门共享算法治理资源与经验、对齐治理目标和标准，鼓励关键领域内组建治理联合体，上下游协同、产学研联合，创新算法治理技术工具。三是探索建立常态化漏洞赏金机制，激励道德黑客、技术爱好者等对关键领域内主管部门和企业的生成式AI算法进行渗透测试、查找漏洞。

5.完善技术应用评估评测机制

一是推进构建关键领域场景仿真模拟平台对生成式AI进行仿真测试，明确平台运营机制、完善评估标准；推动关键领域主管部门组织开展演习活动、应用挑战赛等，如军事演习、金融智能挑战赛等，将模型安全性纳入评价标准、融入试验环境。二是参考智能网联汽车试点运营做法，推进建立面向关键领域的生成式AI应用试点，允许生成式AI产品在风险可控的真实环境中运行、由真实用户进行应用测试，配套出台相应立法与规范性文件，明确准入规则、责任机制等；鼓励各关键领域主管部门、领域内头部企业选择内部非关键部门和环节开展生成式AI项目试点，分享试点开展经验。