Day31-27｜11.2.3 人工智能关键技术：把感知、学习、推理与行动组织成工程系统

一、教材定位

本节是《系统架构设计师教程（第2版）》第11章人工智能技术概述的收束部分，承接 11.2.1“人工智能的概念”和 11.2.2“人工智能的发展历程”。前两节解决“人工智能是什么、怎样发展”，本节进一步梳理构成人工智能系统的关键技术，并把技术点与系统架构中的数据、模型、服务、算力和治理联系起来。

考试中，“人工智能关键技术”往往不会以孤立名词考查，而是嵌入一个应用场景：要求从图像、语音、文本或传感器数据中提取信息，经过学习和推理形成判断，再由业务系统或设备执行动作。优秀答案需要说明各技术的职责、适用条件、输入输出、部署位置、质量指标和风险控制，而不是简单罗列“机器学习、深度学习、自然语言处理”等术语。

二、人工智能关键技术全景

一个完整的人工智能系统可以按照“数据进入—知识形成—模型计算—决策执行—反馈改进”组织关键技术。

这些技术可以独立使用，也可以组合。比如智能质检需要视觉识别，预测性维护需要时序学习和异常检测，智能客服需要自然语言处理、知识检索和业务工具调用，自动驾驶则需要视觉、定位、规划、控制和安全冗余。

三、机器学习技术

1. 监督学习

监督学习使用带有标签的样本建立输入与输出之间的映射，常见任务包括分类、回归和序列预测。分类可以判断产品是否有缺陷，回归可以预测设备剩余寿命，序列预测可以预测未来负载。

监督学习的工程难点不只是选择算法，还包括标签定义、标签一致性、样本划分和类别不平衡。标签必须对应真实业务目标，不能用容易采集但不能代表结果的替代指标。训练集、验证集和测试集应避免同一设备、用户或时间窗口泄漏到多个集合，否则离线指标会被高估。

2. 无监督与半监督学习

现实中很多数据没有标签，人工标注成本很高。无监督学习可以通过聚类、降维和密度分析发现数据结构，半监督学习利用少量标签和大量无标签数据提升效果。异常检测常采用“学习正常行为，再识别偏离”的方式，适合故障样本稀少的设备场景。

无监督结果通常需要领域专家解释。聚类得到的组别不一定自然对应业务类别，异常分数也不等于故障结论。系统应将结果作为线索或告警优先级，而不是在没有验证的情况下直接执行高风险动作。

3. 强化学习

强化学习通过智能体与环境交互，根据奖励信号学习策略，适合调度、控制、路径规划和资源分配等问题。它需要明确状态、动作、奖励、约束和终止条件，训练过程可能探索不安全动作，因此不能直接在真实高风险环境中无保护运行。

工程上可以采用仿真环境、离线数据、动作白名单、约束优化和人工监督。即使模型学会了较高收益的策略，也必须在执行层验证权限、边界、设备状态和安全条件。

4. 深度学习与表示学习

深度学习通过多层网络自动学习复杂表示，减少部分人工特征工程。卷积结构适合提取图像局部空间特征，循环或时序结构适合处理序列，注意力机制适合建模长距离关系，多模态模型可以关联文本、图像和声音。

选择深度模型时，要同时考虑数据规模、模型参数、训练成本、推理延迟、解释需求和部署资源。模型越大不一定越适合生产环境。对于边缘设备，可采用量化、剪枝、蒸馏和硬件加速，但必须重新评估精度、鲁棒性和安全性。

四、计算机视觉技术

1. 图像分类、目标检测和图像分割

图像分类回答“这张图属于哪一类”；目标检测回答“图中有哪些对象、位置在哪里”；图像分割进一步回答“对象覆盖哪些像素”。任务不同，数据标注方式、评价指标和计算成本也不同。工业缺陷检测可能更关注小目标召回率，交通监控可能更关注实时性和遮挡场景。

2. 视觉数据工程

视觉系统对相机位置、分辨率、焦距、光照、背景、遮挡和运动速度非常敏感。上线前要建立采集基线和标注规范，记录设备、时间、场景、产品批次和环境条件。生产环境变化时，需要监控图像质量和数据分布，防止模型在实验室有效、换一条产线就失效。

3. 视觉系统架构

实时视觉检测可以采用“相机—边缘推理—规则校验—执行机构—平台追溯”的链路。边缘侧完成低时延检测，平台保存样本、模型版本和复核结果，云端用于跨产线训练和质量分析。对低置信度结果，应进入人工复核；对涉及急停的动作，应由安全控制回路确认，不应只依赖单帧推理。

五、语音与自然语言处理技术

1. 语音识别与合成

语音识别将声音转换为文本，受口音、噪声、说话速度和领域词汇影响；语音合成则将文字转化为声音，要求自然度、可懂度和身份安全。客服、车载和医疗场景要关注隐私、录音授权、说话人识别错误和关键数字误识别。

语音链路可以采用端侧唤醒、边缘降噪和云端识别相结合的部署方式。离线或弱网场景需要保留有限本地能力；涉及转账、用药、设备控制等高风险命令时，要通过文本确认、二次认证或人工复核。

2. 自然语言理解

自然语言理解包括分词、词性分析、命名实体识别、关系抽取、意图识别、情感分析、语义匹配和文档分类等。架构上应把语言处理结果转化为业务可用的实体、意图、约束和上下文，而不能让一段不确定的文本直接操作核心数据。

3. 自然语言生成与检索增强

生成式模型可以完成摘要、问答、改写和对话，但可能出现事实错误、内容偏差和越权输出。检索增强通过先查询有效知识、再生成回答来提高时效性和依据性。系统要进行权限过滤、版本校验、引用来源保留和敏感内容审查。

六、知识表示、知识图谱与推理

1. 知识表示

知识表示把对象、属性、关系、规则、事件和约束转换成机器可处理的形式。常见表示包括逻辑规则、语义网络、本体、知识图谱和向量表示。选择方式要考虑知识是否稳定、是否需要解释、更新频率和推理复杂度。

2. 知识图谱

知识图谱用实体、关系和属性描述领域结构。例如在电力领域，图谱可以表达变电站、线路、设备、测点、故障和维护工单之间的关系。它支持关联查询、路径分析、故障定位和解释，但构建需要实体对齐、关系抽取、冲突消解、质量校验和持续更新。

3. 推理机制

推理可以是基于规则的演绎推理、基于概率的推理、基于图路径的关联推理，也可以是模型与知识结合的混合推理。结果应保留推理路径、依据事实和知识版本，特别是在政策、医疗和安全场景中，只有结论没有依据是不够的。

七、智能决策、规划与控制

1. 决策问题的组成

智能决策至少需要明确当前状态、目标函数、可选动作、约束条件、成本和风险。推荐系统的目标可以是长期用户价值，生产调度的目标可以是交付时间、设备利用率和能耗的综合优化。若只优化一个指标，可能产生局部最优甚至违反业务规则的结果。

2. 规划与搜索

规划技术通过搜索候选动作序列得到满足目标的方案。路径规划要考虑地图、障碍和时间；任务规划要考虑依赖、资源和优先级；流程规划要考虑权限、审批和补偿。搜索空间很大时，可以使用启发式方法、约束求解或学习模型缩小范围，但最终方案仍要经过约束验证。

3. 决策执行与反馈

决策系统不能只返回一个方案，还要说明可执行性、有效期和失败处理。执行后要采集实际结果，与预期进行比较；若环境发生变化，系统需要重新规划或回退。对不可逆动作应设置确认点、幂等标识、撤销或补偿机制。

八、人工智能工程化关键技术

1. 数据治理

数据治理包括采集、清洗、标注、脱敏、质量评估、血缘、版本和权限。数据应记录来源、时间、处理过程和使用范围。对于个人信息、商业秘密和关键基础设施数据，要实行最小化采集、分级授权和生命周期删除。

2. 特征与模型管理

特征平台可以统一定义、计算和复用特征，避免训练和线上推理使用不同口径。模型仓库要保存模型文件、代码、依赖、数据版本、指标、适用范围和审批信息。模型上线前应进行离线评估、压力测试、鲁棒性测试和安全检查。

3. MLOps 与持续交付

机器学习运维需要把数据、代码、训练、评估、发布和监控串成流水线。自动化流水线不能只检查软件单元测试，还应检查数据质量、模型指标、偏差、资源占用和推理延迟。上线采用灰度、A/B 或分批发布，发现退化时要自动或人工回退。

4. 模型服务与资源调度

模型服务要处理版本路由、批量推理、缓存、限流、超时和多租户隔离。对于高峰流量，应制定容量模型和降级策略，例如切换轻量模型、减少非关键特征、转人工或延迟处理。GPU 资源要考虑共享、排队、故障迁移和成本控制。

5. 可解释、可观测与可信

可解释性可以来自规则、特征贡献、相似案例、检索来源和推理路径。可观测性包括输入分布、特征缺失、输出置信度、错误率、延迟、人工纠正率和业务结果。可信还要求防御数据投毒、模型窃取、对抗样本、提示注入和越权工具调用。

九、关键技术的组合决策表

十、案例分析：智能物流仓库的关键技术选型

某物流企业建设智能仓库，希望自动识别包裹、预测订单量、规划机器人路径并生成异常处理建议。仓库网络覆盖不稳定，包裹信息涉及客户隐私，机器人动作可能影响人员安全。项目团队提出“使用一个大模型统一完成所有任务”。

问题一：分析“一模型包打天下”的风险

参考答案：不同任务的输入、时延、评价指标和安全要求不同。视觉识别需要图像模型和稳定采集，订单预测需要时序数据，路径规划需要地图、约束和实时状态，安全控制需要确定性逻辑。统一模型可能难以满足实时性、可解释性、资源成本和功能安全要求；模型异常也可能同时影响多个业务环节，形成集中风险。

问题二：给出关键技术组合和部署方式

参考答案：包裹识别采用相机加边缘视觉模型，输出包裹编号、位置和置信度；订单预测使用中心平台的时序模型，按小时或天级更新；机器人路径规划采用地图、搜索或优化算法，并由本地控制器执行避障和急停；异常处理建议可使用自然语言模型和知识库，但只能生成建议，工单动作需经过业务规则和人员确认。边缘节点负责低时延视觉和机器人协同，云端负责训练、统计、模型管理和跨仓调度，网络中断时机器人按本地安全策略运行。

问题三：如何进行安全和质量验证

参考答案：验证图像在不同光照、遮挡和包裹类型下的识别率；验证预测误差和峰值订单场景；在仿真环境测试路径规划、障碍物、通信中断和多机器人冲突；测试模型服务不可用时的规则降级；对客户数据进行脱敏、最小权限和审计；机器人动作设置安全区域、速度限制、急停和人工接管；上线采用分区和灰度方式，监控误识别、碰撞风险、人工修正、时延和业务吞吐。

十一、综合知识练习

题1

人工智能关键技术为什么不能只从算法角度选择？

参考答案：算法必须与数据质量、算力、时延、部署位置、业务规则、安全等级和运维能力匹配。一个离线指标优秀的模型，如果线上无法及时响应、无法解释、无法升级或无法在异常时回退，仍然不是合适的工程方案。

题2

知识图谱和深度学习的职责有什么差异？

参考答案：深度学习擅长从数据中学习复杂模式和表示，知识图谱擅长表达实体、关系、属性和领域结构，便于查询、关联和解释。两者可以结合，但知识图谱本身不保证数据正确，模型也不自动保证事实可靠，都需要数据治理和版本管理。

题3

为什么强化学习不能直接在高风险真实环境中自由探索？

参考答案：强化学习的探索过程可能执行未知或不安全动作，造成设备损坏、人身风险或业务损失。应先在仿真或离线环境训练，设置动作白名单、硬约束、奖励设计、人工监督和安全控制，经过验证后再逐步放量。

题4

列举人工智能生产系统至少六项应监控的指标。

参考答案：输入数据质量和分布、特征缺失率、模型置信度、准确率或业务误差、人工纠正率、响应时延、并发量、资源使用率、成本、拒答率、偏差指标、异常调用、模型版本和业务最终结果等。

十二、论文写作素材

论文可围绕“人工智能关键技术在实际系统中的综合应用”展开。建议按“需求分析—技术选型—分层架构—模型工程化—安全治理—效果验证”的结构写作。技术选型部分不要堆砌名词，而要说明为什么视觉放在边缘、为什么预测放在云端、为什么规则约束模型、为什么高风险动作保留人工确认。

可使用如下段落：

“针对系统同时存在视觉识别、趋势预测、知识问答和自动调度等需求，我没有采用单一算法，而是按照任务特点组合关键技术。视觉检测在边缘侧完成，以满足实时性和断网可用要求；预测模型在平台侧训练并通过模型仓库发布；知识问答采用经过审核的知识库和检索增强，保留来源与版本；调度结果由优化模型生成候选方案，再经过资源、权限和安全约束校验。所有数据、特征、模型、规则和配置均纳入版本与审计管理，并通过灰度发布、输入分布监控、人工复核和旧版本回退保障生产稳定。”

十三、今日复盘

1. 人工智能关键技术覆盖感知、学习、知识表示、推理、规划、控制和工程治理。
2. 计算机视觉、语音、自然语言、机器学习和知识图谱应根据任务目标组合，而不是简单追逐最新模型。
3. 模型输出必须进入受控的业务编排和执行链路，不能越过权限、安全约束和人工监督。
4. 数据治理、模型管理、资源调度、监控和回退是人工智能生产化不可缺少的技术。
5. 高风险系统需要仿真、硬约束、冗余、人工接管和异常降级，算法准确率不能替代系统安全。
6. 案例题要写出技术选型依据、数据流、模型流、控制流、部署位置和验证指标；论文要把关键技术落实到架构决策和工程效果。

完成本节后，可以用一条完整链路检查人工智能方案：数据是否可信，模型是否合适，结果是否可解释，动作是否受控，故障是否可回退，效果是否可持续。能够把这六个问题写进答案，才真正把人工智能关键技术提升为系统架构能力。