Day31-25｜11.2.1 人工智能的概念：从知识表示到可验证的智能系统

一、教材定位

本节是《系统架构设计师教程（第2版）》第11章“未来信息综合技术”中“人工智能技术概述”的第一节。它不是机器学习算法的编程教程，而是帮助系统架构设计师建立对人工智能的整体认识：人工智能要解决什么问题，智能来自哪些能力，人工智能系统与普通信息系统有什么差异，以及在系统架构中如何把模型、数据、规则、计算资源和人工监督组织起来。

考试中，人工智能经常与云计算、大数据、物联网、边缘计算、数字孪生和信息安全结合出现。题目可能要求设计一个智能客服、预测性维护、图像识别或智能推荐系统，也可能要求分析人工智能项目的可行性、数据质量、模型部署、解释性和安全风险。只写“使用深度学习模型”并不能构成完整架构答案；需要进一步说明输入数据、目标任务、训练和推理位置、模型生命周期、人工干预以及错误结果如何被发现和纠正。

二、人工智能的基本概念

人工智能通常是指利用计算机系统模拟、延伸或增强人的感知、学习、推理、决策、规划、语言理解和行动能力，使系统能够在一定环境中完成原本需要人类智能参与的任务。这个定义包含三个关键点。

第一，人工智能是一种能力集合，而不是某一个软件产品。图像识别、语音理解、知识问答、预测、规划和机器人控制都可以属于人工智能的应用，但它们的输入、输出、评价方式和安全边界不同。

第二，人工智能必须放在任务和环境中理解。同一个模型在实验数据上表现很好，并不代表它能在真实业务环境中可靠工作。模型要面对数据分布变化、传感器噪声、恶意输入、边界样本、资源限制和业务规则。

第三，人工智能输出通常具有不确定性。普通程序在给定合法输入时通常按照明确规则执行，而人工智能模型往往输出概率、排序或生成结果。因此系统架构必须围绕不确定性设计阈值、人工复核、回退策略、审计和持续评估。

三、人工智能系统的智能能力

1. 感知能力

感知能力是从图像、声音、文本、传感器或其他信号中提取有意义信息。例如从摄像头识别人、车辆和缺陷，从语音中识别文字，从工业传感器中判断设备状态。感知模块关注采集质量、特征提取、噪声处理、实时性和置信度。

2. 表示与理解能力

系统需要把原始信号表示为对象、属性、关系、事件或状态。例如“设备 A 在 10 时 30 分出现高温”比一串传感器数值更适合进入业务流程。自然语言理解还要处理实体、意图、上下文、歧义和领域术语。

3. 学习能力

学习能力使系统能够从数据和经验中形成模型。学习既可以是有监督学习，也可以是无监督学习、半监督学习、强化学习或规则与模型结合的方式。架构设计师要关注数据是否能够代表目标环境，标签是否可靠，训练过程是否可复现，以及模型是否会随环境变化而退化。

4. 推理和决策能力

推理可以根据事实、规则、概率或模型输出得出结论；决策还要考虑目标、约束、成本、风险和执行能力。例如预测设备可能故障只是分析结果，决定是否停机、安排什么备件和何时维护才是业务决策。决策模块不能盲目接受模型结果，而应与业务规则和安全约束结合。

5. 规划与行动能力

规划能力用于安排步骤、资源和时间，行动能力用于通过接口或执行器改变环境。智能机器人、自动驾驶和智能调度系统通常具有这种能力。规划系统必须知道哪些动作可逆、哪些动作需要审批、哪些动作违反安全约束，并在执行后验证实际效果。

四、人工智能与传统信息系统的区别

这并不表示人工智能可以替代传统软件工程。一个可用的人工智能应用通常仍然需要用户管理、业务流程、数据存储、权限、日志、接口、监控和故障恢复。模型只是系统中的一个组件，不能代替整体架构。

五、人工智能系统的基本组成

可以把人工智能系统拆成数据、算法模型、计算资源、应用服务和治理保障五个部分。

1. 数据层

数据层负责采集、传输、存储、清洗、标注、脱敏、采样和版本管理。数据要有来源、时间、质量、权限和使用范围。训练集、验证集和测试集要合理划分，防止同一对象或高度相似样本同时出现在训练和测试中，造成虚假的高准确率。

数据质量不仅指缺失值少，还包括代表性、及时性、一致性、合法性和标签可靠性。医疗、金融和安全场景中的少数关键样本可能比大量普通样本更重要。架构应支持错误样本回流、人工纠正和数据血缘追踪。

2. 模型层

模型层包括特征、算法、参数、模型文件、推理服务和评估结果。模型要记录训练数据版本、代码版本、依赖环境、超参数、评测指标和适用范围。模型注册中心可以保存候选、验证、灰度、生产、退役等状态，避免“哪个文件正在生产环境运行”无法回答。

3. 计算层

训练通常需要较多计算资源，推理则更关注时延、并发、成本和部署环境。复杂模型可以在云端训练和集中推理，低时延或隐私敏感任务可以采用边缘推理或设备侧推理。资源调度要考虑 GPU、CPU、内存、网络、能耗和弹性扩展。

4. 服务与应用层

模型需要通过 API、消息、批处理或嵌入式接口服务于业务。服务层要处理输入校验、版本选择、超时、限流、缓存、降级和结果解释。应用层还要把模型结果转化为业务动作，例如生成工单、提示人工复核或调整计划。

5. 治理与安全层

治理层负责数据权限、模型审批、版本、审计、可解释性、偏差评估和责任追踪。安全层需要防止数据泄露、模型窃取、对抗样本、提示注入、越权调用和恶意输出。不同风险等级的应用应设置不同的人工监督和上线门槛。

六、人工智能系统的运行流程

一个完整的人工智能生命周期可以表示为：

业务问题定义 → 数据获取与治理 → 任务建模 → 模型训练 → 离线评估 → 集成验证 → 灰度发布 → 在线推理 → 效果监控 → 数据回流 → 迭代或回退。

1. 定义任务而不是追逐算法

“使用 AI 提升效率”不是可实施目标。应明确输入、输出、使用者、动作和评价指标。例如，将“识别产品缺陷”定义为：对每张图像输出缺陷类别、位置和置信度；漏检率不得高于某阈值，误报率不能超过产线复核能力；低置信度结果必须转人工复核。任务定义直接决定模型类型、数据标注和上线策略。

2. 数据治理先于训练

如果数据来源不可信、标签不一致或样本不能代表生产环境，训练再复杂也难以获得可靠结果。要检查重复数据、泄漏信息、异常值、类别不平衡、样本偏差和隐私合规。对关键样本要保留标注依据和审核记录。

3. 评估必须贴近业务风险

准确率不是唯一指标。分类任务还要关注精确率、召回率、F1、混淆矩阵和不同群体的差异；预测任务关注误差分布和极端场景；生成任务关注事实性、可控性、拒答能力和有害内容。架构设计师要把模型指标与业务代价关联起来，例如漏检一次的成本是否远高于误报一次。

4. 线上监控模型和业务

上线后需要监控输入分布、特征缺失、置信度、响应时延、错误率、人工纠正率和业务结果。模型效果下降可能来自数据漂移、设备老化、流程变化、攻击或标签规则改变。监控发现异常后，系统应限流、切换旧模型、扩大人工复核或暂停自动动作，而不是继续无条件执行。

七、确定性与不确定性的协同

人工智能系统最重要的架构思想之一，是让不确定的模型输出受到确定性规则和安全边界约束。可以采用以下组合：

例如智能仓储模型建议把货物放到某位置，但库存规则、温控要求或安全距离不允许该动作，系统必须拒绝模型建议。模型可以提高决策效率，但不能绕过权限、业务约束和功能安全。

八、人工智能在系统架构中的部署方式

1. 集中式部署

模型和数据主要在中心云平台运行，优点是资源集中、版本统一、便于训练和管理；缺点是依赖网络，隐私和时延压力较大。适合跨区域分析、离线训练和非实时业务。

2. 边缘式部署

模型在现场边缘节点推理，适合低时延、断网可用、数据不便离开现场的场景。需要解决模型压缩、资源限制、远程升级、设备异构和版本一致性问题。

3. 端云协同

设备完成采集或轻量推理，边缘完成实时判断，云端完成训练、全局分析和模型下发。端云协同可以兼顾实时性和集中管理，但必须明确各层的责任、数据同步和版本策略，避免同一输入在不同层得到不可解释的结果。

九、典型应用与架构注意事项

1. 智能客服

智能客服涉及意图识别、知识检索、对话生成和人工转接。架构中要区分事实知识与生成内容，重要业务要进行身份验证和二次确认，不能让模型直接执行退款、转账或权限变更。需要记录会话、检索来源、模型版本和人工接管原因。

2. 预测性维护

系统根据温度、振动、压力和历史工单预测设备故障。架构要处理传感器漂移、设备型号差异、故障样本稀少和维护结果反馈。预测结果应转化为维护优先级和工单，而不能只显示一个抽象的故障概率。

3. 智能视觉检测

视觉检测要考虑光照、相机位置、产品批次和缺陷定义变化。低置信度图像应进入人工复核池，人工结果回流用于数据改进。生产线急停等高风险动作要由确定性规则和安全控制完成，不能只依据单次视觉推理。

4. 智能推荐

推荐系统除了点击率，还要关注多样性、公平性、业务规则、隐私和长期价值。推荐服务要支持黑名单、频控、内容安全和人工运营干预，避免模型优化短期指标而损害用户体验。

十、案例分析：智能客服系统架构设计

某政务服务平台希望引入大语言模型和知识库，为群众提供政策咨询。系统需要支持多轮问答，但涉及身份认证、材料提交和事项办理时必须由正式业务系统完成。历史政策文件来源复杂，部分文件已经失效。

问题一：人工智能系统的核心风险是什么？

参考答案：政策知识可能过期或相互冲突，模型可能生成没有依据的内容；用户问题可能包含个人敏感信息；模型可能被提示注入诱导越权；问答结果不能直接代替正式办理；高峰期还会出现时延、资源和成本问题。因此必须进行知识版本管理、来源引用、敏感信息保护、权限隔离、人工转接和服务降级。

问题二：给出合理的分层架构

参考答案：接入层负责用户身份、限流和敏感信息初步处理；知识治理层对政策文件进行采集、审核、有效期管理、切分、标注和向量索引；检索层根据问题召回有效知识，并保留来源和版本；模型服务层负责理解和生成，但只能在检索内容及系统规则范围内回答；业务编排层区分咨询、查询和办理，办理请求跳转到正式业务系统并重新鉴权；安全治理层负责日志、内容审核、提示注入防护、模型版本和人工复核；运维层监控质量、成本、延迟和知识失效。

问题三：如何降低模型错误回答风险？

参考答案：只允许模型基于经过审核且处于有效期的知识回答；输出中引用政策名称、发布日期和来源；对低置信度、无检索结果或高风险问题进行拒答或人工转接；对身份、材料和办理动作调用确定性的业务接口，不让模型直接修改业务数据；记录问题、检索片段、模型版本和最终答案；持续收集人工纠正结果，发现错误时能够下线知识、切换模型或暂停自动回答。

十一、综合知识练习

题1

为什么人工智能系统必须建立模型生命周期管理？

参考答案：模型效果会受数据、环境和业务变化影响，训练模型还涉及代码、依赖、参数和数据版本。生命周期管理可以记录模型来源、评估、审批、发布、灰度、监控、回退和退役状态，确保问题可追踪、版本可复现、风险可控制。

题2

人工智能系统为什么不能只用准确率评价？

参考答案：不同错误的业务代价不同，类别不平衡时准确率可能掩盖少数类的严重漏检；生成式系统还要关注事实性、可控性和安全性。应结合精确率、召回率、误差分布、群体差异、响应时延、人工纠正率和业务结果综合评价。

题3

端云协同部署人工智能模型时，至少要明确哪些内容？

参考答案：明确每一层的功能、时延要求、数据是否上传、断网策略、模型版本、更新方式、资源限制、结果合并规则、权限边界和故障回退。还要保证端、边缘和云端使用的模型及数据口径可追溯。

题4

请说明“模型输出必须接受业务规则约束”的含义。

参考答案：模型只提供预测、排序或建议，系统还要检查权限、状态、范围、合规和安全条件；如果模型结果与硬约束冲突，以确定性规则和安全边界为准。对于高风险动作，应增加人工审批、二次确认或人工接管。

十二、论文写作素材

论文可以围绕“人工智能系统的架构设计与治理”展开。先说明业务问题和传统方式的局限，再描述数据治理、模型服务、端边云部署、业务编排和安全治理。论述时要体现人工智能系统与普通信息系统的区别：模型输出不确定、数据会漂移、质量依赖生命周期管理，因此要设置置信度阈值、人工复核、规则兜底、版本管理和持续监控。

可使用如下段落：

“在人工智能系统设计中，我将模型视为业务系统中的可治理组件，而不是可以直接替代业务规则的黑盒。系统先对数据来源、质量、标签和使用权限进行治理，再通过模型注册、离线评估、灰度发布和在线监控管理模型生命周期。对于高风险决策，模型只输出建议，最终动作必须经过权限、状态、范围和安全规则校验；对于低置信度、输入异常或模型不可用情况，系统转人工或切换到规则和旧模型。通过记录数据版本、模型版本、检索依据、推理结果和人工修正，保证结果可解释、问题可追溯、服务可回退。”

十三、今日复盘

1. 人工智能是感知、表示、学习、推理、决策、规划和行动等能力的组合，不是单一算法。
2. 人工智能系统仍然需要传统软件工程、数据治理、权限、接口、日志和运维体系。
3. 数据代表性、标签质量、模型版本和环境变化会直接影响系统质量。
4. 模型输出具有不确定性，必须由业务规则、安全边界、人工监督和降级策略约束。
5. 集中式、边缘式和端云协同部署要依据时延、隐私、连接可靠性和资源条件选择。
6. 案例题要写清数据、模型、推理服务、业务动作、人工接管和生命周期治理；论文题要写清架构决策依据及其验证效果。

学习完本节后，面对“为某业务引入人工智能”的题目，应先问五个问题：模型要解决什么任务？数据是否可信和合规？结果如何进入业务流程？错误结果如何被发现和回退？模型变化后谁负责验证和审计？能完整回答这些问题，才算真正掌握人工智能在系统架构中的概念。