AI 技术全景图：从数据、模型到 Agent、MCP 与治理的六层地图

初级 18 分钟阅读 AI 全景图机器学习大模型RAGAgentMCPMLOpsAI 治理

AI 技术最难学的地方，往往不是概念太少，而是概念来自不同层级。Transformer 是模型架构，RAG 是运行时取证方式，MCP 是连接协议，Dify 是应用平台，vLLM 是推理引擎。把它们放进一张“热门技术排行榜”，就会产生错误问题：RAG 能不能替代微调，MCP 能不能替代 Agent，向量数据库是不是大模型。

这篇教程不追求收录所有名词。它提供一张依赖地图：先看一个 AI 系统要解决什么问题、使用什么数据，再看模型、上下文与工具、应用、运行和治理。掌握依赖关系后，新框架和新产品出现时，也能判断它属于哪一层。

六层地图

从用户需求到线上系统，可以把 AI 技术栈压缩成六层：

第 6 层  治理：责任、风险、隐私、安全、合规、人工控制
第 5 层  运行：推理服务、部署、监控、成本、版本、回滚
第 4 层  应用：助手、搜索、工作流、Agent、行业产品
第 3 层  上下文与工具：Prompt、RAG、记忆、函数调用、MCP
第 2 层  模型：经典机器学习、深度学习、基础模型、训练与适配
第 1 层  问题、数据与评测：目标、样本、标签、指标、测试集

箭头不是单向的。线上错误会迫使团队修改评测集，成本会影响模型选择，权限要求会限制工具调用。评测和治理也不只发生在最后，它们贯穿六层。

层级核心问题主要产物常见误区
问题、数据与评测什么结果算成功数据集、测试集、指标、验收规则先选模型，再寻找问题
模型如何从数据中学习或生成模型参数、Tokenizer、Embedding、分类器把模型名称等同于产品能力
上下文与工具运行时还需要哪些证据和动作Prompt、检索结果、工具 Schema、协议连接认为连接工具就自动获得可靠性
应用用户如何完成任务界面、API、工作流、Agent 状态用多个 Agent 替代流程设计
运行系统如何稳定、经济地提供服务推理端点、缓存、监控、版本与回滚只测 Demo，不测故障与并发
治理谁能做什么，错误由谁负责权限、审批、审计、保留与退出机制把安全留到上线前补

第一层：问题、数据与评测

传统机器学习通常从样本矩阵、目标值、预处理和评测开始。scikit-learn 的入门流程把预处理器与估计器组成 Pipeline，再用留出集或交叉验证检查模型能否泛化。这个顺序同样适用于生成式 AI：先定义任务和测试集，再比较模型或应用。

一个“企业知识问答”项目至少要回答：

  • 用户会问哪些真实问题，哪些问题应该拒答。
  • 正确答案依赖哪些文档和权限。
  • 引用正确、答案正确、任务完成分别如何计分。
  • 文档没有答案、权限不足和上游故障时如何处理。
  • 延迟、单次成本和人工接管率的上限是多少。

只看最终回答“像不像人写的”不是评测。分类任务可以用准确率、召回率等指标；生成任务通常要组合可自动计算的规则、模型辅助评审和人工抽检。测试集还要覆盖失败路径，而不只是最容易成功的演示题。

第二层：模型与训练

机器学习是一个大集合。深度学习是其中使用多层神经网络的一类方法，生成式 AI 则强调生成文本、图像、音频、视频或其他内容。它们不是按年份依次淘汰的三代产品。

经典机器学习

线性模型、树模型、聚类、降维和集成学习仍适合结构化数据、可解释基线和中小规模任务。不是每个预测问题都需要神经网络，更不需要大语言模型。数据量有限、目标清晰时，一个经过正确交叉验证的简单模型往往更容易部署和解释。

深度学习与基础模型

卷积网络适合利用局部空间结构，循环网络曾广泛用于序列，Transformer 则通过注意力和并行计算成为当前语言模型及许多多模态系统的重要架构。这里不是一条“旧架构全部消失”的直线；不同数据结构、延迟和硬件约束仍会影响选择。

基础模型通过大规模预训练获得可迁移能力，再通过指令调优、偏好优化、微调或运行时上下文适配任务。PyTorch 的基础教程将完整训练流程拆成数据、模型、自动微分、优化以及保存和加载，这提醒我们：一个模型不只是网络结构，还包括数据处理、训练状态和可复现环境。

能力方向是横轴

语言、视觉、语音、推荐、控制和科学计算不是地图上的独立“上层”。它们是横向能力方向，可以贯穿数据、模型、应用和治理。例如语音助手同时需要音频数据、ASR/TTS 模型、对话应用、实时推理和录音授权。

第三层：Prompt、RAG、记忆、工具与 MCP

这一层不重新训练基础模型，而是在请求发生时补充任务说明、证据、状态和外部动作。

Prompt、RAG 与微调

方法改变什么适合解决不适合解决
Prompt / 上下文示例单次请求中的指令与示例输出格式、角色、当前任务稳定注入大量持续变化知识
RAG运行时检索并加入外部证据私有文档、可更新知识、引用自动消除错误检索和错误推理
微调通过训练更新参数稳定行为、风格、领域模式或任务能力频繁变化的事实数据库

RAG 不能“解决幻觉”。它能让模型获得外部证据，但检索可能漏掉正确文档，错误文档也可能被模型误用。可靠系统要分别评测解析、检索、引用、回答和拒答。企业场景可继续阅读企业知识库与 RAG 工具对比。

记忆与状态

聊天历史、用户偏好、任务进度和业务记录不是同一种记忆。聊天内容可以裁剪或摘要；业务记录必须由数据库等权威系统保存；用户偏好则需要纠错、删除和隔离。把所有内容塞进向量库，不会自动得到可靠的长期记忆。

工具调用与 MCP

函数调用让模型生成符合 Schema 的工具参数，应用负责验证和执行。MCP 在此基础上提供标准化连接方式，让 AI 应用访问数据源、工具和工作流。MCP 官方将其比作 AI 应用的通用连接口，但协议本身不会自动完成身份认证、最小权限、参数校验、审计或人工审批。

想动手理解协议，可以继续阅读 MCP 入门教程。

第四层：应用、工作流与 Agent

模型只有输入和输出；产品还需要用户界面、业务状态、权限、失败恢复和交付渠道。

确定性工作流

步骤可以预先写清时，优先使用普通代码或工作流：读取表单、查询数据库、生成草稿、人工审批、发送结果。每个节点的输入输出明确，失败容易重试，成本也容易预算。

Agent

Agent 让模型在受限环境中决定下一步、选择工具并根据结果继续。它适合路径无法完全预定义、需要根据环境反馈调整的任务。Agent 不等于无限循环，也不等于工具越多越好。必须设置步数、时间、费用和权限上限，高风险写操作需要服务端审批。

多个 Agent 只有在角色确实拥有不同信息、工具、目标或权限时才可能带来收益。同一模型拿着同一证据互相“讨论”，往往只增加成本。框架选型可以参考 Agent 编排框架对比，系统学习可参考 Hello-Agents 学习指南。

产品与模型不是一回事

ChatGPT、Claude 和 Kimi 是面向用户的产品。它们可能组合多个模型、搜索、文件处理、代码执行、记忆和账号策略。只比较底层模型跑分，无法推导产品是否适合团队工作流。

第五层：推理、部署与运行

训练得到参数后，还要把模型变成可用服务。推理是模型根据输入计算输出；Serving 则负责并发、批处理、缓存、路由、限流和可观测性。

常见运行形态包括：

  • 使用供应商 API，减少基础设施工作，但受地区、价格、配额和数据条款约束。
  • 自托管开源模型，获得更多部署控制，同时承担硬件、升级、安全和可用性责任。
  • 在端侧运行小模型，降低部分网络依赖，但受内存、功耗和模型能力限制。
  • 混合路由，根据任务风险、成本和延迟选择不同模型。

量化、蒸馏、缓存和批处理都可能降低成本，但会改变质量、延迟或工程复杂度。不要脱离硬件、序列长度、并发和质量目标引用“加速多少倍”。本地运行的实践入口可参考本地大模型部署教程。

生产运行至少要记录：请求版本、模型与参数、检索和工具事件、延迟、token 或算力成本、错误类型和人工接管。模型更新也要经过测试集回归和可回滚发布，而不是直接替换生产端点。

第六层：治理、安全与责任

治理不是一份上线前签字的清单。NIST AI RMF 将可信性纳入 AI 产品、服务和系统的设计、开发、使用与评估全过程。落实到项目中，需要把责任转换成可执行控制：

  1. 明确所有者：模型、数据、Prompt、工具、业务规则和上线决定分别由谁负责。
  2. 最小化权限：只读优先，写操作按资源和动作授权，删除、付款、发布和外呼需要确认。
  3. 保护数据：限制敏感信息进入模型、日志和评测集，定义保留、删除和跨境处理规则。
  4. 记录证据：保存版本、来源、工具参数、审批和结果，但对密钥与个人信息脱敏。
  5. 持续测量：监控质量漂移、偏差、攻击、成本和失败模式，更新测试集。
  6. 准备退出：能导出数据、替换模型、撤销凭据并回滚到人工或确定性流程。

生成式 AI 的主要风险不只有错误答案。提示注入可能借检索内容影响工具调用，过度自动化可能绕过人工判断，供应商变化也可能破坏成本和可用性。治理层必须反过来约束前五层。

四类角色的学习路线

产品、运营和业务负责人

先学第一、四、六层。选择一个真实流程，写清当前耗时、错误成本、输入、输出和人工责任，再用现成工具做只读试点。目标不是理解训练公式，而是能判断 AI 在哪里产生可测价值，哪里必须保留人工控制。

AI 应用开发者

按第一、三、四、五层推进。先用固定测试集调用模型，再加入结构化输出、RAG 和只读工具，最后补状态、监控和回滚。学习 Agent 前先完成一个确定性工作流；学习 MCP 前先理解 API、JSON Schema、OAuth 和最小权限。

模型与算法工程师

重点学习第一、二、五层。建议先掌握 Python、NumPy、概率统计和经典机器学习，再进入 PyTorch、Transformer、预训练、微调、评测和推理优化。Happy-LLM 学习指南提供了从 Transformer 到训练、RAG 与 Agent 的系统入口。

架构、安全与治理人员

从第六层倒推全栈。为数据流、身份、模型端点、检索源和工具调用画威胁模型；定义供应商评估、日志脱敏、红队测试、人工审批、事故响应和退出方案。重点不是记住每个模型，而是确保技术变化不会绕过组织控制。

用一个小项目验证全景图

选择“基于内部文档回答问题”作为练习，但只使用公开或模拟资料：

  1. 准备 20 个有答案问题、5 个无答案问题和两个权限角色。
  2. 先用一个模型直接回答，记录正确率、拒答、延迟和成本基线。
  3. 增加文档解析与检索，要求每个结论附来源。
  4. 加入一个只读工具，例如查询模拟订单状态；参数必须经过 Schema 校验。
  5. 用确定性流程控制检索、回答和人工升级，不急于增加 Agent。
  6. 记录模型、Prompt、索引和代码版本，模拟超时、空检索和越权请求。
  7. 写清数据保留、负责人、上线阈值和回滚方式。

这个项目会经过六层，却不需要训练大模型。它比复制一个炫目的多 Agent Demo 更能暴露真实工程问题。

常见问题

零基础应该从大模型还是机器学习开始？

如果目标是使用或集成现成 AI 产品，可以先理解模型输入输出、评测和应用层，再补机器学习基础。如果目标是训练或优化模型，应先学习 Python、数据处理、概率统计和经典机器学习。

RAG、微调和提示词有什么区别？

提示词在单次请求中约束任务，RAG 在运行时检索外部证据，微调通过训练更新模型参数。它们解决不同问题，可以组合，但不能互相简单替代。

Agent 和工作流有什么区别？

工作流的步骤和分支主要由开发者预先定义；Agent 让模型在受限范围内选择下一步和工具。步骤稳定时优先工作流，只有决策路径确实需要动态变化时才增加 Agent。

MCP 是 Agent 框架吗？

不是。MCP 是连接 AI 应用与外部数据、工具和工作流的协议。它统一连接方式，但不替应用完成规划、身份认证、最小权限、参数校验和人工审批。

学完这张图就能开发 AI 产品吗？

这张图用于建立概念位置和学习顺序，不替代实践。下一步应选择一条角色路线，用真实数据完成一个可评测、可回滚、有权限边界的小项目。

参考资料

  • scikit-learn, Getting Started，关于估计器、预处理、Pipeline、交叉验证和模型选择，访问日期：2026-07-23。
  • PyTorch, Learn the Basics，关于数据、模型、自动微分、优化及保存加载的完整训练流程，访问日期：2026-07-23。
  • Model Context Protocol, What is MCP?，关于 MCP 的协议定位、数据源、工具与工作流连接，访问日期：2026-07-23。
  • NIST, AI Risk Management Framework，关于在 AI 产品生命周期中管理可信性与风险，访问日期：2026-07-23。

总结

学习 AI 不需要从一张名词表开始。先确定问题、数据和评测，再理解模型；需要新知识和动作时加入上下文、RAG、工具或 MCP；把能力包装成工作流或 Agent 后，还要负责运行和治理。

遇到新概念时，只问三个问题：它属于哪一层，依赖哪些层，失败时由哪一层兜底。这三个问题比背诵“最新技术栈”更耐用。