课程来源:AI 工程化实战笔记 影片链接:待补充 投影片:待补充
#一、什么是 MLOps
MLOps(Machine Learning Operations)是一套将机器学习模型开发与运维结合起来的方法论,目标是让模型能够像传统软件一样,可靠、可重复、可规模化地从实验室走向生产环境。
#1. 为什么需要 MLOps
传统软件开发经过几十年的发展,已经形成了成熟的工程化体系:版本控制、CI/CD、自动化测试、监控告警等。然而机器学习项目具有以下独特挑战:
- 数据依赖性强:模型性能受数据分布直接影响
- 实验可复现性差:不同随机种子、不同特征组合会导致结果差异
- 线上漂移难以感知:数据漂移(Data Drift)与概念漂移(Concept Drift)
- 反馈周期长:从训练到线上生效往往需要数天甚至数周
#2. 机器学习项目的生命周期
数据采集 → 数据处理 → 特征工程 → 模型训练 → 模型评估 → 模型部署 → 监控告警
↑ │
└────────────── 数据/模型漂移反馈 ←───────────────────────────────┘
#二、MLOps 的核心支柱
#1. 数据管理(Data Management)
- 数据版本控制(Data Version Control, DVC)
- 特征存储(Feature Store)
- 数据血缘追踪(Data Lineage)
#2. 模型管理(Model Management)
- 模型注册中心(Model Registry)
- 模型版本控制与标签
- A/B 测试与灰度发布
#3. 流水线自动化(Pipeline Automation)
- 可复现的训练流水线
- 基于事件的自动重训练
- 与 CI/CD 体系打通
#4. 监控与反馈(Monitoring & Feedback)
- 线上指标监控(准确率、延迟、吞吐量)
- 数据漂移与概念漂移检测
- 用户反馈闭环
#三、MLOps 的成熟度模型
| 阶段 | 特征 | 典型团队 |
|---|---|---|
| Level 0 | 手动训练、手动部署,无监控 | 初创团队 |
| Level 1 | 实验追踪、模型版本化 | 成长型团队 |
| Level 2 | 自动化流水线、CI/CD、监控 | 成熟业务团队 |
| Level 3 | 自适应系统、自动重训练、全自动闭环 | 平台化团队 |
#四、小结
MLOps 并不是一个具体的工具,而是一种工程文化 + 工具链 + 流程规范的组合。后续章节将围绕数据版本管理、模型注册、流水线编排、监控告警等主题逐一展开。