MLOps Fundamentals·MLOps 基础·

MLOps 导论

#MLOps#基础#生命周期

课程来源:AI 工程化实战笔记 影片链接:待补充 投影片:待补充

#一、什么是 MLOps

MLOps(Machine Learning Operations)是一套将机器学习模型开发与运维结合起来的方法论,目标是让模型能够像传统软件一样,可靠、可重复、可规模化地从实验室走向生产环境。

#1. 为什么需要 MLOps

传统软件开发经过几十年的发展,已经形成了成熟的工程化体系:版本控制、CI/CD、自动化测试、监控告警等。然而机器学习项目具有以下独特挑战:

  • 数据依赖性强:模型性能受数据分布直接影响
  • 实验可复现性差:不同随机种子、不同特征组合会导致结果差异
  • 线上漂移难以感知:数据漂移(Data Drift)与概念漂移(Concept Drift)
  • 反馈周期长:从训练到线上生效往往需要数天甚至数周

#2. 机器学习项目的生命周期

数据采集 → 数据处理 → 特征工程 → 模型训练 → 模型评估 → 模型部署 → 监控告警
   ↑                                                                  │
   └────────────── 数据/模型漂移反馈 ←───────────────────────────────┘

#二、MLOps 的核心支柱

#1. 数据管理(Data Management)

  • 数据版本控制(Data Version Control, DVC)
  • 特征存储(Feature Store)
  • 数据血缘追踪(Data Lineage)

#2. 模型管理(Model Management)

  • 模型注册中心(Model Registry)
  • 模型版本控制与标签
  • A/B 测试与灰度发布

#3. 流水线自动化(Pipeline Automation)

  • 可复现的训练流水线
  • 基于事件的自动重训练
  • 与 CI/CD 体系打通

#4. 监控与反馈(Monitoring & Feedback)

  • 线上指标监控(准确率、延迟、吞吐量)
  • 数据漂移与概念漂移检测
  • 用户反馈闭环

#三、MLOps 的成熟度模型

阶段特征典型团队
Level 0手动训练、手动部署,无监控初创团队
Level 1实验追踪、模型版本化成长型团队
Level 2自动化流水线、CI/CD、监控成熟业务团队
Level 3自适应系统、自动重训练、全自动闭环平台化团队

#四、小结

MLOps 并不是一个具体的工具,而是一种工程文化 + 工具链 + 流程规范的组合。后续章节将围绕数据版本管理、模型注册、流水线编排、监控告警等主题逐一展开。