LLM ops

学习目标

学习完本部分，使学习者能够：

  • 使用LLMops相关技能 构建 LLMops流水线。

学习活动

  • 观看视频：吴恩达《大语言模型运维|LLMOps》中英字幕

    • 视频时长：1小时20分；
    • 视频内容简介：你将学习LLMOps管道的预处理训练数据、监督调整和自适应监督调整管道，以训练和部署自定义LLM（Language Model Model）。这对于为特定应用创建LLM工作流程非常有用。例如，创建一个针对Python编码问题提供答案的问答聊天机器人，你将在这门课程中完成这个任务。 在这门课程中，你将学习创建LLMOps管道的关键步骤：
      • 获取和转换用于LLM监督微调的训练数据。
      • 对数据和微调模型进行版本控制，以跟踪微调实验。
      • 配置开源的监督调整管道，然后执行该管道以训练和部署经过微调的LLM。
      • 输出和研究安全评分，以负责任地监控和筛选LLM应用的行为。
      • 在课堂上亲自尝试经过微调和部署的LLM！
      你将使用的工具包括BigQuery数据仓库、开源的Kubeflow Pipelines和Google Cloud。

  • 阅读文档：10分钟搞懂LLMOps

  • GPU Inference optimization techniques like FlashAttention and FlashAttention-2

  • LLMOps guide by DataBricks

  • Efficiently serving LLMs course on DeepLearning.AI

实践

补充资料

Back to top