应用部署
学习目标
学习完本部分,使学习者能够:
- 使用ollama或LM studio等工具在本地 部署 开源LLM;
- 使用vllm或skypilot等工具在云上 部署 LLM。
学习活动
Local deployment: Running open source LLMs on local machines (LM Studio, Ollama, oobabooga, kobold.cpp, etc.)
Deploying LLMs at scale on cloud technologies like vLLM and SkyPilot
阅读文档:Deploying LangChain applications (runnables and chains) as a REST API.