培訓時長：2 天（15 課時）

課程介紹：

隨著人工智能技術的飛速發(fā)展，大模型成為了推動自然語言處理、圖像識別等眾

多領域創(chuàng)新的關鍵。然而，如何高效地在本地環(huán)境中部署這些大型模型，并根據(jù)

特定需求對其進行微調，成為了企業(yè)和研究機構面臨的重要挑戰(zhàn)。

本課程旨在為學員提供從理論到實踐的全面指導，幫助學員掌握大模型的本地部

署與微調技巧，從而能夠將先進的 AI 技術應用到實際場景中。

學員基礎：

? 具備一定的 Python 編程經(jīng)驗

? 對機器學習或深度學習有基本了解

? 了解常見的深度學習框架（如 TensorFlow、PyTorch）

? 已熟悉大模型相關基本概念

? 對云計算有一定認識，了解虛擬化、容器化等概念

學后收獲：

? 理解大模型的特點及其對硬件資源的需求

? 掌握多種大模型如 DeepSeek 的本地部署方法

? 學會使用不同的工具和框架對大模型進行微調

? 了解模型壓縮技術，提高模型效率

? 理解大模型的安全治理重要性及其實現(xiàn)方法

? 能夠獨立完成大模型的部署與微調項目

課程內容：

模塊 主要內容

大模型本地部署

? 本地部署基礎認知

? 為什么要進行本地部署

? 模型參數(shù)量與硬件資源

◆ 模型大小與計算資源的關系

◆ 不同規(guī)模模型的適用場景

? 環(huán)境準備

? 必要的軟件和庫安裝

◆ CUDA

◆ Python 虛擬環(huán)境

◆ Docker

◆ Pytorch

◆ Git

? 開發(fā)環(huán)境配置

模塊 主要內容

? Ollama 快速部署大模型

? Ollama 平臺介紹

? 一鍵部署流程

? 實戰(zhàn)練習：使用 Ollama 部署 DeepSeek R1 大模型

? vLLM 生產(chǎn)級部署大模型

? vLLM 框架概述

? 部署步驟解析

? 實戰(zhàn)練習：使用 vLLM 部署 DeepSeek R1 大模型

? 開源大模型應用開發(fā)平臺 Dify 本地部署

? Dify 平臺特性

? Dify 適用場景

? 實戰(zhàn)練習：基于 Dify 集成 DeepSeek

大模型微調

? 大模型訓練流程回顧

? 什么是模型微調

? 微調的基本概念

? 微調的重要性

模塊 主要內容

? 微調方法

? 全參微調適用場景與風險控制

? 主流 PEFT 技術對比（LoRA/QLoRA/Adapter/P-Tuning）

? 微調工具

? 流行的微調工具介紹

◆ Transformers

◆ MS-Swift

◆ Deep-Speed

◆ LLaMA-Factory

? 工具的選擇與使用

? 數(shù)據(jù)工程體系

? 模型壓縮（量化）

? 模型蒸餾

? 模型蒸餾的基本原理

? 模型蒸餾的應用場景

? DeepSeek 模型蒸餾的實現(xiàn)過程解析

模塊 主要內容

? 實戰(zhàn)：DeepSeek 模型蒸餾實踐

? 大模型安全治理

? 為什么要進行安全治理

? RLHF 技術全景（PPO/DPO/CPO）

? 微調模型評估

? 實戰(zhàn)

? 基于 Llama Factory 微調一個法律大模型

? 基于 DeepSpeed 大模型并行訓練框架 LoRA 微調實踐

? 基于 ms-swift LoRA 微調 Qwe*****1.5B 實踐

課后贈送拓展課程（錄播）

? 《Linux 快速入門》

? 《Docker 快速入門》

? 《華為昇騰硬件部署與微調大模型》

? 《基于 ComfyUI 本地部署 DeepSeek 開源多模態(tài)模型 Janus-Pro》