Sedang mengikuti modul ini?
Modul 15 · Halaman 16 daripada 20 · 10 bahagian
MLOps dan LLMOps
Amalan kejuruteraan perisian untuk sistem ML dan LLM: kitar hayat, perbezaan LLMOps, CI/CD, pemantauan dan alat biasa.
1. Pengenalan
- MLOps dan LLMOps membantu membina, menggunakan dan mengurus aplikasi pembelajaran mesin dan LLM dalam pengeluaran.
- Ia membawa amalan kejuruteraan perisian seperti CI/CD, pemantauan, pembuatan versi dan automasi ke dalam kitar hayat ML/AI.
- MLOps memfokuskan model ML tradisional, manakala LLMOps khusus untuk Model Bahasa Besar dan aplikasi GenAI.
2. MLOps lwn LLMOps
| Aspek | MLOps | LLMOps |
|---|---|---|
| Fokus | Model ML tradisional (pengelasan, regresi) | Model bahasa besar (LLM, GenAI) |
| Data | Berstruktur / tidak berstruktur | Teks tidak berstruktur, dokumen, imej, dll. |
| Saiz model | Biasanya kecil hingga sederhana | Sangat besar (berbilion parameter) |
| Cabaran utama | Hanyutan data, hanyutan model | Pengurusan prompt, pengendalian konteks, halusinasi |
| Penggunaan | REST API, kelompok | API, DB vektor, saluran RAG, ejen |
| Pemantauan | Prestasi model (metrik) | Model + prompt + maklum balas pengguna + kos |
3. Seni Bina MLOps
Pengumpulan DataData latihan
Pemprosesan DataPembersihan, kejuruteraan ciri
Latihan ModelLatihan, penalaan
Pengesahan ModelPenilaian
Penggunaan ModelREST API, kelompok
PemantauanMetrik, log, amaran
Latihan SemulaDicetus oleh hanyutan
4. Komponen Utama (MLOps)
- Saluran Data
- Kumpul, bersih dan sediakan data latihan.
- Stor Ciri
- Simpan dan urus ciri.
- Latihan Model
- Latih dan laras model.
- Daftar Model
- Versikan dan simpan model terlatih.
- Penyajian Model
- Gunakan model sebagai API atau tugas kelompok.
- Pemantauan
- Pantau prestasi dan hanyutan data.
- Latihan Semula
- Automasikan latihan semula apabila perlu.
- Saluran CI/CD
- Automasikan binaan, ujian dan penggunaan.
1
2
3
4
5
6
7
8
5. Seni Bina LLMOps (RAG Biasa)
Sumber DataPDF, DOCX, web, DB, API
PengambilanPemecahan, pembersihan
Model BenamTeks kepada vektor
Pangkalan Data VektorPinecone, Qdrant, dll.
Pertanyaan Pengguna
PencariCarian vektor
Pembinaan PromptKonteks + arahan
LLMPenjanaan (OpenAI, Llama, dll.)
Respons kepada Pengguna
Berkaitan07Reka Bentuk Sistem RAG
6. Komponen Utama (LLMOps)
- Pengambilan Data
- Muat dan praproses dokumen (PDF, Web, dll.).
- Pemecahan & Benam
- Pecahkan teks dan jana benam vektor.
- Pangkalan Data Vektor
- Simpan dan cari benam (Pinecone, Qdrant).
- Pengurusan Prompt
- Urus dan versikan prompt.
- Penyajian Model
- Integrasi dengan API LLM (OpenAI, Llama, dll.).
- Penilaian
- Ukur kualiti jawapan (relevansi, kesetiaan, dll.).
- Pemantauan
- Jejak penggunaan, kos, kependaman dan kualiti.
- Pagar Pelindung
- Tangani keselamatan, bias dan input berniat jahat.
1
2
3
4
5
6
7
8
7. Saluran CI/CD untuk MLOps / LLMOps
Commit KodGit push
Bina & UjiUnit, integrasi
Latihan Model
PenilaianAutomatik + manusia
PenggunaanAwan / Kubernetes
8. Pemantauan dan Kebolehcerapan
- Prestasi Model
- Ketepatan, kependaman, kadar ralat dan penggunaan token.
- Hanyutan Data
- Kesan perubahan dalam taburan data input.
- Hanyutan Model
- Kesan kemerosotan kualiti output.
- Pemantauan Prompt
- Jejak prestasi prompt dan variasinya.
- Maklum Balas Pengguna
- Kumpul suka/tidak suka dan penilaian.
- Pemantauan Kos
- Jejak kos API dan infrastruktur.
- Pengelogan & Penjejakan
- Guna alat seperti Prometheus, Grafana, ELK dan Langfuse.
- Amaran
- Tetapkan ambang dan beritahu apabila ada anomali.
1
2
3
4
5
6
7
8
9. Alat Popular
| Tujuan | Alat |
|---|---|
| Pemprosesan data | Apache Airflow, Prefect, Dagster |
| Pangkalan data vektor | Pinecone, Qdrant, Weaviate, FAISS |
| Penyajian model | FastAPI, BentoML, TorchServe, vLLM |
| Penjejakan eksperimen | MLflow, Weights & Biases |
| Pemantauan | Prometheus, Grafana, Langfuse, Arize, TruLens |
| Rangka kerja LLMOps | LangChain, LlamaIndex, RAGAS, DeepEval |
| CI/CD | GitHub Actions, GitLab CI, Jenkins, ArgoCD |
| Penggunaan | Docker, Kubernetes, AWS, GCP, Azure |
10. Amalan Terbaik
- 1Automasikan keseluruhan saluran.
- 2Guna pembuatan versi untuk data, model dan prompt.
- 3Pantau prestasi dan hanyutan data secara berterusan.
- 4Laksanakan pagar pelindung dan semakan keselamatan.
- 5Guna penilaian manusia untuk output LLM.
- 6Tangani hanyutan data dan model.
- 7Kekalkan kebolehulangan dan dokumentasi.
- 8Optimumkan untuk kependaman, kos dan kebolehskalaan.