Sedang mengikuti modul ini?
Modul 06 · Halaman 7 daripada 20 · 8 bahagian
Reka Bentuk Sistem LLM
Mereka bentuk aplikasi di sekeliling model bahasa besar: lapisan, pilihan inferens, storan data dan pertukaran yang mengikutinya.
Apa itu Reka Bentuk Sistem LLM?
- Proses mereka bentuk seni bina hujung ke hujung untuk membina, menggunakan dan mengendalikan aplikasi Model Bahasa Besar dalam pengeluaran.
- Ia merangkumi data, model, infrastruktur, inferens, penilaian, keselamatan dan pemantauan.
- Matlamatnya ialah aplikasi LLM yang berskala, boleh dipercayai, selamat dan jimat kos untuk kes penggunaan dunia sebenar.
Matlamat Reka Bentuk Utama
- Kebolehskalaan
- Mengendalikan bilangan pengguna yang besar.
- Kependaman Rendah
- Memberikan respons masa nyata.
- Ketersediaan Tinggi
- Meminimumkan masa henti.
- Kecekapan Kos
- Mengoptimumkan kos infrastruktur.
- Keselamatan & Privasi
- Melindungi data pengguna.
- Kebolehpercayaan
- Respons yang konsisten dan tepat.
- Kebolehcerapan
- Memantau dan menyahpepijat isu.
- Fleksibiliti
- Menyokong model dan kes penggunaan yang berbeza.
1
2
3
4
5
6
7
8
Seni Bina Peringkat Tinggi
KlienWeb / mudah alih
Pengimbang Beban
Get Laluan APIPengesahan, had kadar, penghalaan, log
Pelayan AplikasiPengendalian prompt, logik perniagaan, konteks, penghuraian respons
Inferens LLMOpenAI API, dihos sendiri, awan, berbilang model
Lapisan DataDB vektor, DB hubungan, cache, fail
Penelitian Komponen
- Klien
- Aplikasi web atau mudah alih.
- Pengimbang Beban
- Mengagihkan trafik merentasi pelayan.
- Get Laluan API
- Pengesahan, had kadar, penghalaan.
- Pelayan Aplikasi
- Mengendalikan logik perniagaan, kejuruteraan prompt dan pengurusan konteks.
- Inferens LLM
- Panggil LLM (OpenAI, Anthropic, Llama, dll.) untuk penjanaan teks.
- Lapisan Data
- Simpan dokumen, benam, data pengguna dan sejarah sembang.
- Pemantauan
- Jejak kependaman, ralat dan penggunaan token.
1
2
3
4
5
6
7
Berkaitan10Penelitian Komponen Sistem
Pilihan Inferens LLM
- OpenAI API
- GPT-4, GPT-4o, dll. (diurus).
- Anthropic API
- Model Claude (diurus).
- Dihos Sendiri
- Llama, Mistral, dll. pada infrastruktur sendiri.
- Pembekal Awan
- AWS Bedrock, Azure OpenAI, Google Vertex AI.
- Persediaan Berbilang Model
- Halakan ke model berbeza mengikut kes penggunaan (kos, keupayaan, kependaman).
1
2
3
4
5
Pilihan Lapisan Data
- Pangkalan Data Vektor
- Pinecone, Qdrant, Weaviate.
- Pangkalan Data Hubungan
- PostgreSQL, MySQL.
- Cache
- Redis (simpan respons terkini, sesi).
- Storan Fail
- S3, GCS (dokumen, log).
1
2
3
4
Contoh Kes Penggunaan: Aplikasi Chatbot
Soalan Pengguna
Get Laluan API
Prompt + Konteks
LLMGPT-4
Pangkalan Data VektorDokumen, benam
Respons kepada Pengguna
Pertimbangan Reka Bentuk
- 1Tangani konteks panjang (guna RAG, pemecahan).
- 2Urus had token dan kos.
- 3Laksanakan caching untuk mengurangkan kependaman.
- 4Pastikan keselamatan data dan kawalan akses.
- 5Guna pemprosesan tak segerak untuk tugasan yang berjalan lama.
- 6Pantau penggunaan, kos dan prestasi.
- 7Rancang kemas kini model dan strategi sandaran.