Sedang mengikuti modul ini?
Modul 10 · Halaman 11 daripada 20 · 11 bahagian
Penelitian Komponen Sistem
Sepuluh blok binaan sistem AI pengeluaran, daripada klien hingga keselamatan, dengan tanggungjawab setiap satu.
Seni Bina Hujung ke Hujung
KlienWeb / mudah alih
Pengimbang Beban
Get Laluan APIPengesahan, penghalaan
Pelayan AplikasiPengorkestra
Perkhidmatan LLMPenaakulan & penjanaan
Pangkalan Data VektorDapatan semula
Alat Luaran / APICarian, DB, dll.
1. Klien (Aplikasi Web / Mudah Alih)
- Menyediakan antara muka pengguna untuk berinteraksi dengan sistem.
- Menghantar pertanyaan pengguna, muat naik fail atau input lain.
- Mengendalikan pengesahan (cth. token JWT).
- Memaparkan respons penstriman atau akhir.
- Mengurus sesi dan sejarah sembang.
2. Pengimbang Beban
- Mengagihkan trafik masuk merentasi beberapa pelayan API.
- Meningkatkan ketersediaan dan toleransi kesalahan.
- Melakukan semakan kesihatan pada pelayan bahagian belakang.
- Boleh jadi Lapisan 4 (Nginx) atau Lapisan 7 (cth. AWS ALB).
- Membantu penskalaan mendatar.
3. Get Laluan API
- Titik masuk tunggal untuk semua permintaan klien.
- Mengendalikan pengesahan dan kebenaran.
- Had kadar dan pengesahan permintaan.
- Menghalakan permintaan ke perkhidmatan yang sesuai.
- Boleh mengubah permintaan dan respons jika perlu.
- Mengumpul metrik dan log asas.
4. Pelayan Aplikasi (Pengorkestra)
- Melaksanakan logik perniagaan dan menyelaras komponen.
- Mengendalikan permintaan pengguna, pengurusan sesi dan konteks.
- Memanggil perkhidmatan LLM, saluran RAG, API luaran, dll.
- Mengurus respons penstriman kepada klien.
- Melaksanakan pengendalian ralat, cuba semula dan sandaran.
- Boleh diskalakan secara mendatar berdasarkan beban.
5. Perkhidmatan LLM
- Menghos model LLM (cth. OpenAI, Llama, Claude).
- Menjana respons berdasarkan konteks yang diberikan.
- Menyokong respons penstriman dan bukan penstriman.
- Boleh dihos sendiri atau digunakan melalui API terurus.
- Mungkin menyokong berbilang model dan pertukaran model.
6. Pangkalan Data Vektor
- Menyimpan benam dokumen untuk carian semantik.
- Digunakan dalam RAG untuk mendapatkan cebisan relevan.
- Contoh: Pinecone, Qdrant, Weaviate, FAISS.
- Menyokong carian kesamaan (kesamaan kosinus).
- Menyimpan metadata bersama benam.
- Membantu mendapatkan data terkini dan relevan dengan konteks.
Berkaitan07Reka Bentuk Sistem RAG
7. Alat Luaran / API
- Carian web (cth. SerpAPI, Google Custom Search).
- Pangkalan data perusahaan (produk, pengguna, dokumen dalaman).
- Storan fail (S3, GCS) untuk dokumen.
- API lain (cuaca, e-mel, kalendar, dll.).
- Digunakan oleh ejen untuk mengambil tindakan dan mendapatkan data masa nyata.
Berkaitan09Seni Bina Ejen AI
8. Memori (Perbualan dan Konteks)
- Menyimpan sejarah sembang dan keutamaan pengguna.
- Boleh jadi jangka pendek (dalam memori) atau jangka panjang (DB vektor).
- Membantu mengekalkan konteks merentasi beberapa interaksi.
- Membolehkan respons yang diperibadikan dan konsisten.
- Boleh menyimpan ringkasan untuk mengendalikan perbualan panjang.
9. Pemantauan, Pengelogan dan Kebolehcerapan
- Mengumpul log, metrik dan jejak daripada semua komponen.
- Membantu penyahpepijatan, pengesanan ralat dan analisis prestasi.
- Alat: Prometheus, Grafana, ELK, OpenTelemetry.
- Memantau kependaman, penggunaan token, kos dan kesihatan sistem.
- Penting untuk pengeluaran dan penskalaan.
10. Keselamatan dan Kawalan Akses
- Sahkan pengguna menggunakan JWT, OAuth, SSO, dll.
- Benarkan akses kepada API, data dan alat.
- Lindungi data sensitif (PII).
- Laksanakan had kadar dan pencegahan penyalahgunaan.
- Pastikan komunikasi selamat (HTTPS, penyulitan).
- Ikuti amalan AI bertanggungjawab dan penapisan kandungan.