Sedang mengikuti modul ini?0 daripada 19 selesai
Modul 11 · Halaman 12 daripada 20 · 10 bahagian

Kebolehpercayaan, Toleransi Kesalahan dan Ketersediaan Tinggi

Memastikan sistem AI terus berjalan apabila sebahagiannya gagal: senario kegagalan, teknik kebolehpercayaan, strategi toleransi kesalahan dan seni bina HA.

05Penyajian Model dan Seni Bina Inferens10Penelitian Komponen Sistem13Pemantauan, Pengelogan dan Kebolehcerapan
11.1

1. Pengenalan

  • Kebolehpercayaan, toleransi kesalahan dan ketersediaan tinggi adalah kritikal untuk sistem AI, terutamanya dalam pengeluaran, di mana pengguna mengharapkan respons yang sentiasa aktif, tepat dan pantas.
  • Sistem AI melibatkan banyak komponen (model, pangkalan data, stor vektor, API, dll.), jadi kegagalan mana-mana komponen boleh menjejaskan seluruh sistem.
11.2

2. Istilah Utama

1
Kebolehpercayaan
Sistem berfungsi dengan betul dari semasa ke semasa.
2
Kesalahan
Ralat atau kegagalan dalam sesuatu komponen.
3
Toleransi Kesalahan
Keupayaan untuk terus berfungsi walaupun berlaku kegagalan.
4
Ketersediaan Tinggi (HA)
Sistem tersedia pada kebanyakan masa dengan masa henti yang minimum.
5
Masa Aktif
Peratusan masa sistem tersedia.
6
Masa Henti
Masa apabila sistem tidak tersedia.
7
SLA
Perjanjian Tahap Perkhidmatan: masa aktif yang dijangka, cth. 99.9%.
11.3

3. Mengapa Ia Penting dalam Sistem AI?

  • Sistem AI melayani pengguna sebenar dan aplikasi kritikal perniagaan.
  • Inferens model, pangkalan data vektor dan API luaran boleh gagal.
  • Ketersediaan tinggi memastikan perkhidmatan berterusan.
  • Toleransi kesalahan memperbaiki pengalaman pengguna dengan mengendalikan kegagalan secara terkawal.
  • Penting untuk aplikasi perusahaan dan berskala besar.
11.4

4. Senario Kegagalan Biasa

  1. 1Pelayan model terhenti.
  2. 2Pangkalan data vektor tidak dapat dicapai.
  3. 3Kegagalan API luaran (pembekal LLM, carian web, dll.).
  4. 4Trafik tinggi (lonjakan trafik).
  5. 5Isu rangkaian atau tamat masa.
  6. 6Kegagalan saluran data (pengambilan).
  7. 7Kegagalan perkakasan (pelayan / cakera).
  8. 8Gangguan wilayah atau pusat data.
11.5

5. Teknik untuk Kebolehpercayaan

1
Mekanisme Cuba Semula
Cuba semula permintaan yang gagal dengan backoff eksponen.
2
Timeout
Tetapkan tamat masa yang sesuai untuk panggilan luaran.
3
Circuit Breaker
Berhenti memanggil perkhidmatan yang gagal.
4
Fallback
Guna model sandaran atau respons cache.
5
Penurunan Terkawal
Beri fungsi terhad dan bukannya kegagalan sepenuhnya.
6
Pemantauan & Amaran
Kesan dan baiki isu lebih awal.
11.6

6. Strategi Toleransi Kesalahan

1
Replikasi
Jalankan berbilang instans perkhidmatan.
2
Mula Semula Automatik
Mulakan semula perkhidmatan yang gagal secara automatik.
3
Semakan Kesihatan
Semak kesihatan perkhidmatan secara berterusan.
4
Pemulihan Kendiri
Gantikan instans yang tidak sihat.
5
Reka Bentuk Tanpa Keadaan
Elakkan menyimpan keadaan dalam satu pelayan.
6
API Idempoten
Tangani permintaan pendua dengan selamat.
7
Lebihan Data
Replikasi pangkalan data dan stor vektor.
8
Pemprosesan Berasaskan Baris Gilir
Guna baris gilir mesej (Kafka, SQS, dll.) untuk mengendalikan kegagalan sementara.
11.7

7. Seni Bina Ketersediaan Tinggi

KlienWeb / mudah alih
Pengimbang BebanNginx / AWS ALB
Pelayan APIBerbilang instans (API-1, API-2, API-3)
Pelayan ModelBerbilang instans (Model-1, Model-2, Model-3)
Cache · Pangkalan Data Vektor (direplikasi) · Pangkalan Data (utama + replika)
11.8

8. Aliran Toleransi Kesalahan (Contoh)

Permintaan Pengguna
Panggil API Model
Berjaya?
Pulangkan Respons
Cuba SemulaDengan backoff
Panggil Model Sandaran
Guna Respons Cache
Pulangkan Respons Sandaran
Jika panggilan berjaya, respons dipulangkan; jika tidak, cuba semula, kemudian model sandaran, kemudian respons cache.
11.9

9. Amalan Terbaik

  1. 1Guna berbilang instans untuk semua perkhidmatan kritikal.
  2. 2Laksanakan semakan kesihatan dan mula semula automatik.
  3. 3Guna pengimbang beban untuk mengagihkan trafik.
  4. 4Guna caching untuk mengurangkan beban pada LLM dan DB vektor.
  5. 5Laksanakan cuba semula, tamat masa dan pemutus litar.
  6. 6Guna alat pemantauan (Prometheus, Grafana, dll.).
  7. 7Reka bentuk untuk penurunan terkawal.
  8. 8Uji senario kegagalan (ujian kekacauan).
11.10

10. Contoh Dunia Sebenar

1
OpenAI / Llama
Berbilang wilayah dan penskalaan automatik.
2
Pinecone
Pangkalan data vektor ketersediaan tinggi.
3
AWS
Penggunaan berbilang AZ untuk toleransi kesalahan.
4
Netflix
Corak pemutus litar dan pemantauan (Hystrix).
5
Uber
Seni bina mikroperkhidmatan ketersediaan tinggi.