Sedang mengikuti modul ini?0 daripada 19 selesai
Modul 05 · Halaman 6 daripada 20 · 8 bahagian

Penyajian Model dan Seni Bina Inferens

Bagaimana model terlatih didedahkan kepada pengguna: gaya penyajian, aliran permintaan, alat popular dan pertukaran yang perlu ditimbang.

04Saluran Latihan Model06Reka Bentuk Sistem LLM10Penelitian Komponen Sistem11Kebolehpercayaan, Toleransi Kesalahan dan Ketersediaan Tinggi
5.1

Apa itu Penyajian Model?

  • Proses menggunakan model terlatih dan menyediakannya untuk inferens masa nyata atau kelompok.
  • Ia mengendalikan permintaan masuk, menjalankan inferens dan memulangkan respons kepada pengguna atau aplikasi.
  • Ia merangkumi infrastruktur, API, penskalaan, pemantauan dan keselamatan.
5.2

Mengapa Ia Penting?

  • Membawa model ML/AI kepada pengguna sebenar.
  • Mengendalikan trafik tinggi dengan kependaman rendah.
  • Memastikan kebolehpercayaan, kebolehskalaan dan ketersediaan.
  • Menyokong pembuatan versi, ujian A/B dan pengundurun.
  • Membolehkan inferens yang jimat kos dan dioptimumkan.
  • Memantau prestasi model dan hanyutan data dalam pengeluaran.
5.3

Seni Bina Inferens Biasa

Pengguna / KlienWeb / mudah alih
Pengimbang Beban
Get Laluan APIPengesahan, had kadar, penghalaan
Pelayan InferensMuat model, jalankan inferens, skala automatik
Storan ModelDaftar, versi, artifak
PemantauanLog, metrik, amaran
5.4

Jenis Penyajian Model

1
Inferens Masa Nyata
Respons kependaman rendah (milisaat). Digunakan untuk chatbot dan cadangan.
2
Inferens Kelompok
Memproses data besar secara luar talian. Digunakan untuk pengayaan data dan laporan.
3
Penyajian Dalam Talian
Model sentiasa tersedia dalam memori. Digunakan untuk aplikasi masa nyata.
4
Penyajian Tanpa Pelayan
Bayar setiap permintaan dengan penskalaan automatik. Digunakan untuk trafik rendah atau berubah-ubah.
5
Inferens Edge
Jalankan model pada peranti edge (mudah alih, IoT). Digunakan untuk kependaman rendah dan kes penggunaan sensitif privasi.
5.5

Aliran Inferens (Langkah demi Langkah)

  1. 1Klien menghantar permintaan (teks, imej, dll.) kepada API.
  2. 2Get Laluan API mengesahkan permintaan (pengesahan, had kadar).
  3. 3Permintaan dihalakan ke pelayan inferens.
  4. 4Pelayan inferens memuatkan model (jika belum dimuatkan).
  5. 5Praproses data input.
  6. 6Jalankan inferens menggunakan model.
  7. 7Pascaproses output (nyahkod, formatkan).
  8. 8Pulangkan respons kepada klien.
5.6

Alat Penyajian Model Popular

AlatSesuai untuk
TensorFlow ServingModel TensorFlow
TorchServeModel PyTorch
FastAPIPelayan API Python yang ringan
BentoMLRangka kerja penyajian model bersepadu
NVIDIA TritonPenyajian berbilang model berprestasi tinggi
Seldon CorePenyajian model berasaskan Kubernetes
Hugging Face Inference EndpointsPenyajian LLM
5.7

Pertimbangan Utama

1
Kependaman
Optimumkan model dan infrastruktur.
2
Daya Pemprosesan
Mengendalikan bilangan permintaan yang tinggi.
3
Kebolehskalaan
Penskalaan automatik mengikut beban.
4
Pembuatan Versi Model
Menyokong berbilang versi model.
5
Pemantauan
Jejak kependaman, ralat dan hanyutan.
6
Keselamatan
Pengesahan, kebenaran dan privasi data.
7
Pengoptimuman Kos
Guna jenis instans yang betul dan pengelompokan.
Berkaitan11Kebolehpercayaan, Toleransi Kesalahan dan Ketersediaan Tinggi12Keselamatan, Privasi dan AI Bertanggungjawab13Pemantauan, Pengelogan dan Kebolehcerapan
5.8

Contoh Dunia Sebenar

1
ChatGPT
Inferens LLM masa nyata pada skala besar.
2
Netflix
Penyajian model cadangan.
3
Uber
Penyajian model ramalan ETA.
4
Google
Penyajian model kedudukan carian.
5
E-dagang
Cadangan produk.
6
Penjagaan kesihatan
Inferens analisis imej perubatan.