Sedang mengikuti modul ini?0 daripada 19 selesai
Modul 07 · Halaman 8 daripada 20 · 9 bahagian

Reka Bentuk Sistem RAG

Retrieval Augmented Generation hujung ke hujung: pengambilan dokumen, pemecahan, benam, dapatan semula, pembinaan prompt dan penjanaan.

06Reka Bentuk Sistem LLM08Reka Bentuk Sistem AI Agentik14Penilaian dan Pengujian
7.1

Apa itu RAG?

  • Retrieval Augmented Generation ialah teknik yang menggabungkan pendapatan semula maklumat relevan daripada sumber pengetahuan luaran dengan LLM generatif untuk menghasilkan respons yang tepat, terkini dan peka konteks.
  • Ia membantu mengurangkan halusinasi dan membolehkan LLM menggunakan pengetahuan khusus domain.
7.2

Mengapa RAG Penting?

  1. 1Memberi akses kepada data terkini dan khusus domain.
  2. 2Meningkatkan ketepatan dan mengurangkan halusinasi.
  3. 3Berguna untuk data perusahaan dan data persendirian.
  4. 4Boleh dikemas kini tanpa melatih semula model.
  5. 5Jimat kos berbanding penalaan halus.
  6. 6Berfungsi baik untuk dokumen yang panjang dan khusus.
7.3

Seni Bina Peringkat Tinggi

Pertanyaan Pengguna
Pemprosesan Pertanyaan (pilihan)Penulisan semula, pengesanan niat, pengembangan
PencariCarian vektor, kata kunci, hibrid
Dokumen RelevanCebisan top-k, kedudukan semula, penapisan
LLM (Penjana)Jawab, guna konteks, tunjuk petikan
Respons kepada PenggunaTepat, relevan, sumber dipetik
Maklum balas dan soalan susulan
7.4

1. Saluran Pengambilan Dokumen

  1. 1Muat dokumen daripada sumber berbeza (PDF, DOCX, web, pangkalan data, API).
  2. 2Ekstrak teks dan metadata.
  3. 3Pecahkan teks kepada cebisan lebih kecil (pemecahan).
  4. 4Jana benam untuk setiap cebisan.
  5. 5Simpan benam dan metadata dalam pangkalan data vektor.
Berkaitan03Saluran Data dan Kejuruteraan Data
7.5

2. Pemecahan Teks

  • Pecahkan dokumen besar kepada cebisan bermakna yang lebih kecil untuk meningkatkan ketepatan dapatan semula.
1
Pemecahan saiz tetap
Contohnya 500 token setiap cebisan.
2
Pemecahan rekursif
Berdasarkan tajuk dan perenggan.
3
Pemecahan semantik
Menggunakan benam untuk mencari sempadan makna.
7.6

3. Benam dan Pangkalan Data Vektor

  • Tukar cebisan teks kepada benam vektor menggunakan model benam (cth. OpenAI, SentenceTransformer).
  • Simpan benam dalam pangkalan data vektor untuk carian kesamaan.
  • Pangkalan data vektor popular: Pinecone, Qdrant, Weaviate, FAISS, Chroma, Milvus.
DokumenPDF, DOCX, dll.
Pemecahan Teks
Model Benamtext-embedding-3-small, all-MiniLM-L6-v2
Pangkalan Data VektorPinecone, Qdrant, dll.
7.7

4. Teknik Dapatan Semula

1
Carian Vektor
Cari cebisan serupa menggunakan benam.
2
Carian Kata Kunci
Carian BM25 tradisional.
3
Carian Hibrid
Gabungkan carian vektor dan kata kunci.
4
Kedudukan Semula
Susun semula keputusan teratas menggunakan cross-encoder atau LLM.
5
Penapisan Metadata
Tapis mengikut sumber, tarikh atau kategori.
7.8

5. Pembinaan Prompt

  • Gabungkan pertanyaan pengguna dan konteks yang diperoleh untuk mencipta prompt yang tersusun baik.
  • Sertakan arahan yang jelas dan format petikan.
prompt
You are a helpful assistant. Use the following context to
answer the question. If the answer is not in the context,
say you don't know.

Context: {retrieved_chunks}
Question: {user_question}
Answer:
7.9

6. Penjanaan dan Respons

  1. 1Hantar prompt kepada LLM (cth. GPT-4, Claude, Llama).
  2. 2Jana jawapan yang jelas dan ringkas.
  3. 3Sertakan petikan (sumber maklumat).
  4. 4Sokong soalan susulan menggunakan sejarah perbualan.
  5. 5Secara pilihan, laksanakan pagar pelindung untuk mengelak respons tidak selamat.
Berkaitan12Keselamatan, Privasi dan AI Bertanggungjawab14Penilaian dan Pengujian