Penilaian dan Penanda Aras dalam AI Agentik

Dimensi penilaian, pilihan metrik mengikut jenis tugasan, LLM sebagai hakim, dan saluran penilaian lengkap.

10Penilaian dan Metrik dalam AI Agentik 11Penggunaan dan MLOps untuk AI Agentik

15.1

Mengapa Penilaian Penting?

Penilaian membantu mengukur kualiti, kebolehpercayaan dan kebergunaan sesebuah ejen.
Sistem agentik lebih kompleks daripada LLM biasa kerana ia mengambil tindakan, menggunakan alat dan berinteraksi dengan persekitaran.
Kita perlukan penilaian untuk memastikan ejen selamat, tepat dan sejajar dengan matlamat pengguna.
Ia membantu membandingkan model, prompt dan corak reka bentuk yang berbeza.

Berkaitan10Penilaian dan Metrik dalam AI Agentik

15.2

Dimensi Penilaian Utama

Ketepatan: Memberikan jawapan yang betul dan relevan.
Kejayaan Tugasan: Menyiapkan tugasan yang dimaksudkan dengan jayanya.
Kebolehpercayaan: Menghasilkan keputusan yang konsisten.
Keselamatan: Mengelakkan tindakan berbahaya atau tidak selamat.
Keberasasan: Menggunakan maklumat yang betul dan boleh disahkan.
Kecekapan: Menyiapkan tugasan dengan masa, token dan kos yang minimum.
Kepuasan Pengguna: Memenuhi jangkaan pengguna dan membantu dalam kes penggunaan sebenar.

15.3

Jenis Penilaian

Penilaian Intrinsik: Menilai output model secara langsung (cth. kebetulan, kefasihan).
Penilaian Ekstrinsik: Menilai berdasarkan tugasan dunia sebenar dan matlamat pengguna.
Penilaian Manusia: Pakar manusia menilai output.
Penilaian Automatik: Menggunakan metrik dan penilaian berasaskan LLM.

15.4

Aliran Penilaian (Umum)

InputPrompt / tugasan

EjenLLM + alat

OutputJawapan / tindakan

RujukanJawapan / hasil dijangka

PenilaianMetrik + Semakan Manusia

Skor + Maklum BalasPenambahbaikan

Langkah-langkah ejen dan outputnya dinilai berbanding rujukan, dan penilaian menghasilkan skor serta maklum balas.

15.5

Metrik Penilaian Biasa

Padanan Tepat: Menyemak sama ada output sepadan dengan jawapan yang dijangka.
Keserupaan Semantik: Mengukur keserupaan makna (menggunakan embedding).
Kadar Kejayaan Tugasan: Peratusan tugasan yang berjaya disiapkan.
Kadar Halusinasi: Mengukur maklumat yang salah atau palsu.
Ketepatan Penggunaan Alat: Pemilihan dan penggunaan alat yang betul.
Masa Respons: Masa diambil untuk menyiapkan tugasan.
Penggunaan Token: Bilangan token yang digunakan (kecekapan kos).

15.6

Contoh Metrik untuk Tugasan Berbeza

Jenis tugasan	Metrik penilaian
Soal jawab	Padanan tepat, keserupaan semantik, keberasasan
Carian maklumat	Relevansi, kebetulan, petikan sumber
Penggunaan alat	Ketepatan pemilihan alat, kadar kejayaan tugasan
Tugasan berbilang langkah	Kejayaan hujung ke hujung, ketepatan langkah perantaraan
Penjanaan kod	Kebetulan fungsian, kejayaan kompilasi, kadar lulus kes ujian
Peringkasan	ROUGE, BLEU, maklum balas manusia
Penaakulan	Kebetulan, konsistensi logik, kesetiaan (faithfulness)

15.7

Garis Panduan Penilaian Manusia

Gunakan kriteria penilaian yang jelas.
Sediakan beberapa kes ujian.
Bandingkan dengan jawapan rujukan jika boleh.
Semak kebergunaan, kebetulan dan keselamatan.
Gunakan beberapa penilai manusia untuk mengurangkan berat sebelah.
Beri skor (cth. 1 hingga 5) bagi setiap dimensi.

15.8

LLM sebagai Hakim (Penilaian Automatik)

Gunakan LLM lain untuk menilai output.
Nyatakan kriteria penilaian dalam prompt.
Berguna untuk penilaian berskala besar.
Masih perlu disahkan dengan semakan manusia untuk kes penting.

prompt

You are an evaluator. Compare the following output with the
expected answer and give a score from 1 to 5 based on
correctness, relevance and helpfulness.

User Query: {query}
Expected Answer: {reference}
Model Output: {output}

Give score and short explanation.

Berkaitan10Penilaian dan Metrik dalam AI Agentik

15.9

Saluran Penilaian (Terperinci)

Set DataKes ujian

Jalankan EjenPelbagai konfigurasi

Kumpul HasilOutput, log

NilaiMetrik automatik + semakan manusia

AnalisisBanding & kenal pasti ruang penambahbaikan

Laporan AkhirSkor, carta, pandangan

15.10

Rumusan Utama

1Penilaian penting untuk membina ejen yang boleh dipercayai dan berguna.
2Gunakan gabungan metrik automatik dan semakan manusia.
3Pilih metrik yang sesuai berdasarkan jenis tugasan.
4Nilai dan tambah baik ejen secara berterusan.
5Saluran penilaian yang baik membantu penggunaan dunia sebenar.