Sedang mengikuti modul ini?
Modul 03 · Halaman 4 daripada 20 · 9 bahagian
Saluran Data dan Kejuruteraan Data
Bagaimana data bergerak daripada sumber melalui pengambilan, pemprosesan dan storan kepada model yang menggunakannya.
Apa itu Saluran Data?
- Satu siri langkah untuk mengumpul, memproses, mengubah dan menyimpan data daripada pelbagai sumber untuk aplikasi AI/ML.
- Ia memastikan data yang betul tersedia dalam format yang betul pada masa yang betul.
- Ia merangkumi pengambilan, prapemprosesan, transformasi, storan dan pemantauan.
Mengapa Ia Penting?
- Data berkualiti baik penting untuk melatih dan menilai model AI.
- Mengendalikan sumber data yang besar dan pelbagai (pangkalan data, fail, API, data penstriman).
- Memastikan data bersih, konsisten dan boleh dipercayai.
- Menyokong kebolehskalaan, automasi dan kebolehulangan.
- Meningkatkan prestasi model dan mengurangkan usaha manual.
Seni Bina Saluran Data Biasa
Sumber DataPangkalan data, fail, API, penstriman
Pengambilan DataKelompok dan masa nyata (Kafka, API)
Pemprosesan DataPembersihan, transformasi, ciri, pengesahan
Storan DataData lake, pangkalan data
Penggunaan DataLatihan, penyajian, analitik, papan pemuka
Sumber Data
- Pangkalan Data
- MySQL, PostgreSQL, MongoDB (data berstruktur).
- Fail
- CSV, JSON, Parquet (data kelompok).
- API
- REST API, perkhidmatan pihak ketiga.
- Data Penstriman
- Kafka, Kinesis, log masa nyata.
- Sumber Lain
- Dokumen, imej, audio, video.
1
2
3
4
5
Pengambilan Data
- Pengambilan Kelompok
- Muat data secara berkala (cth. fail CSV harian).
- Pengambilan Masa Nyata
- Strim data secara masa nyata (cth. menggunakan Kafka, API).
- Format
- Mengendalikan format data berbeza (JSON, CSV, Avro).
- Kebolehpercayaan
- Pastikan kebolehpercayaan data dengan mekanisme cuba semula dan pengendalian ralat.
1
2
3
4
Pemprosesan dan Transformasi Data
- Pembersihan Data
- Mengendalikan nilai hilang, pendua dan nilai terpencil.
- Transformasi Data
- Tukar data kepada format yang diperlukan (normalisasi, pengekodan).
- Kejuruteraan Ciri
- Cipta ciri berguna untuk latihan model.
- Pengesahan Data
- Semak kualiti data dan konsistensi skema.
1
2
3
4
Storan Data
- Data Lake
- Simpan data mentah (cth. S3, HDFS).
- Pangkalan Data
- Simpan data yang diproses (cth. MySQL, MongoDB, PostgreSQL).
- Gudang Data
- Untuk analitik dan pelaporan (cth. Snowflake, BigQuery).
- Pemilihan
- Pilih storan berdasarkan saiz data, corak capaian dan kos.
1
2
3
4
Alat Biasa
| Alat | Kegunaan |
|---|---|
| Apache Kafka | Pengambilan data masa nyata |
| Apache Airflow | Orkestrasi saluran |
| Spark | Pemprosesan data berskala besar |
| AWS S3 | Storan data lake |
| DBT | Transformasi data |
| Elasticsearch | Carian dan pengindeksan |
Amalan Terbaik
- 1Automasikan saluran data (guna Airflow).
- 2Pantau kesihatan saluran dan sediakan amaran.
- 3Pastikan kualiti data dengan semakan pengesahan.
- 4Guna storan dan alat pemprosesan yang boleh diskalakan.
- 5Tangani kegagalan dengan mekanisme cuba semula dan sandaran.
- 6Kekalkan salasilah data dan dokumentasi yang betul.