Ringkasan Pipeline Ingest
URL: /ingest
Tujuan
Halaman ini merangkum lima tahap pipeline ingest yang membawa dokumen instansi dari sumber data mentah hingga siap ditelusuri AI. Lima sub-halaman di menu ini mencerminkan tahapan tersebut secara berurutan.
Pipeline ingest adalah sisi data dari portal SAKIPAI. Sisi penilaian — Layer 0 Kelengkapan, Layer 1 LKE, Layer 2 Min Req, hingga Laporan Hasil Evaluasi — ada di Pipeline SAKIP. Dua pipeline tidak berdiri sendiri-sendiri: output ingest menjadi bahan baku untuk pipeline SAKIP, dan beberapa tahap dua pipeline ini saling tumpang-tindih.
Alur Lima Tahap
[Penyambungan] → [Pengumpulan] → [Pembacaan] → [Penyimpanan] → [Penelusuran]
| # | Tahap | Yang Dilakukan AI di Belakang Layar | Yang Dilihat Pengguna |
|---|---|---|---|
| 1 | Penyambungan | Membuka koneksi ke sumber data instansi melalui salah satu dari tiga cara: WebDAV (Owncloud/Nextcloud), SFTP, atau Google Drive (sekali-pakai untuk salin). | Daftar berkas yang ditemukan, dibatasi pada ekstensi .pdf / .md / .txt. |
| 2 | Pengumpulan | Memetakan berkas terhadap kriteria dokumen wajib SAKIP + standarisasi nama berkas dan struktur folder per-OPD. | Daftar dokumen hasil standarisasi disertai identifier nama berkas asli (audit trail). |
| 3 | Pembacaan | Parsing dokumen (mengenali bab, subbab, tabel), kemudian menyimpan hasil sebagai Markdown terstruktur di media penyelenggara. | Skor parsing per dokumen + skor total kelayakan + rekomendasi (mis. kumpulkan ulang bila hasil scan gambar). |
| 4 | Penyimpanan | Memasukkan dokumen terbaca ke basis data vektor untuk pencarian semantik. | Status ingestion per dokumen: Pending / In Progress / Done. |
| 5 | Penelusuran | Melayani chat AI agent dengan akses ke basis data vektor; pencarian menggunakan semantic search (berbasis makna, bukan kata-per-kata). | Antarmuka chat dengan sitasi sumber per jawaban. AI agent belum dibekali persona asesor — keahliannya murni analisis relevansi dokumen. |
Karakter Halaman
- Tahap 1 sampai 4 bersifat pasif (monitoring) — proses dijalankan AI di belakang layar; halaman hanya menampilkan status dan hasil. Pengguna tidak perlu memicu apa pun.
- Tahap 5 menyediakan tool chat — satu-satunya halaman dengan interaksi pengguna secara langsung.
- Filter instansi di sudut kanan atas tersedia di tahap yang relevan untuk drill-down ke OPD.
Hubungan dengan Pipeline SAKIP
Pipeline ingest bukan silo — beberapa tahap-nya bertumpang-tindih dengan tahap-tahap evaluasi di Pipeline SAKIP. Pemahaman tumpang-tindih ini penting agar operator tidak menjalankan proses yang sama dua kali.
| Tahap Ingest | Bersinggungan dengan Pipeline SAKIP | Apa yang Overlap |
|---|---|---|
| 1. Penyambungan | (tidak ada) | Pemilihan sumber data murni urusan teknis ingest. |
| 2. Pengumpulan | Layer 0 — Audit Kelengkapan | Pemetaan berkas → slot dokumen wajib di Tahap 2 ingest adalah masukan langsung untuk Audit Kelengkapan. Kalau di Tahap 2 ingest sebuah slot wajib belum ter-isi, Audit Kelengkapan akan melapor instansi tidak lolos gerbang Layer 0. Daftar slot acuan: Dokumen Wajib. |
| 3. Pembacaan | (prasyarat teknis) | Hasil parsing Markdown jadi sumber bukti untuk Tahap 5–7 di Pipeline SAKIP (Eksplorasi Bukti & Scoring LKE). Skor parsing buruk di Tahap 3 ingest = bukti yang dipakai evaluasi rapuh; rekomendasi otomatis muncul untuk perbaikan. |
| 4. Penyimpanan | (prasyarat teknis) | Tanpa dokumen masuk basis data vektor, Evaluasi Indikator tidak punya bahan untuk semantic retrieval. Status Done di Tahap 4 ingest = lampu hijau bahwa dokumen siap diperiksa AI asesor. |
| 5. Penelusuran | Evaluasi Indikator (Tahap 5–7 Pipeline SAKIP) | Mesin pencarian semantik yang sama dipakai dua sisi. Bedanya: di /ingest/telusur, AI agent belum dibekali persona asesor, sehingga jawabannya murni "temukan bagian dokumen yang relevan" tanpa penilaian SAKIP. Di /aisakip/evaluasi, retrieval yang sama dibungkus persona asesor + kriteria PermenPANRB untuk menghasilkan skor. |
Singkatnya: ingest menyiapkan bahan; Pipeline SAKIP menggunakan bahan untuk menilai. Tahap 2 ingest sekaligus jadi pijakan Layer 0 SAKIP, dan Tahap 4–5 ingest jadi fondasi seluruh tahap evaluasi.
Acuan & Kelayakan Lanjut
- Daftar dokumen wajib SAKIP yang menjadi acuan pemetaan di Tahap 2 dapat dilihat di halaman Daftar Dokumen Wajib.
- Ketentuan format teknis: berkas wajib PDF (bukan hasil scan gambar), maksimal 2,5 MB per file (mengikuti surat KemenPANRB B/103/AA.99/2025).
- Kelayakan dokumen untuk berlanjut ke evaluasi ditentukan di Tahap 3 (Pembacaan). Bila skor parsing total mencukupi, dokumen lanjut ke Tahap 4 dan akhirnya dapat ditelusuri di Tahap 5 maupun dievaluasi di Pipeline SAKIP.
Ringkasan Status Pipeline
Untuk melihat status singkat tiap tahap secara visual, buka halaman Dashboard Pipeline Ingest.