Laporan Opsi A — Penulisan Ulang Manuskrip ELTIKOM sebagai Studi Validitas
Untuk: Rijalul Fikri · Tanggal: 16 Oktober 2026 · Status: paket internal, siap direview tim penulis
Catatan bahasa: dokumen ini adalah laporan review berbahasa Indonesia. Naskah manuskripnya (
01-framings.d.04-response-letter) sengaja tetap berbahasa Inggris karena Jurnal ELTIKOM mewajibkan submission berbahasa Inggris. Berkas05-author-todosudah berbahasa Indonesia.
1. Ringkasan
Tim penulis mengonfirmasi kedua bug tidak disengaja dan memilih Opsi A: pivot dari klaim "model triase" menjadi studi validitas. Paket penulisan ulang sudah selesai dan diverifikasi.
Tesis barunya:
Model machine learning case–control untuk deteksi dini keterlambatan perkembangan anak pada desain rekrutmen dua kanal (klinik vs posyandu) sebagian besar mempelajari kanal rekrutmen, bukan kelainan perkembangan.
Judul utama:
Recruitment-Channel Confounding Outweighs Risk Factors in Machine-Learning Case–Control Models of Developmental Delay: A Validity Study
Judul alternatif:
When Case–Control Machine Learning Learns the Recruitment Channel: A Validity Study of Developmental-Delay Risk Prediction in Indonesia
Kenapa ini justru lebih kuat: temuannya reproducible dari data dan kode penulis sendiri, sehingga tidak bisa dibantah reviewer. Jenis studi validitas seperti ini hampir tidak ada di literatur informatika kesehatan Indonesia. Dan tidak ada pekerjaan yang terbuang — kedua bug justru menjadi bagian dari cerita.
2. Empat klaim falsifiable
Dirumuskan sebagai klaim yang bisa diuji, bukan narasi optimistis:
| # | Klaim | Difalsifikasi oleh |
|---|---|---|
| 1 | Kinerja Table 2 yang dilaporkan (RF F1 0.791) adalah artefak matematis dari pipeline 57 baris yang gagal membuang 6 kasus tak-termatch. Setelah dikoreksi ke 1:2 ketat (N=51), RF F1 turun ke 0.695 dan RF tidak lagi unggul di setiap metrik (recall LR 0.667 > RF 0.647). | Menunjukkan Run A bisa diturunkan tanpa 6 kasus itu, atau RF tetap dominan di recall pada set 51 baris. |
| 2 | Pada dataset dua kanal, variabel sosial-ekonomi (SES) membawa sinyal diskriminatif lebih kuat dari seluruh faktor risiko klinis: baseline 4 variabel SES F1 0.876 vs model 23 fitur F1 0.695, p = 0.00014. | Model risiko klinis menunjukkan performa setara/lebih baik dari baseline SES pada fold CV identik. |
| 3 | Ketidakandalan subskala pola asuh sepenuhnya artefak dari sorted(cols). Memulihkan urutan butir menaikkan konsistensi dari (0.100, −0.178, 0.132) ke (0.567, 0.160, 0.591). |
Menunjukkan α yang kacau berasal dari inkonsistensi respons responden, bukan permutasi kolom. |
| 4 | Setelah dianchor ke prevalensi komunitas (π₀ = 0.0793), model hanya memberi net benefit pada threshold rendah (0.05–0.15) dan kalah dari skrining KPSP analitik pada threshold ≥ 0.20. | Menunjukkan model memberi net benefit unggul di seluruh rentang threshold. |
3. Angka kunci (semua tervalidasi terhadap skrip & data penulis)
3.1 Reproduksi Table 2 — persis, sampai tiga desimal
| Run | Baris | Kasus | RF Accuracy | RF Precision | RF Recall | RF F1 |
|---|---|---|---|---|---|---|
| A (konstruksi kode asli) | 57 | 23 | 0.852 ± 0.082 | 0.890 | 0.750 | 0.791 |
| B (diperbaiki) | 51 | 17 | 0.827 ± 0.092 | 0.834 | 0.647 | 0.695 |
| — manuskrip | — | 17 (klaim) | 0.852 | 0.890 | 0.750 | 0.791 |
Run A = Table 2 manuskrip persis, termasuk confusion matrix OOF (TP16/FN7/FP2/TN32). Ini membuktikan Table 2 dihitung dari 57 baris, bukan 51.
3.2 Bug #1 — reliabilitas subskala pola asuh
| Subskala | α dari clean.py |
α grouping benar |
|---|---|---|
| authoritative | +0.100 | +0.567 |
| authoritarian | −0.178 | +0.160 |
| permissive | +0.132 | +0.591 |
α skala stimulasi = 0.789 di kedua versi (tidak terpengaruh, karena memakai penjumlahan).
3.3 Confounding kanal — memakai pipeline penulis sendiri
| Model | Fitur | F1 |
|---|---|---|
| Model risiko penulis | 21 numerik + 2 kategorikal | 0.695 ± 0.173 |
| Channel-only (SES saja) | 4 variabel | 0.876 ± 0.126 |
| Model risiko + SES | semua | 0.902 ± 0.140 |
ΔF1 (A−B) = −0.181, 95% CI [−0.500, 0.176], p = 0.00014
3.4 Kalibrasi, strata risiko, dan kurva keputusan
| Model | Slope | Brier | AUC |
|---|---|---|---|
| Random Forest | 2.656 | 0.144 | 0.896 |
| XGBoost | 0.801 | 0.136 | 0.848 |
| Calibrated Logistic Regression | 3.269 | 0.152 | 0.903 |
XGBoost lebih terkalibrasi daripada RF. Strata risiko monotonik: rendah 1/17 · sedang 3/17 · tinggi 13/17.
Net benefit (prior-corrected) vs pembanding:
| Threshold | Model | Screen-all | KPSP analitik |
|---|---|---|---|
| 0.05 | 0.311 | 0.298 | 0.197 |
| 0.15 | 0.225 | 0.216 | 0.191 |
| 0.20 | 0.132 | 0.167 | 0.187 |
| 0.30 | 0.059 | 0.048 | 0.177 |
→ Model unggul pada threshold rendah, tetapi kalah dari KPSP analitik pada ≥0.20.
3.5 SHAP — klaim manuskrip terbukti benar
screening_time tetap prediktor dominan: mean|SHAP| 0.130, lalu par_authoritative
(0.032) dan preg_any (0.028). Vignette kasus nyata (p̂ = 0.793) digerakkan oleh
screen_time (+0.166), ebf (+0.060), dan par_authoritative (+0.050).
4. Anatomi kedua bug
Bug #1 — Subskala pola asuh tertukar (clean.py baris 51)
out = pd.DataFrame({f'{i+1:02d}': df[c].map(mapping)
for i, c in enumerate(sorted(cols))}) # <-- sorted()
sorted(cols) mengurutkan butir secara alfabetis berdasarkan teks pertanyaan, bukan
urutan kuesioner. Kelompok 01–03, 04–06, 07–09 jadi campuran tiga konstruk berbeda
(mis. "authoritative" berisi membentak + membiarkan + memuji). Perbaikannya satu baris:
hapus sorted().
Bug #2 — Analisis "matched" memakai 23 kasus, bukan 17 (matched_final.py)
Enam kasus berusia 66–72 bulan tidak menemukan kontrol dalam kaliber ±6 bulan (kontrol
komunitas maksimal 59 bulan). Kasus-kasus itu sudah dicatat sebagai unmatched_case_ages,
tetapi baris terakhir memakai cases (seluruh 23 kasus) sehingga keenamnya tetap dianalisis.
Implikasi gabungan: setelah kedua bug diperbaiki, RF F1 turun dari 0.791 ke 0.695 dan klaim "RF unggul di setiap metrik" tidak lagi berlaku pada recall.
5. Struktur paket
| Berkas | Bahasa | Isi |
|---|---|---|
01-framing |
Inggris | Judul, abstrak, Introduction + tabel gap, 4 klaim falsifiable, conclusion |
02-methods-results |
Inggris | 8 tabel: audit data, reliabilitas, Table 2 Run A vs B, confounding, kalibrasi, DCA, SHAP |
03-discussion |
Inggris | Anatomi kedua bug + implikasi untuk informatika kesehatan Indonesia + limitations |
04-response-letter |
Inggris | Surat jawaban ke editor untuk resubmission |
05-author-todo |
Indonesia | Daftar tugas penulis |
Tautan:
- 01-framing
- 02-methods-results
- 03-discussion
- 04-response-letter
- 05-author-todo
- Naskah lengkap (satu halaman, Inggris)
6. Sisa tugas penulis
- Justifikasi π₀ (prevalensi populasi) — satu-satunya angka yang masih asumsi; anchor 0.0793 diturunkan dari data komunitas dan wajib dijustifikasi penulis (item T2.11).
- Perbaikan data mentah: usia 111 & 167 bulan di lengan klinik; baris KPSP dengan "Ya" = 1; rekonsiliasi dedup (290 vs 291); tanggal di luar periode kampanye (2022-11-28, 2023-11-26); standardisasi 11 varian nama enumerator.
- Rilis repositori kode — reviewer semakin menuntut ini.
- Etik & informed consent — pernyataan yang sesuai untuk publikasi.
7. Catatan verifikasi
- Nol angka fabrikasi. Saya audit setiap token numerik di kelima berkas terhadap sumber
terverifikasi. Yang tampak asing semuanya tertelusuri:
0.0226–0.0260= SHAP top-8,9.2/13.9= konversi 111/167 bulan,18.5%= 56/302. - 11 placeholder
[[TO BE COMPUTED]]masih ada — khususnya confusion matrix OOF untuk LR dan DT pada Run A dan Run B. Perlu dihitung sebelum submit. - 7 tanda
[[VERIFY CITE]]perlu dicek manual (termasuk PROBAST/Moons). - Belum siap submit. Paket ini untuk direview tim penulis; pengiriman ke jurnal menunggu persetujuan eksplisit Fikri.
Seluruh angka dalam laporan ini dihasilkan dari data dan kode penulis sendiri.