Ringkasan review · Asahfikir

Laporan Opsi A — Studi Validitas ELTIKOM

Laporan Opsi A — Penulisan Ulang Manuskrip ELTIKOM sebagai Studi Validitas

Untuk: Rijalul Fikri · Tanggal: 16 Oktober 2026 · Status: paket internal, siap direview tim penulis

Catatan bahasa: dokumen ini adalah laporan review berbahasa Indonesia. Naskah manuskripnya (01-framing s.d. 04-response-letter) sengaja tetap berbahasa Inggris karena Jurnal ELTIKOM mewajibkan submission berbahasa Inggris. Berkas 05-author-todo sudah berbahasa Indonesia.


1. Ringkasan

Tim penulis mengonfirmasi kedua bug tidak disengaja dan memilih Opsi A: pivot dari klaim "model triase" menjadi studi validitas. Paket penulisan ulang sudah selesai dan diverifikasi.

Tesis barunya:

Model machine learning case–control untuk deteksi dini keterlambatan perkembangan anak pada desain rekrutmen dua kanal (klinik vs posyandu) sebagian besar mempelajari kanal rekrutmen, bukan kelainan perkembangan.

Judul utama:

Recruitment-Channel Confounding Outweighs Risk Factors in Machine-Learning Case–Control Models of Developmental Delay: A Validity Study

Judul alternatif:

When Case–Control Machine Learning Learns the Recruitment Channel: A Validity Study of Developmental-Delay Risk Prediction in Indonesia

Kenapa ini justru lebih kuat: temuannya reproducible dari data dan kode penulis sendiri, sehingga tidak bisa dibantah reviewer. Jenis studi validitas seperti ini hampir tidak ada di literatur informatika kesehatan Indonesia. Dan tidak ada pekerjaan yang terbuang — kedua bug justru menjadi bagian dari cerita.


2. Empat klaim falsifiable

Dirumuskan sebagai klaim yang bisa diuji, bukan narasi optimistis:

# Klaim Difalsifikasi oleh
1 Kinerja Table 2 yang dilaporkan (RF F1 0.791) adalah artefak matematis dari pipeline 57 baris yang gagal membuang 6 kasus tak-termatch. Setelah dikoreksi ke 1:2 ketat (N=51), RF F1 turun ke 0.695 dan RF tidak lagi unggul di setiap metrik (recall LR 0.667 > RF 0.647). Menunjukkan Run A bisa diturunkan tanpa 6 kasus itu, atau RF tetap dominan di recall pada set 51 baris.
2 Pada dataset dua kanal, variabel sosial-ekonomi (SES) membawa sinyal diskriminatif lebih kuat dari seluruh faktor risiko klinis: baseline 4 variabel SES F1 0.876 vs model 23 fitur F1 0.695, p = 0.00014. Model risiko klinis menunjukkan performa setara/lebih baik dari baseline SES pada fold CV identik.
3 Ketidakandalan subskala pola asuh sepenuhnya artefak dari sorted(cols). Memulihkan urutan butir menaikkan konsistensi dari (0.100, −0.178, 0.132) ke (0.567, 0.160, 0.591). Menunjukkan α yang kacau berasal dari inkonsistensi respons responden, bukan permutasi kolom.
4 Setelah dianchor ke prevalensi komunitas (π₀ = 0.0793), model hanya memberi net benefit pada threshold rendah (0.05–0.15) dan kalah dari skrining KPSP analitik pada threshold ≥ 0.20. Menunjukkan model memberi net benefit unggul di seluruh rentang threshold.

3. Angka kunci (semua tervalidasi terhadap skrip & data penulis)

3.1 Reproduksi Table 2 — persis, sampai tiga desimal

Run Baris Kasus RF Accuracy RF Precision RF Recall RF F1
A (konstruksi kode asli) 57 23 0.852 ± 0.082 0.890 0.750 0.791
B (diperbaiki) 51 17 0.827 ± 0.092 0.834 0.647 0.695
— manuskrip — 17 (klaim) 0.852 0.890 0.750 0.791

Run A = Table 2 manuskrip persis, termasuk confusion matrix OOF (TP16/FN7/FP2/TN32). Ini membuktikan Table 2 dihitung dari 57 baris, bukan 51.

3.2 Bug #1 — reliabilitas subskala pola asuh

Subskala α dari clean.py α grouping benar
authoritative +0.100 +0.567
authoritarian −0.178 +0.160
permissive +0.132 +0.591

α skala stimulasi = 0.789 di kedua versi (tidak terpengaruh, karena memakai penjumlahan).

3.3 Confounding kanal — memakai pipeline penulis sendiri

Model Fitur F1
Model risiko penulis 21 numerik + 2 kategorikal 0.695 ± 0.173
Channel-only (SES saja) 4 variabel 0.876 ± 0.126
Model risiko + SES semua 0.902 ± 0.140

ΔF1 (A−B) = −0.181, 95% CI [−0.500, 0.176], p = 0.00014

3.4 Kalibrasi, strata risiko, dan kurva keputusan

Model Slope Brier AUC
Random Forest 2.656 0.144 0.896
XGBoost 0.801 0.136 0.848
Calibrated Logistic Regression 3.269 0.152 0.903

XGBoost lebih terkalibrasi daripada RF. Strata risiko monotonik: rendah 1/17 · sedang 3/17 · tinggi 13/17.

Net benefit (prior-corrected) vs pembanding:

Threshold Model Screen-all KPSP analitik
0.05 0.311 0.298 0.197
0.15 0.225 0.216 0.191
0.20 0.132 0.167 0.187
0.30 0.059 0.048 0.177

→ Model unggul pada threshold rendah, tetapi kalah dari KPSP analitik pada ≥0.20.

3.5 SHAP — klaim manuskrip terbukti benar

screening_time tetap prediktor dominan: mean|SHAP| 0.130, lalu par_authoritative (0.032) dan preg_any (0.028). Vignette kasus nyata (p̂ = 0.793) digerakkan oleh screen_time (+0.166), ebf (+0.060), dan par_authoritative (+0.050).


4. Anatomi kedua bug

Bug #1 — Subskala pola asuh tertukar (clean.py baris 51)

out = pd.DataFrame({f'{i+1:02d}': df[c].map(mapping)
                    for i, c in enumerate(sorted(cols))})   # <-- sorted()

sorted(cols) mengurutkan butir secara alfabetis berdasarkan teks pertanyaan, bukan urutan kuesioner. Kelompok 01–03, 04–06, 07–09 jadi campuran tiga konstruk berbeda (mis. "authoritative" berisi membentak + membiarkan + memuji). Perbaikannya satu baris: hapus sorted().

Bug #2 — Analisis "matched" memakai 23 kasus, bukan 17 (matched_final.py)

Enam kasus berusia 66–72 bulan tidak menemukan kontrol dalam kaliber ±6 bulan (kontrol komunitas maksimal 59 bulan). Kasus-kasus itu sudah dicatat sebagai unmatched_case_ages, tetapi baris terakhir memakai cases (seluruh 23 kasus) sehingga keenamnya tetap dianalisis.

Implikasi gabungan: setelah kedua bug diperbaiki, RF F1 turun dari 0.791 ke 0.695 dan klaim "RF unggul di setiap metrik" tidak lagi berlaku pada recall.


5. Struktur paket

Berkas Bahasa Isi
01-framing Inggris Judul, abstrak, Introduction + tabel gap, 4 klaim falsifiable, conclusion
02-methods-results Inggris 8 tabel: audit data, reliabilitas, Table 2 Run A vs B, confounding, kalibrasi, DCA, SHAP
03-discussion Inggris Anatomi kedua bug + implikasi untuk informatika kesehatan Indonesia + limitations
04-response-letter Inggris Surat jawaban ke editor untuk resubmission
05-author-todo Indonesia Daftar tugas penulis

Tautan:


6. Sisa tugas penulis

  1. Justifikasi π₀ (prevalensi populasi) — satu-satunya angka yang masih asumsi; anchor 0.0793 diturunkan dari data komunitas dan wajib dijustifikasi penulis (item T2.11).
  2. Perbaikan data mentah: usia 111 & 167 bulan di lengan klinik; baris KPSP dengan "Ya" = 1; rekonsiliasi dedup (290 vs 291); tanggal di luar periode kampanye (2022-11-28, 2023-11-26); standardisasi 11 varian nama enumerator.
  3. Rilis repositori kode — reviewer semakin menuntut ini.
  4. Etik & informed consent — pernyataan yang sesuai untuk publikasi.

7. Catatan verifikasi


Seluruh angka dalam laporan ini dihasilkan dari data dan kode penulis sendiri.