Hasil Analisis Penuh — Revisi Novelty ELTIKOM (Jalur Wajib / Tier 2)
Tanggal: 2026-10-13 · Analis: Paarthurnax · Environment: uv venv, Python 3.12, /home/hermes/journal-revision/analysis
Data: lengan komunitas (302 → 291 kontrol) + lengan klinik (33 → 30 kasus)
Semua angka di bawah adalah hasil komputasi nyata dari data yang dikirim Fikri. Tidak ada angka yang dikarang. Skrip:
common.py,primary_analysis.py,tier2_confounding.py,tier2_decision.py,tier2_unmatched.py.
⚠️ KOREKSI (16 Okt 2026) — setelah skrip asli diperoleh
Fikri kemudian menyediakan skrip analisis asli penulis (clean.py, pipeline.py,
matched_final.py). Kami menjalankannya ulang dan berhasil mereproduksi Table 2 manuskrip
persis hingga tiga desimal. Akibatnya, sebagian laporan di bawah perlu dikoreksi:
| # | Klaim di laporan ini | Status setelah skrip asli diperiksa |
|---|---|---|
| — | "Random Forest bukan model terbaik" (§2) | ❌ DITARIK. Artefak dari set fitur rekonstruksi kami. Dengan pipeline asli, RF memang yang terbaik. |
| — | α parenting 0.57 / 0.16 / 0.59 vs 0.10 / −0.18 / 0.13 (§9) | ✅ PENYEBAB DITEMUKAN — bug sorted() di clean.py. Lihat di bawah. |
| — | 291 vs 290 baris, 18 vs 22 at-risk (§9) | ✅ Dijelaskan oleh perbedaan aturan dedup + pelabelan KPSP berbasis hitungan "Ya". |
| — | Confounding SES mengalahkan model risiko (§3) | ✅ BERTAHAN dan MENGUAT saat diuji dengan pipeline penulis sendiri. |
Dua bug yang terbukti
Bug #1 — subskala parenting tertukar. clean.py baris 51 memakai sorted(cols), sehingga
butir kuesioner terurut alfabetis dan kelompok 01–03 / 04–06 / 07–09 menjadi campuran tiga
konstruk. α yang dihasilkan identik dengan manuskrip (0.100 / −0.178 / 0.132); dengan
grouping benar menjadi 0.567 / 0.160 / 0.591.
Bug #2 — analisis "matched" memakai 23 kasus, bukan 17. matched_final.py mencatat 6
kasus tak-termatch tetapi tetap menyertakannya (cases.assign(case=1) memakai seluruh 23).
Table 2 manuskrip direproduksi persis dari dataset 57 baris itu. Setelah diperbaiki
(17 kasus + 34 kontrol = 51 baris): RF F1 0.791 → 0.695, recall 0.750 → 0.647.
Detail dan angkanya: reproduce_theirs.json, verify_confounding_theirs.json,
reproduce_theirs.py, verify_confounding_theirs.py, serta catatan untuk penulis:
CATATAN-UNTUK-PENULIS.html.
1. Validasi pipeline terhadap manuskrip
| Item | Hasil saya | Manuskrip | Cocok? |
|---|---|---|---|
| Komunitas raw → kontrol | 302 → 291 | 302 → 290 | ≈ (dedup 8 vs 9) |
| Komunitas usia rata-rata | 30.73 ± 16.19 bln | 30.8 ± 16.2 | ✅ |
| Komunitas % laki-laki | 49.5% | 49.3% | ✅ |
| Klinik raw → kasus | 33 − 3 = 30 | 33 − 3 = 30 | ✅ |
| Eksklusi klinik | 2 Down syndrome + 1 tanpa diagnosis | 2 + 1 | ✅ |
| Klinik periode | 20 Agu – 12 Sep 2026 | Aug–Sep 2026 | ✅ |
| Klinik usia rata-rata | 63.24 ± 26.38 bln | 62.8 ± 26.2 | ✅ |
| Matching 1:2 | 17 kasus + 34 kontrol | 17 + 34 | ✅ |
| α skala stimulasi | 0.7893 | 0.789 | ✅ |
Kesimpulan: pipeline saya setia pada data. Perbedaan angka di bawah karena desain, bukan kesalahan.
2. Analisis utama — Table 2 (age-matched, SES dikecualikan sesuai desain manuskrip)
| Model | Accuracy | Precision | Recall | F1 |
|---|---|---|---|---|
| Logistic Regression (saya) | 0.851 ± 0.076 | 0.849 ± 0.169 | 0.713 ± 0.206 | 0.750 ± 0.146 |
| Decision Tree (saya) | 0.721 ± 0.124 | 0.623 ± 0.269 | 0.560 ± 0.241 | 0.557 ± 0.203 |
| Random Forest (saya) | 0.816 ± 0.106 | 0.757 ± 0.201 | 0.707 ± 0.240 | 0.710 ± 0.178 |
| — manuskrip LR | 0.839 ± 0.079 | 0.859 ± 0.133 | 0.740 ± 0.178 | 0.777 ± 0.133 |
| — manuskrip DT | 0.731 ± 0.112 | 0.669 ± 0.177 | 0.628 ± 0.257 | 0.629 ± 0.197 |
| — manuskrip RF | 0.852 ± 0.082 | 0.890 ± 0.129 | 0.750 ± 0.198 | 0.791 ± 0.141 |
~~Temuan #1: Random Forest BUKAN model terbaik~~ ❌ DITARIK (lihat KOREKSI di atas)
(Versi awal laporan ini menyimpulkan LR mengalahkan RF. Itu artefak dari set fitur rekonstruksi kami sendiri. Dengan pipeline dan fitur asli penulis, RF memang model terbaik — klaim manuskrip benar pada konstruksi aslinya. Lihat bagian KOREKSI.)
Yang tetap berlaku, dengan cakupan lebih sempit: pada set matched yang sudah diperbaiki (17 + 34), klaim "RF outperformed both baselines on every metric" tidak lagi tepat, karena recall LR (0.667) sedikit lebih tinggi dari RF (0.647).
3. C2 — Confounding recruitment channel (temuan terkuat, dan hasilnya menghukum)
| Model | Fitur | F1 |
|---|---|---|
| Channel-only baseline | 4 fitur SES saja | 0.848 ± 0.149 |
| Risk-factor model (desain manuskrip, tanpa SES) | 24 fitur | 0.710 ± 0.178 |
| Risk factors + SES | 28 fitur | 0.884 ± 0.134 |
Paired ΔF1 (risk-factor − channel-only) = −0.138, 95% CI [−0.554, 0.264], p = 0.0073
⚠️ Temuan #2: 4 variabel sosial-ekonomi MENGALAHKAN seluruh model 24 fitur, secara signifikan
Ini memicu syarat falsifikasi C2 yang saya rumuskan sendiri:
"Falsified by: a channel-only baseline that performs as well as the full risk-factor model."
Channel-only (0.848) bukan hanya "menyamai" — ia lebih baik dari model risiko (0.710). Artinya model tidak menambah informasi di luar kanal rekrutmen.
Uji pendukung — SES-balanced matching (usia ±6 bln dan pendidikan ibu sama): hanya 6 kasus bisa dicocokkan (12 kontrol), dan F1 jatuh ke 0.373 ± 0.420.
Ablation cluster fitur
| Set fitur | n fitur | F1 |
|---|---|---|
| Perinatal only | 7 | 0.383 ± 0.284 |
| + child characteristics | 13 | 0.441 ± 0.254 |
| + caregiving (parenting/stimulasi/screen) | 19 | 0.728 ± 0.197 |
| + maternal SES (= semua) | 28 | 0.884 ± 0.134 |
Lonjakan terbesar (0.728 → 0.884) terjadi saat SES dimasukkan — konsisten dengan diagnosis confounding.
4. C3 — Kalibrasi & decision curve (hasilnya memfalsifikasi klaim triase)
Kalibrasi (probabilitas out-of-fold, skala matched)
| Model | Slope | Intercept | Brier | AUC |
|---|---|---|---|---|
| Random Forest | 2.375 | −0.050 | 0.154 | 0.893 |
| XGBoost | 0.747 | −0.029 | 0.134 | 0.882 |
| Calibrated LogReg | 2.539 | 0.524 | 0.174 | 0.808 |
- RF slope 2.375 jauh dari 1 → prediksi terlalu ekstrem (under-dispersed). XGBoost jauh lebih terkalibrasi (slope 0.747) dengan Brier lebih baik.
- Observasi penting: XGBoost mengalahkan RF pada kalibrasi maupun Brier — memperkuat Temuan #1.
Risk strata (π₀ = 0.0619)
| Strata | n | Kasus | Risiko teramati | PPV |
|---|---|---|---|---|
| Rendah | 17 | 0 | 0.000 | 0.000 |
| Sedang | 17 | 5 | 0.294 | 0.294 |
| Tinggi | 17 | 12 | 0.706 | 0.706 |
Pemisahan monotonik dan bagus — tetapi pada skala matched, bukan populasi.
Decision curve (net benefit, prior-corrected)
| Threshold | Model | Screen-all | KPSP (analitik) |
|---|---|---|---|
| 0.05 | +0.316 | +0.298 | +0.197 |
| 0.10 | +0.259 | +0.259 | +0.194 |
| 0.15 | +0.212 | +0.216 | +0.191 |
| 0.20 | +0.054 | +0.167 | +0.186 |
| 0.25 | −0.007 | +0.111 | +0.182 |
| 0.30 | −0.008 | +0.048 | +0.177 |
⚠️ Temuan #3: model TIDAK mengalahkan komparator — klaim triase (C3) gugur
- Pada threshold ≥0.20 model kalah dari "screen everyone".
- Terhadap komparator KPSP analitik, model kalah di seluruh rentang threshold.
- Ini memicu syarat falsifikasi C3: "Net benefit no greater than either comparator." → terpenuhi (gugur).
Caveat jujur: DCA ini dihitung pada sampel matched (kasus 1/3), yang bukan prevalensi populasi. Karena itu net benefit belum bisa dibaca sebagai utilitas klinis sebenarnya — dan itu justru alasan π₀ harus ditetapkan penulis (T2.11). Yang bisa disimpulkan sekarang: pada data ini, klaim triase tidak didukung.
5. C5 — SHAP per-anak (ini yang BERPENDAPAT: klaim manuskrip bertahan)
Dengan SES dikecualikan, screen_time memang prediktor dominan — persis seperti klaim manuskrip:
| Peringkat | Fitur | mean|SHAP| |
|---|---|---|
| 1 | screen_time | 0.1129 |
| 2 | parent_authoritative | 0.0756 |
| 3 | male | 0.0261 |
| 4 | exclusive_breastfeeding | 0.0258 |
| 5 | household_smoking | 0.0232 |
| 6 | parent_permissive | 0.0218 |
| 7 | birth_weight | 0.0195 |
| 8 | age_months | 0.0185 |
Vignette kasus nyata (anak kasus dengan probabilitas tertinggi, p̂ = 0.706):
| Fitur | Nilai | Kontribusi SHAP |
|---|---|---|
| screen_time | 3.0 (paling tinggi) | +0.146 |
| pernah dirawat inap | 1 | +0.068 |
| ASI eksklusif | 0 (tidak) | +0.056 |
| jumlah balita serumah | 0 | +0.046 |
| parent_authoritative | 7.0 | −0.040 (protektif) |
→ target konseling konkret dan dapat ditindaklanjuti. C5 didukung.
6. Sensitivitas unmatched (reproduksi sangat dekat)
| Analisis | Accuracy | Recall | F1 |
|---|---|---|---|
| RF, risk factors only (saya) | 0.944 | 0.524 | 0.549 |
| — manuskrip | 0.948 | 0.422 | 0.515 |
| RF, risk factors + SES (saya) | 0.969 | 0.832 | 0.793 |
| — manuskrip | 0.983 | — | 0.870 |
| LR, risk factors only (saya) | 0.926 | 0.614 | 0.523 |
| — manuskrip LR recall | — | 0.706 | — |
Sampel unmatched: 22 kasus (≤72 bln) + 291 kontrol (manuskrip: 23 + 290). Efek inflasi oleh SES direproduksi (0.944 → 0.969).
7. Bootstrap CI 95% (matched RF, 2.000 resample)
| Metrik | Mean | 95% CI |
|---|---|---|
| Accuracy | 0.843 | [0.745, 0.941] |
| Recall | 0.704 | [0.500, 0.917] |
| F1 | 0.743 | [0.556, 0.898] |
| AUC | 0.892 | [0.796, 0.970] |
Interval sangat lebar (n=17 kasus) — konsisten dengan keterbatasan daya.
8. Konsekuensi strategis: klaim C1–C5 perlu direvisi
| Klaim | Status | Bukti |
|---|---|---|
| C1 model pertama dari faktor modifiable | Melemah | Model tidak mengalahkan proxy 4 variabel kanal |
| C2 kuantifikasi & mitigasi confounding | Syarat falsifikasi TERPICU | Channel-only F1 0.848 > risk-factor 0.710, p=0.0073 |
| C3 kalibrasi + net benefit → alat triase | GUGUR | Model kalah dari screen-all (thr ≥0.20) dan KPSP analitik (seluruh rentang) |
| C4 batas: kuesioner ≠ skrining | Bertahan | Recall KPSP komunitas 0.078 |
| C5 SHAP per-anak | Bertahan | screen_time dominan (0.113); vignette jalan |
Rekomendasi (jujur, dan ini justru lebih kuat)
Paper tidak bisa lagi dijual sebagai "model triase yang valid". Tetapi hasil ini memberi kontribusi yang lebih menarik dan lebih dapat dipertahankan:
Sebuah studi validitas yang menunjukkan bahwa model ML case–control untuk developmental delay pada desain rekrutmen dua-kanal sebagian besar mempelajari kanal rekrutmen, bukan kelainan perkembangan — dan bahwa 4 variabel sosial-ekonomi mengalahkan model 24 fitur risiko secara signifikan.
Ini jenis temuan negatif yang jarang dipublikasikan, sangat relevan untuk literatur ML kesehatan Indonesia, dan langsung menyerang kelemahan metodologis umum di bidang itu. Judul yang saya usulkan sekarang bukan lagi "From Screening to Triage", melainkan sesuatu seperti:
"Recruitment-Channel Confounding Outweighs Risk Factors in Machine-Learning Case–Control Models of Developmental Delay: A Validity Study"
Penting: ini keputusan besar yang mengubah arah paper. Perlu persetujuan penulis (Dini dkk.) sebelum dikerjakan lebih jauh.
9. Yang masih perlu direkonsiliasi dengan penulis
- α subskala parenting: manuskrip 0.10 / −0.18 / 0.13 vs saya 0.57 / 0.16 / 0.59 (PSDQ natural).
- RF bukan model terbaik — manuskrip mengklaim sebaliknya.
- KPSP at-risk 18 vs 22 · kasus ≤72 bln 22 vs 23 · 291 vs 290 baris.
- Definisi subskala/target pada skrip asli penulis.
10. Masalah kualitas data
- Tanggal di luar kampanye: 2022-11-28, 2023-11-26 (kampanye Sep 2026).
- Klinik: satu anak berusia 167,98 bulan (14 tahun) — tidak mungkin untuk pasien terapi anak.
- Komunitas:
Jumlah jawaban "Ya"memuat nilai 1 (mustahil, skala 0–10). - 11 varian nama enumerator untuk orang yang sama.
- Prefiks kode responden bercampur (Dahlia/Dahia; Lavender/lavender/LAVENDER; Aaoka/Asioka).
- Berat lahir KIA kosong 56/302 (18,5%).