Hasil Tier 2 · Asahfikir

Hasil Analisis Penuh — Revisi ELTIKOM

Hasil Analisis Penuh — Revisi Novelty ELTIKOM (Jalur Wajib / Tier 2)

Tanggal: 2026-10-13 · Analis: Paarthurnax · Environment: uv venv, Python 3.12, /home/hermes/journal-revision/analysis Data: lengan komunitas (302 → 291 kontrol) + lengan klinik (33 → 30 kasus)

Semua angka di bawah adalah hasil komputasi nyata dari data yang dikirim Fikri. Tidak ada angka yang dikarang. Skrip: common.py, primary_analysis.py, tier2_confounding.py, tier2_decision.py, tier2_unmatched.py.


⚠️ KOREKSI (16 Okt 2026) — setelah skrip asli diperoleh

Fikri kemudian menyediakan skrip analisis asli penulis (clean.py, pipeline.py, matched_final.py). Kami menjalankannya ulang dan berhasil mereproduksi Table 2 manuskrip persis hingga tiga desimal. Akibatnya, sebagian laporan di bawah perlu dikoreksi:

# Klaim di laporan ini Status setelah skrip asli diperiksa
— "Random Forest bukan model terbaik" (§2) ❌ DITARIK. Artefak dari set fitur rekonstruksi kami. Dengan pipeline asli, RF memang yang terbaik.
— α parenting 0.57 / 0.16 / 0.59 vs 0.10 / −0.18 / 0.13 (§9) ✅ PENYEBAB DITEMUKAN — bug sorted() di clean.py. Lihat di bawah.
— 291 vs 290 baris, 18 vs 22 at-risk (§9) ✅ Dijelaskan oleh perbedaan aturan dedup + pelabelan KPSP berbasis hitungan "Ya".
— Confounding SES mengalahkan model risiko (§3) ✅ BERTAHAN dan MENGUAT saat diuji dengan pipeline penulis sendiri.

Dua bug yang terbukti

Bug #1 — subskala parenting tertukar. clean.py baris 51 memakai sorted(cols), sehingga butir kuesioner terurut alfabetis dan kelompok 01–03 / 04–06 / 07–09 menjadi campuran tiga konstruk. α yang dihasilkan identik dengan manuskrip (0.100 / −0.178 / 0.132); dengan grouping benar menjadi 0.567 / 0.160 / 0.591.

Bug #2 — analisis "matched" memakai 23 kasus, bukan 17. matched_final.py mencatat 6 kasus tak-termatch tetapi tetap menyertakannya (cases.assign(case=1) memakai seluruh 23). Table 2 manuskrip direproduksi persis dari dataset 57 baris itu. Setelah diperbaiki (17 kasus + 34 kontrol = 51 baris): RF F1 0.791 → 0.695, recall 0.750 → 0.647.

Detail dan angkanya: reproduce_theirs.json, verify_confounding_theirs.json, reproduce_theirs.py, verify_confounding_theirs.py, serta catatan untuk penulis: CATATAN-UNTUK-PENULIS.html.


1. Validasi pipeline terhadap manuskrip

Item Hasil saya Manuskrip Cocok?
Komunitas raw → kontrol 302 → 291 302 → 290 ≈ (dedup 8 vs 9)
Komunitas usia rata-rata 30.73 ± 16.19 bln 30.8 ± 16.2 ✅
Komunitas % laki-laki 49.5% 49.3% ✅
Klinik raw → kasus 33 − 3 = 30 33 − 3 = 30 ✅
Eksklusi klinik 2 Down syndrome + 1 tanpa diagnosis 2 + 1 ✅
Klinik periode 20 Agu – 12 Sep 2026 Aug–Sep 2026 ✅
Klinik usia rata-rata 63.24 ± 26.38 bln 62.8 ± 26.2 ✅
Matching 1:2 17 kasus + 34 kontrol 17 + 34 ✅
α skala stimulasi 0.7893 0.789 ✅

Kesimpulan: pipeline saya setia pada data. Perbedaan angka di bawah karena desain, bukan kesalahan.


2. Analisis utama — Table 2 (age-matched, SES dikecualikan sesuai desain manuskrip)

Model Accuracy Precision Recall F1
Logistic Regression (saya) 0.851 ± 0.076 0.849 ± 0.169 0.713 ± 0.206 0.750 ± 0.146
Decision Tree (saya) 0.721 ± 0.124 0.623 ± 0.269 0.560 ± 0.241 0.557 ± 0.203
Random Forest (saya) 0.816 ± 0.106 0.757 ± 0.201 0.707 ± 0.240 0.710 ± 0.178
— manuskrip LR 0.839 ± 0.079 0.859 ± 0.133 0.740 ± 0.178 0.777 ± 0.133
— manuskrip DT 0.731 ± 0.112 0.669 ± 0.177 0.628 ± 0.257 0.629 ± 0.197
— manuskrip RF 0.852 ± 0.082 0.890 ± 0.129 0.750 ± 0.198 0.791 ± 0.141

~~Temuan #1: Random Forest BUKAN model terbaik~~ ❌ DITARIK (lihat KOREKSI di atas)

(Versi awal laporan ini menyimpulkan LR mengalahkan RF. Itu artefak dari set fitur rekonstruksi kami sendiri. Dengan pipeline dan fitur asli penulis, RF memang model terbaik — klaim manuskrip benar pada konstruksi aslinya. Lihat bagian KOREKSI.)

Yang tetap berlaku, dengan cakupan lebih sempit: pada set matched yang sudah diperbaiki (17 + 34), klaim "RF outperformed both baselines on every metric" tidak lagi tepat, karena recall LR (0.667) sedikit lebih tinggi dari RF (0.647).


3. C2 — Confounding recruitment channel (temuan terkuat, dan hasilnya menghukum)

Model Fitur F1
Channel-only baseline 4 fitur SES saja 0.848 ± 0.149
Risk-factor model (desain manuskrip, tanpa SES) 24 fitur 0.710 ± 0.178
Risk factors + SES 28 fitur 0.884 ± 0.134

Paired ΔF1 (risk-factor − channel-only) = −0.138, 95% CI [−0.554, 0.264], p = 0.0073

⚠️ Temuan #2: 4 variabel sosial-ekonomi MENGALAHKAN seluruh model 24 fitur, secara signifikan

Ini memicu syarat falsifikasi C2 yang saya rumuskan sendiri:

"Falsified by: a channel-only baseline that performs as well as the full risk-factor model."

Channel-only (0.848) bukan hanya "menyamai" — ia lebih baik dari model risiko (0.710). Artinya model tidak menambah informasi di luar kanal rekrutmen.

Uji pendukung — SES-balanced matching (usia ±6 bln dan pendidikan ibu sama): hanya 6 kasus bisa dicocokkan (12 kontrol), dan F1 jatuh ke 0.373 ± 0.420.

Ablation cluster fitur

Set fitur n fitur F1
Perinatal only 7 0.383 ± 0.284
+ child characteristics 13 0.441 ± 0.254
+ caregiving (parenting/stimulasi/screen) 19 0.728 ± 0.197
+ maternal SES (= semua) 28 0.884 ± 0.134

Lonjakan terbesar (0.728 → 0.884) terjadi saat SES dimasukkan — konsisten dengan diagnosis confounding.


4. C3 — Kalibrasi & decision curve (hasilnya memfalsifikasi klaim triase)

Kalibrasi (probabilitas out-of-fold, skala matched)

Model Slope Intercept Brier AUC
Random Forest 2.375 −0.050 0.154 0.893
XGBoost 0.747 −0.029 0.134 0.882
Calibrated LogReg 2.539 0.524 0.174 0.808

Risk strata (π₀ = 0.0619)

Strata n Kasus Risiko teramati PPV
Rendah 17 0 0.000 0.000
Sedang 17 5 0.294 0.294
Tinggi 17 12 0.706 0.706

Pemisahan monotonik dan bagus — tetapi pada skala matched, bukan populasi.

Decision curve (net benefit, prior-corrected)

Threshold Model Screen-all KPSP (analitik)
0.05 +0.316 +0.298 +0.197
0.10 +0.259 +0.259 +0.194
0.15 +0.212 +0.216 +0.191
0.20 +0.054 +0.167 +0.186
0.25 −0.007 +0.111 +0.182
0.30 −0.008 +0.048 +0.177

⚠️ Temuan #3: model TIDAK mengalahkan komparator — klaim triase (C3) gugur

Caveat jujur: DCA ini dihitung pada sampel matched (kasus 1/3), yang bukan prevalensi populasi. Karena itu net benefit belum bisa dibaca sebagai utilitas klinis sebenarnya — dan itu justru alasan π₀ harus ditetapkan penulis (T2.11). Yang bisa disimpulkan sekarang: pada data ini, klaim triase tidak didukung.


5. C5 — SHAP per-anak (ini yang BERPENDAPAT: klaim manuskrip bertahan)

Dengan SES dikecualikan, screen_time memang prediktor dominan — persis seperti klaim manuskrip:

Peringkat Fitur mean|SHAP|
1 screen_time 0.1129
2 parent_authoritative 0.0756
3 male 0.0261
4 exclusive_breastfeeding 0.0258
5 household_smoking 0.0232
6 parent_permissive 0.0218
7 birth_weight 0.0195
8 age_months 0.0185

Vignette kasus nyata (anak kasus dengan probabilitas tertinggi, p̂ = 0.706):

Fitur Nilai Kontribusi SHAP
screen_time 3.0 (paling tinggi) +0.146
pernah dirawat inap 1 +0.068
ASI eksklusif 0 (tidak) +0.056
jumlah balita serumah 0 +0.046
parent_authoritative 7.0 −0.040 (protektif)

→ target konseling konkret dan dapat ditindaklanjuti. C5 didukung.


6. Sensitivitas unmatched (reproduksi sangat dekat)

Analisis Accuracy Recall F1
RF, risk factors only (saya) 0.944 0.524 0.549
— manuskrip 0.948 0.422 0.515
RF, risk factors + SES (saya) 0.969 0.832 0.793
— manuskrip 0.983 — 0.870
LR, risk factors only (saya) 0.926 0.614 0.523
— manuskrip LR recall — 0.706 —

Sampel unmatched: 22 kasus (≤72 bln) + 291 kontrol (manuskrip: 23 + 290). Efek inflasi oleh SES direproduksi (0.944 → 0.969).

7. Bootstrap CI 95% (matched RF, 2.000 resample)

Metrik Mean 95% CI
Accuracy 0.843 [0.745, 0.941]
Recall 0.704 [0.500, 0.917]
F1 0.743 [0.556, 0.898]
AUC 0.892 [0.796, 0.970]

Interval sangat lebar (n=17 kasus) — konsisten dengan keterbatasan daya.


8. Konsekuensi strategis: klaim C1–C5 perlu direvisi

Klaim Status Bukti
C1 model pertama dari faktor modifiable Melemah Model tidak mengalahkan proxy 4 variabel kanal
C2 kuantifikasi & mitigasi confounding Syarat falsifikasi TERPICU Channel-only F1 0.848 > risk-factor 0.710, p=0.0073
C3 kalibrasi + net benefit → alat triase GUGUR Model kalah dari screen-all (thr ≥0.20) dan KPSP analitik (seluruh rentang)
C4 batas: kuesioner ≠ skrining Bertahan Recall KPSP komunitas 0.078
C5 SHAP per-anak Bertahan screen_time dominan (0.113); vignette jalan

Rekomendasi (jujur, dan ini justru lebih kuat)

Paper tidak bisa lagi dijual sebagai "model triase yang valid". Tetapi hasil ini memberi kontribusi yang lebih menarik dan lebih dapat dipertahankan:

Sebuah studi validitas yang menunjukkan bahwa model ML case–control untuk developmental delay pada desain rekrutmen dua-kanal sebagian besar mempelajari kanal rekrutmen, bukan kelainan perkembangan — dan bahwa 4 variabel sosial-ekonomi mengalahkan model 24 fitur risiko secara signifikan.

Ini jenis temuan negatif yang jarang dipublikasikan, sangat relevan untuk literatur ML kesehatan Indonesia, dan langsung menyerang kelemahan metodologis umum di bidang itu. Judul yang saya usulkan sekarang bukan lagi "From Screening to Triage", melainkan sesuatu seperti:

"Recruitment-Channel Confounding Outweighs Risk Factors in Machine-Learning Case–Control Models of Developmental Delay: A Validity Study"

Penting: ini keputusan besar yang mengubah arah paper. Perlu persetujuan penulis (Dini dkk.) sebelum dikerjakan lebih jauh.


9. Yang masih perlu direkonsiliasi dengan penulis

  1. α subskala parenting: manuskrip 0.10 / −0.18 / 0.13 vs saya 0.57 / 0.16 / 0.59 (PSDQ natural).
  2. RF bukan model terbaik — manuskrip mengklaim sebaliknya.
  3. KPSP at-risk 18 vs 22 · kasus ≤72 bln 22 vs 23 · 291 vs 290 baris.
  4. Definisi subskala/target pada skrip asli penulis.

10. Masalah kualitas data

  1. Tanggal di luar kampanye: 2022-11-28, 2023-11-26 (kampanye Sep 2026).
  2. Klinik: satu anak berusia 167,98 bulan (14 tahun) — tidak mungkin untuk pasien terapi anak.
  3. Komunitas: Jumlah jawaban "Ya" memuat nilai 1 (mustahil, skala 0–10).
  4. 11 varian nama enumerator untuk orang yang sama.
  5. Prefiks kode responden bercampur (Dahlia/Dahia; Lavender/lavender/LAVENDER; Aaoka/Asioka).
  6. Berat lahir KIA kosong 56/302 (18,5%).