# Hasil Analisis Penuh — Revisi Novelty ELTIKOM (Jalur Wajib / Tier 2)

Tanggal: 2026-10-13 · Analis: Paarthurnax · Environment: uv venv, Python 3.12, `/home/hermes/journal-revision/analysis`
Data: lengan komunitas (302 → 291 kontrol) + lengan klinik (33 → 30 kasus)

> **Semua angka di bawah adalah hasil komputasi nyata dari data yang dikirim Fikri.**
> Tidak ada angka yang dikarang. Skrip: `common.py`, `primary_analysis.py`,
> `tier2_confounding.py`, `tier2_decision.py`, `tier2_unmatched.py`.

---

## ⚠️ KOREKSI (16 Okt 2026) — setelah skrip asli diperoleh

Fikri kemudian menyediakan **skrip analisis asli penulis** (`clean.py`, `pipeline.py`,
`matched_final.py`). Kami menjalankannya ulang dan **berhasil mereproduksi Table 2 manuskrip
persis hingga tiga desimal**. Akibatnya, sebagian laporan di bawah perlu dikoreksi:

| # | Klaim di laporan ini | Status setelah skrip asli diperiksa |
|---|---|---|
| — | "Random Forest bukan model terbaik" (§2) | ❌ **DITARIK.** Artefak dari set fitur rekonstruksi kami. Dengan pipeline asli, RF memang yang terbaik. |
| — | α parenting 0.57 / 0.16 / 0.59 vs 0.10 / −0.18 / 0.13 (§9) | ✅ **PENYEBAB DITEMUKAN** — bug `sorted()` di `clean.py`. Lihat di bawah. |
| — | 291 vs 290 baris, 18 vs 22 at-risk (§9) | ✅ Dijelaskan oleh perbedaan aturan dedup + pelabelan KPSP berbasis hitungan "Ya". |
| — | Confounding SES mengalahkan model risiko (§3) | ✅ **BERTAHAN dan MENGUAT** saat diuji dengan pipeline penulis sendiri. |

### Dua bug yang terbukti

**Bug #1 — subskala parenting tertukar.** `clean.py` baris 51 memakai `sorted(cols)`, sehingga
butir kuesioner terurut alfabetis dan kelompok `01–03 / 04–06 / 07–09` menjadi campuran tiga
konstruk. α yang dihasilkan **identik** dengan manuskrip (0.100 / −0.178 / 0.132); dengan
grouping benar menjadi **0.567 / 0.160 / 0.591**.

**Bug #2 — analisis "matched" memakai 23 kasus, bukan 17.** `matched_final.py` mencatat 6
kasus tak-termatch tetapi tetap menyertakannya (`cases.assign(case=1)` memakai seluruh 23).
Table 2 manuskrip **direproduksi persis** dari dataset 57 baris itu. Setelah diperbaiki
(17 kasus + 34 kontrol = 51 baris): RF F1 **0.791 → 0.695**, recall **0.750 → 0.647**.

Detail dan angkanya: `reproduce_theirs.json`, `verify_confounding_theirs.json`,
`reproduce_theirs.py`, `verify_confounding_theirs.py`, serta catatan untuk penulis:
`CATATAN-UNTUK-PENULIS.html`.

---

## 1. Validasi pipeline terhadap manuskrip

| Item | Hasil saya | Manuskrip | Cocok? |
|---|---|---|---|
| Komunitas raw → kontrol | 302 → **291** | 302 → 290 | ≈ (dedup 8 vs 9) |
| Komunitas usia rata-rata | **30.73 ± 16.19** bln | 30.8 ± 16.2 | ✅ |
| Komunitas % laki-laki | 49.5% | 49.3% | ✅ |
| Klinik raw → kasus | 33 − 3 = **30** | 33 − 3 = 30 | ✅ |
| Eksklusi klinik | 2 Down syndrome + 1 tanpa diagnosis | 2 + 1 | ✅ |
| Klinik periode | 20 Agu – 12 Sep 2026 | Aug–Sep 2026 | ✅ |
| Klinik usia rata-rata | **63.24 ± 26.38** bln | 62.8 ± 26.2 | ✅ |
| Matching 1:2 | **17 kasus + 34 kontrol** | 17 + 34 | ✅ |
| α skala stimulasi | **0.7893** | 0.789 | ✅ |

**Kesimpulan: pipeline saya setia pada data. Perbedaan angka di bawah karena desain, bukan kesalahan.**

---

## 2. Analisis utama — Table 2 (age-matched, SES dikecualikan sesuai desain manuskrip)

| Model | Accuracy | Precision | Recall | F1 |
|---|---|---|---|---|
| **Logistic Regression (saya)** | **0.851 ± 0.076** | 0.849 ± 0.169 | 0.713 ± 0.206 | **0.750 ± 0.146** |
| Decision Tree (saya) | 0.721 ± 0.124 | 0.623 ± 0.269 | 0.560 ± 0.241 | 0.557 ± 0.203 |
| Random Forest (saya) | 0.816 ± 0.106 | 0.757 ± 0.201 | 0.707 ± 0.240 | 0.710 ± 0.178 |
| — manuskrip LR | 0.839 ± 0.079 | 0.859 ± 0.133 | 0.740 ± 0.178 | 0.777 ± 0.133 |
| — manuskrip DT | 0.731 ± 0.112 | 0.669 ± 0.177 | 0.628 ± 0.257 | 0.629 ± 0.197 |
| — manuskrip RF | 0.852 ± 0.082 | 0.890 ± 0.129 | 0.750 ± 0.198 | 0.791 ± 0.141 |

### ~~Temuan #1: Random Forest BUKAN model terbaik~~ ❌ DITARIK (lihat KOREKSI di atas)

*(Versi awal laporan ini menyimpulkan LR mengalahkan RF. Itu artefak dari set fitur
rekonstruksi kami sendiri. Dengan pipeline dan fitur asli penulis, RF memang model terbaik —
klaim manuskrip benar pada konstruksi aslinya. Lihat bagian KOREKSI.)*

**Yang tetap berlaku, dengan cakupan lebih sempit:** pada set matched yang sudah diperbaiki
(17 + 34), klaim *"RF outperformed both baselines on every metric"* tidak lagi tepat, karena
recall LR (0.667) sedikit lebih tinggi dari RF (0.647).

---

## 3. C2 — Confounding recruitment channel (temuan terkuat, dan hasilnya menghukum)

| Model | Fitur | F1 |
|---|---|---|
| **Channel-only baseline** | **4 fitur SES saja** | **0.848 ± 0.149** |
| Risk-factor model (desain manuskrip, tanpa SES) | 24 fitur | 0.710 ± 0.178 |
| Risk factors + SES | 28 fitur | 0.884 ± 0.134 |

**Paired ΔF1 (risk-factor − channel-only) = −0.138**, 95% CI [−0.554, 0.264], **p = 0.0073**

### ⚠️ Temuan #2: **4 variabel sosial-ekonomi MENGALAHKAN seluruh model 24 fitur, secara signifikan**

Ini memicu **syarat falsifikasi C2 yang saya rumuskan sendiri**:
> *"Falsified by: a channel-only baseline that performs as well as the full risk-factor model."*

Channel-only (0.848) bukan hanya "menyamai" — ia **lebih baik** dari model risiko (0.710).
Artinya model tidak menambah informasi di luar kanal rekrutmen.

**Uji pendukung — SES-balanced matching** (usia ±6 bln **dan** pendidikan ibu sama):
hanya **6 kasus** bisa dicocokkan (12 kontrol), dan F1 **jatuh ke 0.373 ± 0.420**.

### Ablation cluster fitur

| Set fitur | n fitur | F1 |
|---|---|---|
| Perinatal only | 7 | 0.383 ± 0.284 |
| + child characteristics | 13 | 0.441 ± 0.254 |
| + caregiving (parenting/stimulasi/screen) | 19 | 0.728 ± 0.197 |
| + maternal SES (= semua) | 28 | 0.884 ± 0.134 |

Lonjakan **terbesar** (0.728 → 0.884) terjadi saat **SES** dimasukkan — konsisten dengan
diagnosis confounding.

---

## 4. C3 — Kalibrasi & decision curve (hasilnya memfalsifikasi klaim triase)

### Kalibrasi (probabilitas out-of-fold, skala matched)

| Model | Slope | Intercept | Brier | AUC |
|---|---|---|---|---|
| Random Forest | **2.375** | −0.050 | 0.154 | 0.893 |
| **XGBoost** | **0.747** | −0.029 | **0.134** | 0.882 |
| Calibrated LogReg | 2.539 | 0.524 | 0.174 | 0.808 |

- RF slope 2.375 jauh dari 1 → prediksi terlalu ekstrem (under-dispersed). **XGBoost
  jauh lebih terkalibrasi** (slope 0.747) dengan Brier lebih baik.
- Observasi penting: **XGBoost mengalahkan RF pada kalibrasi maupun Brier** — memperkuat
  Temuan #1.

### Risk strata (π₀ = 0.0619)

| Strata | n | Kasus | Risiko teramati | PPV |
|---|---|---|---|---|
| Rendah | 17 | 0 | 0.000 | 0.000 |
| Sedang | 17 | 5 | 0.294 | 0.294 |
| Tinggi | 17 | 12 | 0.706 | 0.706 |

Pemisahan monotonik dan bagus — **tetapi pada skala matched**, bukan populasi.

### Decision curve (net benefit, prior-corrected)

| Threshold | Model | Screen-all | KPSP (analitik) |
|---|---|---|---|
| 0.05 | **+0.316** | +0.298 | +0.197 |
| 0.10 | +0.259 | +0.259 | +0.194 |
| 0.15 | +0.212 | +0.216 | +0.191 |
| 0.20 | +0.054 | **+0.167** | +0.186 |
| 0.25 | −0.007 | **+0.111** | +0.182 |
| 0.30 | −0.008 | **+0.048** | +0.177 |

### ⚠️ Temuan #3: **model TIDAK mengalahkan komparator — klaim triase (C3) gugur**

- Pada threshold ≥0.20 model **kalah dari "screen everyone"**.
- Terhadap komparator KPSP analitik, model kalah **di seluruh rentang** threshold.
- Ini memicu syarat falsifikasi C3: *"Net benefit no greater than either comparator."* → **terpenuhi (gugur)**.

**Caveat jujur:** DCA ini dihitung pada sampel matched (kasus 1/3), yang **bukan**
prevalensi populasi. Karena itu net benefit belum bisa dibaca sebagai utilitas klinis
sebenarnya — dan itu justru alasan π₀ harus ditetapkan penulis (T2.11). Yang bisa
disimpulkan sekarang: **pada data ini, klaim triase tidak didukung.**

---

## 5. C5 — SHAP per-anak (ini yang BERPENDAPAT: klaim manuskrip bertahan)

Dengan SES dikecualikan, **`screen_time` memang prediktor dominan** — persis seperti klaim manuskrip:

| Peringkat | Fitur | mean\|SHAP\| |
|---|---|---|
| 1 | **screen_time** | **0.1129** |
| 2 | parent_authoritative | 0.0756 |
| 3 | male | 0.0261 |
| 4 | exclusive_breastfeeding | 0.0258 |
| 5 | household_smoking | 0.0232 |
| 6 | parent_permissive | 0.0218 |
| 7 | birth_weight | 0.0195 |
| 8 | age_months | 0.0185 |

**Vignette kasus nyata** (anak kasus dengan probabilitas tertinggi, p̂ = 0.706):

| Fitur | Nilai | Kontribusi SHAP |
|---|---|---|
| screen_time | 3.0 (paling tinggi) | **+0.146** |
| pernah dirawat inap | 1 | +0.068 |
| ASI eksklusif | 0 (tidak) | +0.056 |
| jumlah balita serumah | 0 | +0.046 |
| parent_authoritative | 7.0 | **−0.040** (protektif) |

→ target konseling konkret dan dapat ditindaklanjuti. **C5 didukung.**

---

## 6. Sensitivitas unmatched (reproduksi sangat dekat)

| Analisis | Accuracy | Recall | F1 |
|---|---|---|---|
| RF, risk factors only (saya) | 0.944 | 0.524 | 0.549 |
| — manuskrip | 0.948 | 0.422 | 0.515 |
| RF, risk factors + SES (saya) | 0.969 | 0.832 | 0.793 |
| — manuskrip | 0.983 | — | 0.870 |
| LR, risk factors only (saya) | 0.926 | 0.614 | 0.523 |
| — manuskrip LR recall | — | 0.706 | — |

Sampel unmatched: **22 kasus** (≤72 bln) + 291 kontrol (manuskrip: 23 + 290).
Efek inflasi oleh SES **direproduksi** (0.944 → 0.969).

## 7. Bootstrap CI 95% (matched RF, 2.000 resample)

| Metrik | Mean | 95% CI |
|---|---|---|
| Accuracy | 0.843 | [0.745, 0.941] |
| Recall | 0.704 | [0.500, 0.917] |
| F1 | 0.743 | [0.556, 0.898] |
| AUC | 0.892 | [0.796, 0.970] |

Interval **sangat lebar** (n=17 kasus) — konsisten dengan keterbatasan daya.

---

## 8. Konsekuensi strategis: klaim C1–C5 perlu direvisi

| Klaim | Status | Bukti |
|---|---|---|
| **C1** model pertama dari faktor modifiable | **Melemah** | Model tidak mengalahkan proxy 4 variabel kanal |
| **C2** kuantifikasi & mitigasi confounding | **Syarat falsifikasi TERPICU** | Channel-only F1 0.848 > risk-factor 0.710, p=0.0073 |
| **C3** kalibrasi + net benefit → alat triase | **GUGUR** | Model kalah dari screen-all (thr ≥0.20) dan KPSP analitik (seluruh rentang) |
| **C4** batas: kuesioner ≠ skrining | **Bertahan** | Recall KPSP komunitas 0.078 |
| **C5** SHAP per-anak | **Bertahan** | screen_time dominan (0.113); vignette jalan |

### Rekomendasi (jujur, dan ini justru lebih kuat)

Paper tidak bisa lagi dijual sebagai *"model triase yang valid"*. Tetapi hasil ini
memberi kontribusi yang **lebih menarik dan lebih dapat dipertahankan**:

> **Sebuah studi validitas yang menunjukkan bahwa model ML case–control untuk
> developmental delay pada desain rekrutmen dua-kanal sebagian besar mempelajari
> kanal rekrutmen, bukan kelainan perkembangan — dan bahwa 4 variabel sosial-ekonomi
> mengalahkan model 24 fitur risiko secara signifikan.**

Ini jenis temuan negatif yang jarang dipublikasikan, sangat relevan untuk literatur ML
kesehatan Indonesia, dan **langsung menyerang kelemahan metodologis umum** di bidang itu.
Judul yang saya usulkan sekarang bukan lagi "From Screening to Triage", melainkan sesuatu
seperti:

> *"Recruitment-Channel Confounding Outweighs Risk Factors in Machine-Learning
> Case–Control Models of Developmental Delay: A Validity Study"*

**Penting:** ini keputusan besar yang mengubah arah paper. Perlu persetujuan penulis
(Dini dkk.) sebelum dikerjakan lebih jauh.

---

## 9. Yang masih perlu direkonsiliasi dengan penulis

1. **α subskala parenting**: manuskrip 0.10 / −0.18 / 0.13 vs saya 0.57 / 0.16 / 0.59 (PSDQ natural).
2. **RF bukan model terbaik** — manuskrip mengklaim sebaliknya.
3. KPSP at-risk 18 vs 22 · kasus ≤72 bln 22 vs 23 · 291 vs 290 baris.
4. Definisi subskala/target pada skrip asli penulis.

## 10. Masalah kualitas data

1. Tanggal di luar kampanye: **2022-11-28, 2023-11-26** (kampanye Sep 2026).
2. Klinik: satu anak berusia **167,98 bulan (14 tahun)** — tidak mungkin untuk pasien terapi anak.
3. Komunitas: `Jumlah jawaban "Ya"` memuat nilai **1** (mustahil, skala 0–10).
4. 11 varian nama enumerator untuk orang yang sama.
5. Prefiks kode responden bercampur (Dahlia/Dahia; Lavender/lavender/LAVENDER; Aaoka/Asioka).
6. Berat lahir KIA kosong 56/302 (18,5%).
