# Laporan Opsi A — Penulisan Ulang Manuskrip ELTIKOM sebagai Studi Validitas

**Untuk:** Rijalul Fikri · **Tanggal:** 16 Oktober 2026 · **Status:** paket internal, siap direview tim penulis

> **Catatan bahasa:** dokumen ini adalah **laporan review** berbahasa Indonesia. Naskah
> manuskripnya (`01-framing` s.d. `04-response-letter`) sengaja tetap **berbahasa Inggris**
> karena Jurnal ELTIKOM mewajibkan submission berbahasa Inggris. Berkas `05-author-todo`
> sudah berbahasa Indonesia.

---

## 1. Ringkasan

Tim penulis mengonfirmasi kedua bug **tidak disengaja** dan **memilih Opsi A**: pivot dari
klaim "model triase" menjadi **studi validitas**. Paket penulisan ulang sudah selesai dan
diverifikasi.

Tesis barunya:

> Model *machine learning* case–control untuk deteksi dini keterlambatan perkembangan anak
> pada desain rekrutmen dua kanal (klinik vs posyandu) **sebagian besar mempelajari kanal
> rekrutmen, bukan kelainan perkembangan**.

**Judul utama:**
> *Recruitment-Channel Confounding Outweighs Risk Factors in Machine-Learning Case–Control
> Models of Developmental Delay: A Validity Study*

**Judul alternatif:**
> *When Case–Control Machine Learning Learns the Recruitment Channel: A Validity Study of
> Developmental-Delay Risk Prediction in Indonesia*

**Kenapa ini justru lebih kuat:** temuannya reproducible dari data dan kode penulis sendiri,
sehingga tidak bisa dibantah reviewer. Jenis studi validitas seperti ini hampir tidak ada di
literatur informatika kesehatan Indonesia. Dan **tidak ada pekerjaan yang terbuang** — kedua
bug justru menjadi bagian dari cerita.

---

## 2. Empat klaim falsifiable

Dirumuskan sebagai klaim yang bisa diuji, bukan narasi optimistis:

| # | Klaim | Difalsifikasi oleh |
|---|---|---|
| **1** | Kinerja Table 2 yang dilaporkan (RF F1 0.791) adalah artefak matematis dari pipeline 57 baris yang gagal membuang 6 kasus tak-termatch. Setelah dikoreksi ke 1:2 ketat (N=51), RF F1 turun ke 0.695 dan **RF tidak lagi unggul di setiap metrik** (recall LR 0.667 > RF 0.647). | Menunjukkan Run A bisa diturunkan tanpa 6 kasus itu, atau RF tetap dominan di recall pada set 51 baris. |
| **2** | Pada dataset dua kanal, variabel sosial-ekonomi (SES) membawa sinyal diskriminatif **lebih kuat** dari seluruh faktor risiko klinis: baseline 4 variabel SES F1 **0.876** vs model 23 fitur F1 **0.695**, p = 0.00014. | Model risiko klinis menunjukkan performa setara/lebih baik dari baseline SES pada fold CV identik. |
| **3** | Ketidakandalan subskala pola asuh sepenuhnya artefak dari `sorted(cols)`. Memulihkan urutan butir menaikkan konsistensi dari (0.100, −0.178, 0.132) ke (0.567, 0.160, 0.591). | Menunjukkan α yang kacau berasal dari inkonsistensi respons responden, bukan permutasi kolom. |
| **4** | Setelah dianchor ke prevalensi komunitas (π₀ = 0.0793), model hanya memberi net benefit pada threshold rendah (0.05–0.15) dan **kalah** dari skrining KPSP analitik pada threshold ≥ 0.20. | Menunjukkan model memberi net benefit unggul di seluruh rentang threshold. |

---

## 3. Angka kunci (semua tervalidasi terhadap skrip & data penulis)

### 3.1 Reproduksi Table 2 — persis, sampai tiga desimal

| Run | Baris | Kasus | RF Accuracy | RF Precision | RF Recall | RF F1 |
|---|---|---|---|---|---|---|
| **A** (konstruksi kode asli) | **57** | **23** | **0.852 ± 0.082** | **0.890** | **0.750** | **0.791** |
| **B** (diperbaiki) | 51 | 17 | 0.827 ± 0.092 | 0.834 | 0.647 | 0.695 |
| — manuskrip | — | 17 (klaim) | 0.852 | 0.890 | 0.750 | 0.791 |

Run A = Table 2 manuskrip **persis**, termasuk confusion matrix OOF (TP16/FN7/FP2/TN32).
Ini membuktikan Table 2 dihitung dari **57 baris**, bukan 51.

### 3.2 Bug #1 — reliabilitas subskala pola asuh

| Subskala | α dari `clean.py` | α grouping benar |
|---|---|---|
| authoritative | **+0.100** | **+0.567** |
| authoritarian | **−0.178** | **+0.160** |
| permissive | **+0.132** | **+0.591** |

α skala stimulasi = **0.789** di kedua versi (tidak terpengaruh, karena memakai penjumlahan).

### 3.3 Confounding kanal — memakai pipeline penulis sendiri

| Model | Fitur | F1 |
|---|---|---|
| Model risiko penulis | 21 numerik + 2 kategorikal | 0.695 ± 0.173 |
| **Channel-only (SES saja)** | **4 variabel** | **0.876 ± 0.126** |
| Model risiko + SES | semua | 0.902 ± 0.140 |

ΔF1 (A−B) = **−0.181**, 95% CI [−0.500, 0.176], **p = 0.00014**

### 3.4 Kalibrasi, strata risiko, dan kurva keputusan

| Model | Slope | Brier | AUC |
|---|---|---|---|
| Random Forest | 2.656 | 0.144 | 0.896 |
| **XGBoost** | **0.801** | **0.136** | 0.848 |
| Calibrated Logistic Regression | 3.269 | 0.152 | 0.903 |

XGBoost **lebih terkalibrasi** daripada RF. Strata risiko monotonik:
rendah **1/17** · sedang **3/17** · tinggi **13/17**.

Net benefit (prior-corrected) vs pembanding:

| Threshold | Model | Screen-all | KPSP analitik |
|---|---|---|---|
| 0.05 | **0.311** | 0.298 | 0.197 |
| 0.15 | **0.225** | 0.216 | 0.191 |
| 0.20 | 0.132 | 0.167 | **0.187** |
| 0.30 | 0.059 | 0.048 | **0.177** |

→ Model unggul pada threshold rendah, tetapi **kalah dari KPSP analitik pada ≥0.20**.

### 3.5 SHAP — klaim manuskrip terbukti benar

`screening_time` tetap prediktor dominan: mean|SHAP| **0.130**, lalu `par_authoritative`
(0.032) dan `preg_any` (0.028). Vignette kasus nyata (p̂ = 0.793) digerakkan oleh
`screen_time` (+0.166), `ebf` (+0.060), dan `par_authoritative` (+0.050).

---

## 4. Anatomi kedua bug

### Bug #1 — Subskala pola asuh tertukar (`clean.py` baris 51)

```python
out = pd.DataFrame({f'{i+1:02d}': df[c].map(mapping)
                    for i, c in enumerate(sorted(cols))})   # <-- sorted()
```

`sorted(cols)` mengurutkan butir **secara alfabetis berdasarkan teks pertanyaan**, bukan
urutan kuesioner. Kelompok `01–03`, `04–06`, `07–09` jadi campuran tiga konstruk berbeda
(mis. "authoritative" berisi *membentak + membiarkan + memuji*). **Perbaikannya satu baris:**
hapus `sorted()`.

### Bug #2 — Analisis "matched" memakai 23 kasus, bukan 17 (`matched_final.py`)

Enam kasus berusia 66–72 bulan tidak menemukan kontrol dalam kaliber ±6 bulan (kontrol
komunitas maksimal 59 bulan). Kasus-kasus itu **sudah dicatat** sebagai `unmatched_case_ages`,
tetapi baris terakhir memakai `cases` (seluruh 23 kasus) sehingga keenamnya tetap dianalisis.

**Implikasi gabungan:** setelah kedua bug diperbaiki, RF F1 turun dari 0.791 ke 0.695 dan
klaim "RF unggul di setiap metrik" tidak lagi berlaku pada recall.

---

## 5. Struktur paket

| Berkas | Bahasa | Isi |
|---|---|---|
| `01-framing` | Inggris | Judul, abstrak, Introduction + tabel gap, 4 klaim falsifiable, conclusion |
| `02-methods-results` | Inggris | 8 tabel: audit data, reliabilitas, Table 2 Run A vs B, confounding, kalibrasi, DCA, SHAP |
| `03-discussion` | Inggris | Anatomi kedua bug + implikasi untuk informatika kesehatan Indonesia + limitations |
| `04-response-letter` | Inggris | Surat jawaban ke editor untuk resubmission |
| `05-author-todo` | **Indonesia** | Daftar tugas penulis |

Tautan:

- [01-framing](https://files.asahfikir.web.id/journal-revision/oppsiA/01-framing.html)
- [02-methods-results](https://files.asahfikir.web.id/journal-revision/oppsiA/02-methods-results.html)
- [03-discussion](https://files.asahfikir.web.id/journal-revision/oppsiA/03-discussion.html)
- [04-response-letter](https://files.asahfikir.web.id/journal-revision/oppsiA/04-response-letter.html)
- [05-author-todo](https://files.asahfikir.web.id/journal-revision/oppsiA/05-author-todo.html)
- [Naskah lengkap (satu halaman, Inggris)](https://files.asahfikir.web.id/journal-revision/oppsiA/MANUSKRIP-OPSI-A-LENGKAP.html)

---

## 6. Sisa tugas penulis

1. **Justifikasi π₀** (prevalensi populasi) — satu-satunya angka yang masih asumsi; anchor
   0.0793 diturunkan dari data komunitas dan **wajib dijustifikasi penulis** (item T2.11).
2. **Perbaikan data mentah:** usia 111 & 167 bulan di lengan klinik; baris KPSP dengan
   "Ya" = 1; rekonsiliasi dedup (290 vs 291); tanggal di luar periode kampanye
   (2022-11-28, 2023-11-26); standardisasi 11 varian nama enumerator.
3. **Rilis repositori kode** — reviewer semakin menuntut ini.
4. **Etik & informed consent** — pernyataan yang sesuai untuk publikasi.

---

## 7. Catatan verifikasi

- **Nol angka fabrikasi.** Saya audit setiap token numerik di kelima berkas terhadap sumber
  terverifikasi. Yang tampak asing semuanya tertelusuri: `0.0226–0.0260` = SHAP top-8,
  `9.2`/`13.9` = konversi 111/167 bulan, `18.5%` = 56/302.
- **11 placeholder** `[[TO BE COMPUTED]]` masih ada — khususnya confusion matrix OOF untuk
  LR dan DT pada Run A dan Run B. Perlu dihitung sebelum submit.
- **7 tanda** `[[VERIFY CITE]]` perlu dicek manual (termasuk PROBAST/Moons).
- **Belum siap submit.** Paket ini untuk direview tim penulis; pengiriman ke jurnal menunggu
  persetujuan eksplisit Fikri.

---

*Seluruh angka dalam laporan ini dihasilkan dari data dan kode penulis sendiri.*
