# Catatan untuk Tim Penulis
## Verifikasi Independen atas Skrip Analisis & Usulan Arah Revisi

**Untuk:** Dini Hari Pertiwi, Yarza Aprizal, Eko Setiawan (ITB Palcomtech)
**Dari:** Rijalul Fikri — analisis teknis oleh tim asahfikir
**Tanggal:** 16 Oktober 2026
**Konteks:** Manuskrip *Random Forest Classification for Early Detection of Developmental Delay Risk…* — ditolak Jurnal ELTIKOM (novelty/kontribusi kurang)

---

### 1. Apa yang kami lakukan

Kami menjalankan ulang pipeline analisis Anda (`clean.py` → `pipeline.py` → `matched_final.py`)
dari data mentah, membandingkannya dengan angka di manuskrip, lalu menjalankan analisis
tambahan (kalibrasi, decision curve, SHAP, uji confounding).

Kami **berhasil mereproduksi Table 2 manuskrip dengan persis** — sampai tiga desimal.
Justru karena itu, temuan di bawah bukan soal perbedaan metode, melainkan **persoalan nyata
di dalam kode** yang dapat diverifikasi ulang oleh siapa pun.

**Kami menemukan dua bug.** Keduanya kecil, keduanya mudah diperbaiki, dan keduanya
memengaruhi angka yang dilaporkan.

---

### 2. Bug #1 — Subskala pola asuh tertukar (`clean.py`, baris 51)

```python
def likert_block(df, prefix, mapping, n):
    cols = [c for c in df.columns if c.startswith(prefix)]
    out = pd.DataFrame({f'{i+1:02d}': df[c].map(mapping)
                        for i, c in enumerate(sorted(cols))})   # <-- sorted()
```

`sorted()` mengurutkan butir **secara alfabetis berdasarkan teks pertanyaan**, bukan menurut
urutan kuesioner. Akibatnya penomoran `01–09` tidak lagi sesuai dengan subskala konseptualnya:

| No. | Isi butir sebenarnya | Konstruk sebenarnya |
|---|---|---|
| 01 | membentak anak | authoritarian |
| 02 | membiarkan anak melakukan apa saja | permissive |
| 03 | memuji anak | authoritative |
| 04 | mencubit / memukul anak | authoritarian |
| 05 | mengharuskan anak menurut | authoritarian |
| 06 | menghibur anak | authoritative |
| 07 | menjelaskan alasan larangan | authoritative |
| 08 | menuruti semua permintaan | permissive |
| 09 | sulit melarang anak | permissive |

Kelompok `01–03` (= "authoritative"), `04–06` (= "authoritarian"), `07–09` (= "permissive")
masing-masing menjadi **campuran tiga konstruk berbeda**. Inilah sebabnya reliabilitasnya
tampak rusak. Kami membuktikannya pada data Anda:

| Subskala | α versi `clean.py` | α grouping yang benar | Manuskrip |
|---|---|---|---|
| authoritative | **+0.100** | **+0.567** | 0.10 |
| authoritarian | **−0.178** | **+0.160** | −0.18 |
| permissive | **+0.132** | **+0.591** | 0.13 |

Angka kami dari `clean.py` **identik** dengan yang dilaporkan manuskrip. Dengan grouping
yang benar, **dua dari tiga subskala justru dapat diterima** (0.567 dan 0.591); hanya
authoritarian yang lemah (0.160).

> **Perbaikannya satu baris:** hapus `sorted()` (pakai urutan kolom asli), atau tetapkan
> urutan butir secara eksplisit.

**Implikasi:** kesimpulan manuskrip bahwa "subskala pola asuh tidak reliabel sehingga pola
asuh diturunkan ke status eksploratif" **bertumpu pada bug ini**. Setelah diperbaiki, pola
asuh berpotensi kembali menjadi kontribusi yang sah — dan itu justru salah satu pilar
novelty yang diminta reviewer.

---

### 3. Bug #2 — Analisis matched memakai 23 kasus, bukan 17 (`matched_final.py`, baris 34–48)

```python
cases = klinik[klinik.age_months <= 72].copy()          # 23 kasus
...
for _, c in cases.iterrows():
    pool = avail[(avail.age_months - c.age_months).abs() <= 6]
    take = pool.sample(n=min(2, len(pool)), random_state=RND)
    if len(take) == 0:
        unmatched_case_ages.append(float(c.age_months))     # dicatat...
matched = pd.concat([matched_controls.assign(case=0),
                     cases.assign(case=1)])                 # ...tapi SEMUA 23 kasus tetap masuk
```

Enam kasus berusia 66–72 bulan **tidak menemukan kontrol** dalam kaliber ±6 bulan (kontrol
komunitas maksimal 59 bulan). Kasus-kasus itu sudah dicatat sebagai `unmatched_case_ages` —
tetapi karena baris terakhir memakai `cases` (seluruh 23 kasus), **keenamnya tetap ikut
dianalisis**.

| | Konstruksi kode Anda | Yang tertulis di manuskrip |
|---|---|---|
| Baris dataset | **57** (34 kontrol + **23** kasus) | 51 (34 kontrol + 17 kasus) |
| `cases_matched` di metadata | 17 | 17 |
| Confusion matrix OOF | TP16/FN7/FP2/TN32 = **57** | — |

Kami menjalankan ulang kedua versi (pipeline, fitur, dan hyperparameter Anda — identik):

| Model | Run A — konstruksi kode (57 baris) | Run B — diperbaiki (51 baris) |
|---|---|---|
| Logistic Regression | 0.839 ± 0.079 / 0.859 / 0.740 / 0.777 | 0.815 ± 0.120 / 0.733 / 0.667 / 0.676 |
| Decision Tree | 0.731 ± 0.112 / 0.669 / 0.628 / 0.629 | 0.722 ± 0.130 / 0.563 / 0.607 / 0.573 |
| **Random Forest** | **0.852 ± 0.082 / 0.890 / 0.750 / 0.791** | 0.827 ± 0.092 / 0.834 / 0.647 / 0.695 |
| RF pooled OOF | TP16/FN7/FP2/TN32 | TP11/FN6/FP4/TN30 |

**Run A = Table 2 manuskrip, persis.** Ini membuktikan Table 2 dihitung dari 57 baris.

**Implikasi:** angka utama paper menjadi lebih lemah setelah diperbaiki (F1 0.791 → 0.695;
recall 0.750 → 0.647). Klaim *"RF outperformed both baselines on every metric"* **tidak lagi
berlaku pada recall** dengan set yang benar (LR 0.667 > RF 0.647). Perbaikan: keluarkan enam
kasus tak-termatch dari analisis utama, atau ubah kaliber dan laporkan apa adanya.

---

### 4. Koreksi atas laporan kami sendiri

Pada laporan awal kami sempat menyimpulkan *"Random Forest bukan model terbaik"*.
**Kesimpulan itu kami tarik kembali.** Itu berasal dari set fitur rekonstruksi kami sendiri,
bukan dari kode Anda. Dengan pipeline dan fitur Anda yang sebenarnya, RF memang model
terbaik pada Run A di keempat metrik — klaim Anda benar di sana. Yang perlu direvisi hanya
cakupannya: pada set yang sudah diperbaiki, "setiap metrik" tidak lagi tepat karena recall
LR sedikit lebih tinggi.

---

### 5. Temuan yang bertahan — dan justru menguat: confounding kanal rekrutmen

Diuji memakai **pipeline dan fitur Anda sendiri**, pada set matched yang sudah diperbaiki
(17 kasus + 34 kontrol):

| Model | Fitur | F1 |
|---|---|---|
| Model risiko Anda | 21 numerik + 2 kategorikal | 0.695 ± 0.173 |
| **Channel-only baseline** | **4 variabel SES saja** | **0.876 ± 0.126** |
| Model risiko + SES | semua | 0.902 ± 0.140 |

**ΔF1 = −0.181, 95% CI [−0.500, 0.176], p = 0.00014.**

Empat variabel sosial-ekonomi (pendidikan ibu, pendidikan ayah, penghasilan, pekerjaan ibu)
**secara signifikan mengalahkan** seluruh model risiko Anda. Ini bukan artefak metode kami —
kami memakai fungsi dan hyperparameter Anda.

Interpretasinya: keluarga klinik jauh lebih berpendidikan dan mampu daripada keluarga
posyandu, sehingga sebagian besar daya pisah model berasal dari perbedaan itu, bukan dari
kelainan perkembangan. **Inilah kelemahan metodologis terpenting untuk dijawab** — sekaligus
bahan kontribusi terkuat, karena hal ini jarang dilaporkan di literatur ML kesehatan Indonesia.

---

### 6. Dua opsi arah revisi

**Opsi A — Pivot ke studi validitas (kami rekomendasikan).**

> *Studi validitas yang menunjukkan bahwa model ML case–control untuk developmental delay
> pada desain rekrutmen dua kanal sebagian besar mempelajari kanal rekrutmen, bukan
> kelainan perkembangan.*

Kenapa lebih kuat:
- Temuannya **reproducible dari data dan kode Anda sendiri** — tidak bisa dibantah reviewer.
- Temuan negatif/validitas **jarang dipublikasikan**, padahal sangat dibutuhkan literatur
  ML kesehatan Indonesia yang umumnya hanya melaporkan akurasi.
- Novelty-nya **lebih tinggi** dari paper aslinya, dan langsung menjawab keluhan reviewer
  soal "clear novelty" dan "significant contribution".
- **Tidak ada pekerjaan yang terbuang.** Bug #1 dan #2 bahkan menjadi bagian dari cerita:
  bagaimana dua kesalahan kecil (feature engineering dan penanganan kasus tak-termatch)
  cukup untuk mengubah kesimpulan.

Judul usulan:
> *"Recruitment-Channel Confounding Outweighs Risk Factors in Machine-Learning
> Case–Control Models of Developmental Delay: A Validity Study"*

**Opsi B — Perbaiki kedua bug lalu lanjutkan klaim model.**
Buang 6 kasus tak-termatch dan laporkan Table 2 yang benar (F1 0.695). Risikonya: performa
turun, dan masalah confounding kanal tetap belum terjawab tanpa data dengan kanal sebanding.

---

### 7. Yang kami butuhkan dari tim

1. Konfirmasi bahwa Bug #1 dan #2 memang tidak disengaja (kami asumsikan demikian).
2. Keputusan: Opsi A atau Opsi B.
3. Definisi resmi **prevalensi populasi (π₀)** untuk koreksi prior pada analisis kalibrasi.
4. Apakah skrip akan dirilis (mis. ke repositori) — reviewer semakin meminta ini.

---

### 8. Catatan kualitas data

1. Lengan klinik memuat usia **111 dan 167 bulan** (~9 dan 14 tahun) — perlu dikoreksi.
2. Komunitas: satu baris dengan `Jumlah jawaban "Ya"` = **1**; baris ini masuk sebagai
   "penyimpangan" dan turut membentuk 23 kasus at-risk.
3. Dedup kami menghasilkan 291 baris; kode Anda 290 (9 duplikat vs 8) — perlu disamakan.
4. Tanggal pemeriksaan di luar kampanye: **2022-11-28** dan **2023-11-26**.
5. **11 varian nama** enumerator untuk orang yang sama.
6. Berat lahir menurut buku KIA kosong pada **56/302 (18,5%)** — sudah ditangani dengan
   fallback ke laporan ibu, tetapi perlu dicatat di manuskrip.

---

### Lampiran — berkas lengkap

- Laporan hasil penuh: **https://files.asahfikir.web.id/journal-revision/analysis/RESULTS.html**
- Folder lengkap (skrip, JSON, CSV): **https://files.asahfikir.web.id/journal-revision/analysis/**
- Reproduksi Table 2: `reproduce_theirs.json`
- Uji confounding memakai pipeline Anda: `verify_confounding_theirs.json`

*Seluruh angka di catatan ini dihasilkan dari data dan kode Anda sendiri. Tidak ada yang
dikarang. Kami siap mengerjakan ulang framing, methods, dan response letter ke arah mana pun
yang tim penulis putuskan.*
