Catatan untuk Tim Penulis
Verifikasi Independen atas Skrip Analisis & Usulan Arah Revisi
Untuk: Dini Hari Pertiwi, Yarza Aprizal, Eko Setiawan (ITB Palcomtech) Dari: Rijalul Fikri — analisis teknis oleh tim asahfikir Tanggal: 16 Oktober 2026 Konteks: Manuskrip Random Forest Classification for Early Detection of Developmental Delay Risk… — ditolak Jurnal ELTIKOM (novelty/kontribusi kurang)
1. Apa yang kami lakukan
Kami menjalankan ulang pipeline analisis Anda (clean.py → pipeline.py → matched_final.py)
dari data mentah, membandingkannya dengan angka di manuskrip, lalu menjalankan analisis
tambahan (kalibrasi, decision curve, SHAP, uji confounding).
Kami berhasil mereproduksi Table 2 manuskrip dengan persis — sampai tiga desimal. Justru karena itu, temuan di bawah bukan soal perbedaan metode, melainkan persoalan nyata di dalam kode yang dapat diverifikasi ulang oleh siapa pun.
Kami menemukan dua bug. Keduanya kecil, keduanya mudah diperbaiki, dan keduanya memengaruhi angka yang dilaporkan.
2. Bug #1 — Subskala pola asuh tertukar (clean.py, baris 51)
def likert_block(df, prefix, mapping, n):
cols = [c for c in df.columns if c.startswith(prefix)]
out = pd.DataFrame({f'{i+1:02d}': df[c].map(mapping)
for i, c in enumerate(sorted(cols))}) # <-- sorted()
sorted() mengurutkan butir secara alfabetis berdasarkan teks pertanyaan, bukan menurut
urutan kuesioner. Akibatnya penomoran 01–09 tidak lagi sesuai dengan subskala konseptualnya:
| No. | Isi butir sebenarnya | Konstruk sebenarnya |
|---|---|---|
| 01 | membentak anak | authoritarian |
| 02 | membiarkan anak melakukan apa saja | permissive |
| 03 | memuji anak | authoritative |
| 04 | mencubit / memukul anak | authoritarian |
| 05 | mengharuskan anak menurut | authoritarian |
| 06 | menghibur anak | authoritative |
| 07 | menjelaskan alasan larangan | authoritative |
| 08 | menuruti semua permintaan | permissive |
| 09 | sulit melarang anak | permissive |
Kelompok 01–03 (= "authoritative"), 04–06 (= "authoritarian"), 07–09 (= "permissive")
masing-masing menjadi campuran tiga konstruk berbeda. Inilah sebabnya reliabilitasnya
tampak rusak. Kami membuktikannya pada data Anda:
| Subskala | α versi clean.py |
α grouping yang benar | Manuskrip |
|---|---|---|---|
| authoritative | +0.100 | +0.567 | 0.10 |
| authoritarian | −0.178 | +0.160 | −0.18 |
| permissive | +0.132 | +0.591 | 0.13 |
Angka kami dari clean.py identik dengan yang dilaporkan manuskrip. Dengan grouping
yang benar, dua dari tiga subskala justru dapat diterima (0.567 dan 0.591); hanya
authoritarian yang lemah (0.160).
Perbaikannya satu baris: hapus
sorted()(pakai urutan kolom asli), atau tetapkan urutan butir secara eksplisit.
Implikasi: kesimpulan manuskrip bahwa "subskala pola asuh tidak reliabel sehingga pola asuh diturunkan ke status eksploratif" bertumpu pada bug ini. Setelah diperbaiki, pola asuh berpotensi kembali menjadi kontribusi yang sah — dan itu justru salah satu pilar novelty yang diminta reviewer.
3. Bug #2 — Analisis matched memakai 23 kasus, bukan 17 (matched_final.py, baris 34–48)
cases = klinik[klinik.age_months <= 72].copy() # 23 kasus
...
for _, c in cases.iterrows():
pool = avail[(avail.age_months - c.age_months).abs() <= 6]
take = pool.sample(n=min(2, len(pool)), random_state=RND)
if len(take) == 0:
unmatched_case_ages.append(float(c.age_months)) # dicatat...
matched = pd.concat([matched_controls.assign(case=0),
cases.assign(case=1)]) # ...tapi SEMUA 23 kasus tetap masuk
Enam kasus berusia 66–72 bulan tidak menemukan kontrol dalam kaliber ±6 bulan (kontrol
komunitas maksimal 59 bulan). Kasus-kasus itu sudah dicatat sebagai unmatched_case_ages —
tetapi karena baris terakhir memakai cases (seluruh 23 kasus), keenamnya tetap ikut
dianalisis.
| Konstruksi kode Anda | Yang tertulis di manuskrip | |
|---|---|---|
| Baris dataset | 57 (34 kontrol + 23 kasus) | 51 (34 kontrol + 17 kasus) |
cases_matched di metadata |
17 | 17 |
| Confusion matrix OOF | TP16/FN7/FP2/TN32 = 57 | — |
Kami menjalankan ulang kedua versi (pipeline, fitur, dan hyperparameter Anda — identik):
| Model | Run A — konstruksi kode (57 baris) | Run B — diperbaiki (51 baris) |
|---|---|---|
| Logistic Regression | 0.839 ± 0.079 / 0.859 / 0.740 / 0.777 | 0.815 ± 0.120 / 0.733 / 0.667 / 0.676 |
| Decision Tree | 0.731 ± 0.112 / 0.669 / 0.628 / 0.629 | 0.722 ± 0.130 / 0.563 / 0.607 / 0.573 |
| Random Forest | 0.852 ± 0.082 / 0.890 / 0.750 / 0.791 | 0.827 ± 0.092 / 0.834 / 0.647 / 0.695 |
| RF pooled OOF | TP16/FN7/FP2/TN32 | TP11/FN6/FP4/TN30 |
Run A = Table 2 manuskrip, persis. Ini membuktikan Table 2 dihitung dari 57 baris.
Implikasi: angka utama paper menjadi lebih lemah setelah diperbaiki (F1 0.791 → 0.695; recall 0.750 → 0.647). Klaim "RF outperformed both baselines on every metric" tidak lagi berlaku pada recall dengan set yang benar (LR 0.667 > RF 0.647). Perbaikan: keluarkan enam kasus tak-termatch dari analisis utama, atau ubah kaliber dan laporkan apa adanya.
4. Koreksi atas laporan kami sendiri
Pada laporan awal kami sempat menyimpulkan "Random Forest bukan model terbaik". Kesimpulan itu kami tarik kembali. Itu berasal dari set fitur rekonstruksi kami sendiri, bukan dari kode Anda. Dengan pipeline dan fitur Anda yang sebenarnya, RF memang model terbaik pada Run A di keempat metrik — klaim Anda benar di sana. Yang perlu direvisi hanya cakupannya: pada set yang sudah diperbaiki, "setiap metrik" tidak lagi tepat karena recall LR sedikit lebih tinggi.
5. Temuan yang bertahan — dan justru menguat: confounding kanal rekrutmen
Diuji memakai pipeline dan fitur Anda sendiri, pada set matched yang sudah diperbaiki (17 kasus + 34 kontrol):
| Model | Fitur | F1 |
|---|---|---|
| Model risiko Anda | 21 numerik + 2 kategorikal | 0.695 ± 0.173 |
| Channel-only baseline | 4 variabel SES saja | 0.876 ± 0.126 |
| Model risiko + SES | semua | 0.902 ± 0.140 |
ΔF1 = −0.181, 95% CI [−0.500, 0.176], p = 0.00014.
Empat variabel sosial-ekonomi (pendidikan ibu, pendidikan ayah, penghasilan, pekerjaan ibu) secara signifikan mengalahkan seluruh model risiko Anda. Ini bukan artefak metode kami — kami memakai fungsi dan hyperparameter Anda.
Interpretasinya: keluarga klinik jauh lebih berpendidikan dan mampu daripada keluarga posyandu, sehingga sebagian besar daya pisah model berasal dari perbedaan itu, bukan dari kelainan perkembangan. Inilah kelemahan metodologis terpenting untuk dijawab — sekaligus bahan kontribusi terkuat, karena hal ini jarang dilaporkan di literatur ML kesehatan Indonesia.
6. Dua opsi arah revisi
Opsi A — Pivot ke studi validitas (kami rekomendasikan).
Studi validitas yang menunjukkan bahwa model ML case–control untuk developmental delay pada desain rekrutmen dua kanal sebagian besar mempelajari kanal rekrutmen, bukan kelainan perkembangan.
Kenapa lebih kuat: - Temuannya reproducible dari data dan kode Anda sendiri — tidak bisa dibantah reviewer. - Temuan negatif/validitas jarang dipublikasikan, padahal sangat dibutuhkan literatur ML kesehatan Indonesia yang umumnya hanya melaporkan akurasi. - Novelty-nya lebih tinggi dari paper aslinya, dan langsung menjawab keluhan reviewer soal "clear novelty" dan "significant contribution". - Tidak ada pekerjaan yang terbuang. Bug #1 dan #2 bahkan menjadi bagian dari cerita: bagaimana dua kesalahan kecil (feature engineering dan penanganan kasus tak-termatch) cukup untuk mengubah kesimpulan.
Judul usulan:
"Recruitment-Channel Confounding Outweighs Risk Factors in Machine-Learning Case–Control Models of Developmental Delay: A Validity Study"
Opsi B — Perbaiki kedua bug lalu lanjutkan klaim model. Buang 6 kasus tak-termatch dan laporkan Table 2 yang benar (F1 0.695). Risikonya: performa turun, dan masalah confounding kanal tetap belum terjawab tanpa data dengan kanal sebanding.
7. Yang kami butuhkan dari tim
- Konfirmasi bahwa Bug #1 dan #2 memang tidak disengaja (kami asumsikan demikian).
- Keputusan: Opsi A atau Opsi B.
- Definisi resmi prevalensi populasi (π₀) untuk koreksi prior pada analisis kalibrasi.
- Apakah skrip akan dirilis (mis. ke repositori) — reviewer semakin meminta ini.
8. Catatan kualitas data
- Lengan klinik memuat usia 111 dan 167 bulan (~9 dan 14 tahun) — perlu dikoreksi.
- Komunitas: satu baris dengan
Jumlah jawaban "Ya"= 1; baris ini masuk sebagai "penyimpangan" dan turut membentuk 23 kasus at-risk. - Dedup kami menghasilkan 291 baris; kode Anda 290 (9 duplikat vs 8) — perlu disamakan.
- Tanggal pemeriksaan di luar kampanye: 2022-11-28 dan 2023-11-26.
- 11 varian nama enumerator untuk orang yang sama.
- Berat lahir menurut buku KIA kosong pada 56/302 (18,5%) — sudah ditangani dengan fallback ke laporan ibu, tetapi perlu dicatat di manuskrip.
Lampiran — berkas lengkap
- Laporan hasil penuh: https://files.asahfikir.web.id/journal-revision/analysis/RESULTS.html
- Folder lengkap (skrip, JSON, CSV): https://files.asahfikir.web.id/journal-revision/analysis/
- Reproduksi Table 2:
reproduce_theirs.json - Uji confounding memakai pipeline Anda:
verify_confounding_theirs.json
Seluruh angka di catatan ini dihasilkan dari data dan kode Anda sendiri. Tidak ada yang dikarang. Kami siap mengerjakan ulang framing, methods, dan response letter ke arah mana pun yang tim penulis putuskan.