Verifikasi Independen atas Skrip Analisis · Asahfikir

Catatan untuk Tim Penulis

Catatan untuk Tim Penulis

Verifikasi Independen atas Skrip Analisis & Usulan Arah Revisi

Untuk: Dini Hari Pertiwi, Yarza Aprizal, Eko Setiawan (ITB Palcomtech) Dari: Rijalul Fikri — analisis teknis oleh tim asahfikir Tanggal: 16 Oktober 2026 Konteks: Manuskrip Random Forest Classification for Early Detection of Developmental Delay Risk… — ditolak Jurnal ELTIKOM (novelty/kontribusi kurang)


1. Apa yang kami lakukan

Kami menjalankan ulang pipeline analisis Anda (clean.py → pipeline.py → matched_final.py) dari data mentah, membandingkannya dengan angka di manuskrip, lalu menjalankan analisis tambahan (kalibrasi, decision curve, SHAP, uji confounding).

Kami berhasil mereproduksi Table 2 manuskrip dengan persis — sampai tiga desimal. Justru karena itu, temuan di bawah bukan soal perbedaan metode, melainkan persoalan nyata di dalam kode yang dapat diverifikasi ulang oleh siapa pun.

Kami menemukan dua bug. Keduanya kecil, keduanya mudah diperbaiki, dan keduanya memengaruhi angka yang dilaporkan.


2. Bug #1 — Subskala pola asuh tertukar (clean.py, baris 51)

def likert_block(df, prefix, mapping, n):
    cols = [c for c in df.columns if c.startswith(prefix)]
    out = pd.DataFrame({f'{i+1:02d}': df[c].map(mapping)
                        for i, c in enumerate(sorted(cols))})   # <-- sorted()

sorted() mengurutkan butir secara alfabetis berdasarkan teks pertanyaan, bukan menurut urutan kuesioner. Akibatnya penomoran 01–09 tidak lagi sesuai dengan subskala konseptualnya:

No. Isi butir sebenarnya Konstruk sebenarnya
01 membentak anak authoritarian
02 membiarkan anak melakukan apa saja permissive
03 memuji anak authoritative
04 mencubit / memukul anak authoritarian
05 mengharuskan anak menurut authoritarian
06 menghibur anak authoritative
07 menjelaskan alasan larangan authoritative
08 menuruti semua permintaan permissive
09 sulit melarang anak permissive

Kelompok 01–03 (= "authoritative"), 04–06 (= "authoritarian"), 07–09 (= "permissive") masing-masing menjadi campuran tiga konstruk berbeda. Inilah sebabnya reliabilitasnya tampak rusak. Kami membuktikannya pada data Anda:

Subskala α versi clean.py α grouping yang benar Manuskrip
authoritative +0.100 +0.567 0.10
authoritarian −0.178 +0.160 −0.18
permissive +0.132 +0.591 0.13

Angka kami dari clean.py identik dengan yang dilaporkan manuskrip. Dengan grouping yang benar, dua dari tiga subskala justru dapat diterima (0.567 dan 0.591); hanya authoritarian yang lemah (0.160).

Perbaikannya satu baris: hapus sorted() (pakai urutan kolom asli), atau tetapkan urutan butir secara eksplisit.

Implikasi: kesimpulan manuskrip bahwa "subskala pola asuh tidak reliabel sehingga pola asuh diturunkan ke status eksploratif" bertumpu pada bug ini. Setelah diperbaiki, pola asuh berpotensi kembali menjadi kontribusi yang sah — dan itu justru salah satu pilar novelty yang diminta reviewer.


3. Bug #2 — Analisis matched memakai 23 kasus, bukan 17 (matched_final.py, baris 34–48)

cases = klinik[klinik.age_months <= 72].copy()          # 23 kasus
...
for _, c in cases.iterrows():
    pool = avail[(avail.age_months - c.age_months).abs() <= 6]
    take = pool.sample(n=min(2, len(pool)), random_state=RND)
    if len(take) == 0:
        unmatched_case_ages.append(float(c.age_months))     # dicatat...
matched = pd.concat([matched_controls.assign(case=0),
                     cases.assign(case=1)])                 # ...tapi SEMUA 23 kasus tetap masuk

Enam kasus berusia 66–72 bulan tidak menemukan kontrol dalam kaliber ±6 bulan (kontrol komunitas maksimal 59 bulan). Kasus-kasus itu sudah dicatat sebagai unmatched_case_ages — tetapi karena baris terakhir memakai cases (seluruh 23 kasus), keenamnya tetap ikut dianalisis.

Konstruksi kode Anda Yang tertulis di manuskrip
Baris dataset 57 (34 kontrol + 23 kasus) 51 (34 kontrol + 17 kasus)
cases_matched di metadata 17 17
Confusion matrix OOF TP16/FN7/FP2/TN32 = 57 —

Kami menjalankan ulang kedua versi (pipeline, fitur, dan hyperparameter Anda — identik):

Model Run A — konstruksi kode (57 baris) Run B — diperbaiki (51 baris)
Logistic Regression 0.839 ± 0.079 / 0.859 / 0.740 / 0.777 0.815 ± 0.120 / 0.733 / 0.667 / 0.676
Decision Tree 0.731 ± 0.112 / 0.669 / 0.628 / 0.629 0.722 ± 0.130 / 0.563 / 0.607 / 0.573
Random Forest 0.852 ± 0.082 / 0.890 / 0.750 / 0.791 0.827 ± 0.092 / 0.834 / 0.647 / 0.695
RF pooled OOF TP16/FN7/FP2/TN32 TP11/FN6/FP4/TN30

Run A = Table 2 manuskrip, persis. Ini membuktikan Table 2 dihitung dari 57 baris.

Implikasi: angka utama paper menjadi lebih lemah setelah diperbaiki (F1 0.791 → 0.695; recall 0.750 → 0.647). Klaim "RF outperformed both baselines on every metric" tidak lagi berlaku pada recall dengan set yang benar (LR 0.667 > RF 0.647). Perbaikan: keluarkan enam kasus tak-termatch dari analisis utama, atau ubah kaliber dan laporkan apa adanya.


4. Koreksi atas laporan kami sendiri

Pada laporan awal kami sempat menyimpulkan "Random Forest bukan model terbaik". Kesimpulan itu kami tarik kembali. Itu berasal dari set fitur rekonstruksi kami sendiri, bukan dari kode Anda. Dengan pipeline dan fitur Anda yang sebenarnya, RF memang model terbaik pada Run A di keempat metrik — klaim Anda benar di sana. Yang perlu direvisi hanya cakupannya: pada set yang sudah diperbaiki, "setiap metrik" tidak lagi tepat karena recall LR sedikit lebih tinggi.


5. Temuan yang bertahan — dan justru menguat: confounding kanal rekrutmen

Diuji memakai pipeline dan fitur Anda sendiri, pada set matched yang sudah diperbaiki (17 kasus + 34 kontrol):

Model Fitur F1
Model risiko Anda 21 numerik + 2 kategorikal 0.695 ± 0.173
Channel-only baseline 4 variabel SES saja 0.876 ± 0.126
Model risiko + SES semua 0.902 ± 0.140

ΔF1 = −0.181, 95% CI [−0.500, 0.176], p = 0.00014.

Empat variabel sosial-ekonomi (pendidikan ibu, pendidikan ayah, penghasilan, pekerjaan ibu) secara signifikan mengalahkan seluruh model risiko Anda. Ini bukan artefak metode kami — kami memakai fungsi dan hyperparameter Anda.

Interpretasinya: keluarga klinik jauh lebih berpendidikan dan mampu daripada keluarga posyandu, sehingga sebagian besar daya pisah model berasal dari perbedaan itu, bukan dari kelainan perkembangan. Inilah kelemahan metodologis terpenting untuk dijawab — sekaligus bahan kontribusi terkuat, karena hal ini jarang dilaporkan di literatur ML kesehatan Indonesia.


6. Dua opsi arah revisi

Opsi A — Pivot ke studi validitas (kami rekomendasikan).

Studi validitas yang menunjukkan bahwa model ML case–control untuk developmental delay pada desain rekrutmen dua kanal sebagian besar mempelajari kanal rekrutmen, bukan kelainan perkembangan.

Kenapa lebih kuat: - Temuannya reproducible dari data dan kode Anda sendiri — tidak bisa dibantah reviewer. - Temuan negatif/validitas jarang dipublikasikan, padahal sangat dibutuhkan literatur ML kesehatan Indonesia yang umumnya hanya melaporkan akurasi. - Novelty-nya lebih tinggi dari paper aslinya, dan langsung menjawab keluhan reviewer soal "clear novelty" dan "significant contribution". - Tidak ada pekerjaan yang terbuang. Bug #1 dan #2 bahkan menjadi bagian dari cerita: bagaimana dua kesalahan kecil (feature engineering dan penanganan kasus tak-termatch) cukup untuk mengubah kesimpulan.

Judul usulan:

"Recruitment-Channel Confounding Outweighs Risk Factors in Machine-Learning Case–Control Models of Developmental Delay: A Validity Study"

Opsi B — Perbaiki kedua bug lalu lanjutkan klaim model. Buang 6 kasus tak-termatch dan laporkan Table 2 yang benar (F1 0.695). Risikonya: performa turun, dan masalah confounding kanal tetap belum terjawab tanpa data dengan kanal sebanding.


7. Yang kami butuhkan dari tim

  1. Konfirmasi bahwa Bug #1 dan #2 memang tidak disengaja (kami asumsikan demikian).
  2. Keputusan: Opsi A atau Opsi B.
  3. Definisi resmi prevalensi populasi (π₀) untuk koreksi prior pada analisis kalibrasi.
  4. Apakah skrip akan dirilis (mis. ke repositori) — reviewer semakin meminta ini.

8. Catatan kualitas data

  1. Lengan klinik memuat usia 111 dan 167 bulan (~9 dan 14 tahun) — perlu dikoreksi.
  2. Komunitas: satu baris dengan Jumlah jawaban "Ya" = 1; baris ini masuk sebagai "penyimpangan" dan turut membentuk 23 kasus at-risk.
  3. Dedup kami menghasilkan 291 baris; kode Anda 290 (9 duplikat vs 8) — perlu disamakan.
  4. Tanggal pemeriksaan di luar kampanye: 2022-11-28 dan 2023-11-26.
  5. 11 varian nama enumerator untuk orang yang sama.
  6. Berat lahir menurut buku KIA kosong pada 56/302 (18,5%) — sudah ditangani dengan fallback ke laporan ibu, tetapi perlu dicatat di manuskrip.

Lampiran — berkas lengkap

Seluruh angka di catatan ini dihasilkan dari data dan kode Anda sendiri. Tidak ada yang dikarang. Kami siap mengerjakan ulang framing, methods, dan response letter ke arah mana pun yang tim penulis putuskan.