RingkasanApa yang terjadi & apa yang sudah dikerjakan
Manuskrip ditolak dengan alasan novelty/kontribusi tidak cukup. Setelah membaca penuh manuskrip, akar masalahnya bukan pada data atau hasil — melainkan pada cara kontribusi diposisikan: paper terbaca sebagai “apply Random Forest ke label baru”, sementara metode dan pipeline-nya identik dengan paper stunting yang justru dikutip sendiri.
Prinsip yang dipegang keras: paket ini tidak mengarang satu angka pun. Semua hasil yang belum ada di manuskrip ditulis sebagai placeholder [[TO BE COMPUTED: …]] dan harus dihitung penulis dari data yang mereka miliki. Integritas paper ini (confounding transparan + hasil negatif yang jujur) justru aset terkuatnya — strateginya menjadikan itu bagian dari kontribusi, bukan menutupinya.
Bagian 1Mengapa reviewer menilai novelty kurang
Kutipan alasan penolakan (verbatim): “The manuscript does not sufficiently demonstrate clear novelty or a significant contribution to the existing body of knowledge. We encourage you to refine your study by strengthening its originality, clearly highlighting its contribution.” — template editorial generik; artinya persoalannya murni positioning + bukti.
| # | Masalah | Bukti dari manuskrip |
|---|---|---|
| 1 | Klaim “kontribusi desain” itu higienitas, bukan novelty | Tiga kontribusi yang dinyatakan — tanpa kebocoran label, age-matching, permutation importance — adalah syarat kebenaran, bukan temuan baru. |
| 2 | Confounding recruitment channel (ancaman terbesar) | Kasus dari klinik (online, retrospektif) vs kontrol dari posyandu (tatap muka). Menambah fitur sosial-ekonomi menaikkan accuracy ke 0.983 → model sebagian mendeteksi kanal, bukan delay. Dilaporkan sebagai caveat, bukan dipecahkan. |
| 3 | Metode = komoditas | Random Forest + scikit-learn + 5-fold CV + permutation importance identik dengan literatur stunting Indonesia [4]–[8]. Label baru, mesin sama. |
| 4 | Validitas konstruk “parenting” lemah | Reliabilitas subskala α = 0.10 / −0.18 / 0.13. Pilar parenting tidak didukung psikometri. |
| 5 | Sampel kecil & prediktor rapuh | 17 kasus matched (SD ±0.08–0.20 → model tidak stabil). “Screen time” sebagai prediktor dominan (0.223) hanya berasal dari satu item kuesioner. |
Respons strategis 3 tier
Tier 1 — Reframe (tanpa data, tanpa kode)
Posisikan sebagai clinical prediction model (TRIPOD+AI); geser dari “classifier diagnostik” ke alat triase pra-skrining. Angkat hasil negatif komunitas (recall 0.15) menjadi kontribusi batas yang jujur. Turunkan parenting ke status eksploratif.
Tier 2 — Analisis ulang (data eksisting, wajib untuk lolos)
Serang confounding seekor langsung: baseline channel-only, SES balancing, invariance test. Tambah kalibrasi, Decision Curve Analysis, ablation cluster, benchmark tambahan (XGBoost + LR terkalibrasi), dan TreeSHAP per-anak.
Tier 3 — Roadmap riset (data baru)
Deklarasikan di Limitations/Future Work: z-score antropometri WHO, rekrutmen multi-center, instrumen screen exposure multi-item, validasi psikometri parenting.
Bagian 2Framing baru & lima kontribusi
Judul usulan
Opsi A — problem/triage (rekomendasi):
From Screening to Triage: An Interpretable Random Forest Model of Modifiable Caregiving and Perinatal Risk Factors for Early Detection of Developmental Delay in Indonesia
Opsi B — validity-forward:
Caregiving-Based Machine Learning Triage for Developmental Delay Risk: An Age-Matched Case–Control Study Quantifying Recruitment-Channel Confounding and Delimiting Risk Modelling from Formal Screening
Kontribusi C1–C5 (falsifiable)
| Kode | Jenis | Kontribusi | Gap yang diisi | Syarat falsifikasi |
|---|---|---|---|---|
| C1 | Problem | Model prediksi pertama untuk developmental delay anak Indonesia yang dibangun eksklusif dari faktor caregiving/perinatal (tanpa item tes perkembangan), disajikan sebagai alat triase terinterpretasi. | ML Indonesia terbatas pada stunting/antropometri [4]–[8]; KPSP tervalidasi tapi tanpa model risiko pendamping [3]. | Adanya model risiko delay anak Indonesia yang sudah dipublikasikan dengan fitur non-tes semata. |
| C2 | Validity | Case–control age-matched plus kuantifikasi & mitigasi confounding recruitment channel: baseline channel-only, matching SES, uji invariance importance. | Tidak ada baris di Table G yang mengukur confounding konstruksi sampel; [18] dan [4]–[8] hanya menangani class balance & akurasi. | Baseline channel-only menyamai model penuh, atau model SES-matched jatuh ke level kebetulan. |
| C3 | Decision | Kalibrasi (Brier, slope/intercept) + Decision Curve Analysis yang menunjukkan net benefit positif pada rentang threshold rujukan realistis (pt ≈ 0.15–0.40) terhadap baseline “screen all” dan KPSP-alone. | Pelaporan hanya akurasi di [4]–[8]; metodologi decision curve absen di domain ini. | Net benefit nol/negatif terhadap screen-all atau praktik standar di rentang threshold operasional. |
| C4 | Boundary | Hasil negatif yang tegas: faktor kuesioner tidak mendiskriminasi outcome KPSP di komunitas unselected (recall kelas at-risk 0.15) — menetapkan batas apa yang tidak bisa digantikan pra-skrining. | Belum pernah dilaporkan; [11],[12] memberi asosiasi, bukan batas prediksi berbasis representasi. | Re-analisis menunjukkan faktor kuesioner mereproduksi hasil skrining KPSP populasi umum pada sensitivitas yang berguna. |
| C5 | Interpretability | TreeSHAP per-anak menerjemahkan prediksi menjadi intervensi konseling konkret bagi kader kesehatan (batasi media digital, hentikan paparan asap rokok, stimulasi positif), disertai vignette kasus. | [4]–[8] paling jauh hanya importance global; SHAP belum dipakai untuk target konseling per-anak di domain ini. | Atribusi SHAP tidak stabil antar-fold atau bertentangan dengan hirarki permutation importance global. |
Catatan scope yang jujur (disengaja): parenting diturunkan dari klaim utama karena α-nya tidak layak (0.10 / −0.18 / 0.13; skala stimulasi tetap andal, α = 0.789). Tidak ada klaim berbasis besaran performa, karena sampel matched hanya 17 kasus. C2, C3, C5 dinyatakan sebagai prosedur + syarat falsifikasi, bukan hasil jadi.
Bagian 3Gap analysis (Table G)
Pernyataan gap satu kalimat diganti tabel eksplisit: satu baris per referensi [1]–[18] plus literatur metodologis, tiap baris dipetakan ke kontribusi (C1–C5). Cuplikan baris kunci:
| Prior work | Apa yang dilakukan | Apa yang TIDAK dijawab | Map |
|---|---|---|---|
| Walker 2011 [1] | Sintesis bukti epidemiologis faktor risiko perkembangan anak di LMIC | Asosiasi populasi, bukan skor risiko individual atau aturan keputusan triase | C1 |
| Kemenkes SDIDTK 2016 [2] | Protokol nasional pemantauan tumbuh kembang via KPSP | Manual & bergantung tenaga kesehatan; tanpa aturan prioritisasi saat kapasitas posyandu terbatas | C1, C3 |
| Dhamayanti 2006 [3] | Validasi KPSP terhadap Denver II (sens 60%, spec 92%) | Validasi instrumen saja; 40% false-negative dibiarkan, tanpa filter triase risiko pendamping | C1, C3, C4 |
| Candra/Dhani/Syahfitri/Lestari/Ratnasari [4]–[8] | ML untuk klasifikasi stunting dari antropometri (SVM, RF, bagging) | Outcome antropometri saja; tanpa prediktor caregiving; pelaporan akurasi tanpa kalibrasi/decision curve | C1, C2, C3 |
| Madigan 2019 [11] / Chonchaiya 2008 [12] | Asosiasi screen time dengan skor skrining & bahasa yang lebih rendah | Kohort/asosiasi; tanpa model prediktif multivariabel atau evaluasi net benefit klinis | C1, C5 |
| Breiman 2001 [9] | Random Forest + permutation importance | Paper metode; diam soal confounding rekrutmen pada case–control klinis | C1, C2 |
| Robinson [13] / Baumrind [14] / Kariger [15] | PSDQ + tipologi parenting; Family Care Indicators | Instrumen Barat; adaptasi singkat Indonesia belum dilaporkan reliabilitasnya dalam model ML | C1, C4 |
| Chawla 2002 [18] | SMOTE untuk data tidak seimbang | Mengubah distribusi kelas, tidak menangani confounding seleksi antara klinik dan komunitas | C2 |
| Collins 2024 (TRIPOD+AI) | Standar pelaporan model prediksi klinis berbasis AI/ML | Panduan, bukan bukti; literatur ML domain ini praktis mengabaikan kalibrasi & utilitas klinis | C1, C3 |
| Vickers & Elkin 2006 (DCA) | Net benefit lintas threshold keputusan | Standar metodologis; absen total dari paper klasifikasi kesehatan anak Indonesia sebelumnya | C3 |
| Van Calster 2019 (calibration) | Kalibrasi sebagai penentu utama utilitas risiko klinis | Paper sebelumnya bergantung pada diskriminasi saja (AUC/akurasi) | C3 |
| Lundberg & Lee 2017 (TreeSHAP) | Atribusi fitur aditif game-theoretic | Metode XAI; belum dipakai di setting ini untuk target konseling garis depan | C5 |
Bagian 4Tujuh analisis tambahan (siap-jalan)
Untuk tiap penambahan, 02-added-methods-results-draft.md menyediakan: (i) paragraf Methods siap tempel, (ii) template paragraf Results, (iii) spesifikasi tabel/gambar, dan (iv) satu baris AUTHOR ACTION berisi pustaka, fungsi, dan output yang diharapkan. Total 210 placeholder [[TO BE COMPUTED]], nol metrik fabrikasi.
| # | Analisis | Peran dalam pertahanan novelty | Tool / fungsi | Placeholder yang harus diisi |
|---|---|---|---|---|
| 1 | TRIPOD+AI alignment | Menandakan rigor model prediksi klinis internasional; menstrukturkan seluruh paper | Checklist 27 item TRIPOD+AI | [[TO BE COMPUTED: jumlah item terpenuhi]] · [[TO BE COMPUTED: item parsial tersisa]] |
| 2 | Kalibrasi probabilitas | Menilai reliabilitas risiko terprediksi; syarat deployment klinis | sklearn.calibration.calibration_curve, brier_score_loss, statsmodels.Logit | [[TO BE COMPUTED: Brier]] · [[TO BE COMPUTED: slope (95% CI)]] · [[TO BE COMPUTED: intercept (95% CI)]] · [[TO BE COMPUTED: risk strata n, kasus, PPV]] |
| 3 | Decision Curve Analysis | Membuktikan net benefit atas “Screen All” dan KPSP-alone | dcurves.dca; NB = TP/N − (FP/N)·(pt/(1−pt)) | [[TO BE COMPUTED: max net benefit]] · [[TO BE COMPUTED: NB pada p_t=0.25]] · [[TO BE COMPUTED: Δ NB vs KPSP-alone]] |
| 4 | Confound-robust modeling | Mengubah confound SES-rekrutmen menjadi batas tervalidasi internal | Baseline channel-only RF; pymatch/NearestNeighbors; SMD | [[TO BE COMPUTED: channel-only accuracy, F1, recall]] · [[TO BE COMPUTED: ΔF1 vs channel-only]] · [[TO BE COMPUTED: n kasus/kontrol SES-matched]] |
| 5 | Channel invariance check | Membuktikan importance screen time bukan artefak rekrutmen klinik | Permutation importance per arm; scipy.stats.spearmanr | [[TO BE COMPUTED: Spearman rho]] · [[TO BE COMPUTED: rank di case arm]] · [[TO BE COMPUTED: rank di control arm]] |
| 6 | Ablation cluster fitur | Mengukur nilai inkremental input caregiving yang dapat diubah di atas riwayat perinatal | Loop nested / leave-one-out CV | [[TO BE COMPUTED: F1 baseline perinatal]] · [[TO BE COMPUTED: ΔF1 +parenting]] · [[TO BE COMPUTED: ΔF1 +stimulation]] · [[TO BE COMPUTED: ΔF1 +screen time]] |
| 7 | Benchmark + TreeSHAP | Menambah XGBoost & LR terkalibrasi; waterfall per-anak untuk konseling | xgboost.XGBClassifier, shap.TreeExplainer, shap.plots.waterfall | [[TO BE COMPUTED: XGBoost F1, Brier, AUC]] · [[TO BE COMPUTED: Calibrated LR F1, Brier]] · [[TO BE COMPUTED: SHAP vignette kasus]] |
Bagian 5Empat temuan kritis dari analisis lanjutan
Ini koreksi terhadap rencana awal saya — dan penting, karena salah satunya blocker.
① Blocker: desain matched mengunci prevalence. Matching 1:2 memaku proporsi kasus di 33.3%. Artinya kalibrasi, Brier score, risk strata, net benefit, dan SHAP pada skala probabilitas tidak terkalibrasi populasi. Menambahkan kalibrasi secara naif akan menghasilkan estimasi risiko yang tidak bermakna. Wajib lebih dulu: prior correction (faktor Pozzolo 2015) + menetapkan & menyumberkan prevalence π₀ — item T2.11, blocker upstream untuk analisis #2, #3, #4.
② Komparator “KPSP-only” tidak bisa dibangun secara empiris
KPSP tidak diadministrasikan pada lengan klinik. Dipecah dua: komparator empiris (lengan komunitas saja, n=290) dan komparator analitik memakai sensitivitas/spesifisitas publikasi (60%/92%) — bukan satu perbandingan langsung seperti di rencana awal.
③ Retensi model tidak boleh diasumsikan
Rencana awal: “justifikasi RF lewat trade-off interpretabilitas”. Dengan 17 kasus matched, XGBoost bisa menang di luar variabilitas antar-fold. Instruksinya diubah: ganti model kalau memang menang, jangan membela RF secara buta.
④ Z-score antropometri bukan murni Tier 3
Manuskrip menyebut antropometri hari yang sama memang terekam di lengan komunitas → analisis z-score khusus lengan komunitas masuk Tier 2 (~0.5 hari), bukan data baru.
Bagian 6Checklist penulis
Tier 1 — Reframe (teks saja, tanpa data, ~6.2 hari)
| ID | Aksi | Deskripsi & seksi target | Effort | Status |
|---|---|---|---|---|
| T1.1 | Ganti judul | Adopsi Opsi A (triage) atau Opsi B (validity) | 0.1 d | Siap |
| T1.2 | Table G | Tempel Table G ke Section I, memetakan referensi prior | 1.0 d | Siap |
| T1.3 | Tulis ulang kontribusi | Ganti item higienitas dengan klaim falsifiable C1–C5 di Section I | 0.5 d | Siap |
| T1.4 | Angkat hasil negatif | Elevasi KPSP recall 0.15 komunitas menjadi kontribusi batas headline | 0.5 d | Siap |
| T1.5 | Abstract | Restrukturisasi ke format TRIPOD+AI for Abstracts | 0.5 d | Siap |
| T1.6 | Checklist TRIPOD+AI | Lengkapi 27 item sebagai Supplementary Table S1 | 0.5 d | Siap |
| T1.7–14 | Polish kontekstual | Care pathway, kesenjangan kesehatan, etika, ketersediaan kode, limitations jujur, response letter ke editor | 3.1 d | Draf ada |
Tier 2 — Analisis ulang pada data eksisting (~12.4 hari, wajib untuk lolos)
| ID | Analisis | Skrip / tool operasional | Effort | Prioritas |
|---|---|---|---|---|
| T2.11 | Prevalence anchor | Tetapkan prevalence π₀ target populasi untuk faktor prior correction | 0.3 d | Prereq |
| T2.2 | Calibration curve | Brier score, slope, intercept, tabel stratifikasi risiko 3 tingkat | 1.0 d | Wajib |
| T2.3 | Decision Curve Analysis | dcurves.dca vs Screen-All, Screen-None, KPSP-only | 0.5 d | Wajib |
| T2.4 | Channel-only baseline | Fit RF pada fitur SES saja; ΔF1 berpasangan vs model penuh | 0.5 d | Wajib |
| T2.5 | SES-balanced matching | Dual matching (usia ±6 bln + pendidikan ibu); Love plot | 1.5 d | Wajib |
| T2.6 | Invariance check | Permutation importance per arm; korelasi ranking Spearman | 0.5 d | Wajib |
| T2.7 | Cluster ablation | Feature set bertingkat (perinatal → parenting → stimulation → screen time) | 0.5 d | Wajib |
| T2.8 | TreeSHAP & vignette | Beeswarm, waterfall, isi teks vignette kasus | 1.0 d | Wajib |
| T2.9 | Benchmark lanjutan | Tambah XGBoost dan LR terkalibrasi; bandingkan trade-off | 1.5 d | Wajib |
| T2.10 | Bootstrap CI 95% | Resample 2.000× untuk semua metrik diskriminasi | 0.5 d | Wajib |
| T2.12–16 | Kelengkapan pelaporan | Tabel karakteristik peserta, flow diagram, rilis kode/DOI | 4.6 d | Wajib |
Tier 3 — Roadmap riset (dinyatakan di Discussion/Limitations)
| ID | Work package | Objektif |
|---|---|---|
| T3.1 | Screen exposure multi-item | Ganti satu item ordinal dengan instrumen multidimensi tervalidasi |
| T3.2 | Instrumen parenting | Validasi PSDQ short form Indonesia (menjawab kegagalan α) |
| T3.3 | Z-score WHO | Integrasi HAZ/WAZ/WHZ untuk interaksi stunting × screen time (catatan: analisis khusus lengan komunitas ~0.5 d bisa naik ke Tier 2) |
| T3.4 | Validasi eksternal multi-center | Validasi prospektif di klinik/posyandu sekunder se-Sumatera Selatan |
Urutan prioritas jika waktu sempit: ~14–16 hari-kerja untuk jalur wajib. Yang wajib = Tier 1 penuh + T2.11 + analisis #4/#5 (confounding) + #2/#3 dengan koreksi prior yang benar. Yang opsional = ablation, SHAP (kalau waktu habis, C5 bisa turun jadi future work).
Yang checklist ini sengaja TIDAK lakukan: tidak menjanjikan hasil membaik; tidak menuliskan hasil sebelum analisis dijalankan; tidak memaku pilihan Random Forest.
Bagian 7Berkas & status
| Berkas | Isi | Status |
|---|---|---|
| 01-reframed-framing.md | Judul (2 opsi), abstract, introduction + Table G, C1–C5, conclusion | Selesai & diaudit |
| 02-added-methods-results-draft.md | 7 penambahan: Methods siap tempel, template Results, spec tabel/gambar, AUTHOR ACTION | Selesai & diaudit |
| 03-response-letter.md | Response point-by-point + change log per seksi | Selesai & diaudit |
| 04-author-todo.md | Checklist Tier 1/2/3 + rantai dependensi + urutan prioritas | Selesai & diaudit |
| 05-review-report.html | Laporan ini (versi on-brand asahfikir) | Selesai |
Batas dan catatan jujur
- Belum ada analisis yang dijalankan — tidak ada akses ke data penulis. Seluruh paket ini adalah spesifikasi + draf teks, bukan hasil.
- Kutipan baru (TRIPOD+AI; PROBAST; Vickers & Elkin 2006; Van Calster 2019; Steyerberg 2010; Riley 2020; Lundberg & Lee 2017; Brier 1950; van den Goorbergh 2022) dipakai tanpa mengarang DOI/volume/halaman; 5 entri ditandai [[VERIFY CITE]] dan nomor item TRIPOD ditandai [[VERIFY ITEM NUMBERS]] sampai dicek manual.
- Tier 1 saja kemungkinan belum cukup untuk reviewer yang keras. Yang benar-benar menggerakkan penilaian adalah Tier 2 — dan itu berarti analisis dijalankan.
- Pengiriman apa pun ke jurnal menunggu persetujuan eksplisit Fikri.