Laporan Review · Asahfikir

Memperkuat Novelty Manuskrip Jurnal ELTIKOM

Diagnosis penolakan, framing baru, analisis yang wajib ditambahkan, dan checklist kerja untuk penulis.

Manuskrip: Random Forest Classification for Early Detection of Developmental Delay Risk in Children Based on Parenting, Stimulation, and Perinatal Risk Factors
Penulis: Dini Hari Pertiwi, Yarza Aprizal, Eko Setiawan — ITB Palcomtech, Palembang
Target: Jurnal ELTIKOM (Politeknik Negeri Banjarmasin) · Tanggal: Oktober 2026 · Sifat: draft internal

RingkasanApa yang terjadi & apa yang sudah dikerjakan


Manuskrip ditolak dengan alasan novelty/kontribusi tidak cukup. Setelah membaca penuh manuskrip, akar masalahnya bukan pada data atau hasil — melainkan pada cara kontribusi diposisikan: paper terbaca sebagai “apply Random Forest ke label baru”, sementara metode dan pipeline-nya identik dengan paper stunting yang justru dikutip sendiri.

5
akar masalah novelty
5
kontribusi baru (C1–C5), bersyarat falsifikasi
7
analisis tambahan siap-jalan
~14–16
hari-kerja penulis untuk jalur wajib

Prinsip yang dipegang keras: paket ini tidak mengarang satu angka pun. Semua hasil yang belum ada di manuskrip ditulis sebagai placeholder [[TO BE COMPUTED: …]] dan harus dihitung penulis dari data yang mereka miliki. Integritas paper ini (confounding transparan + hasil negatif yang jujur) justru aset terkuatnya — strateginya menjadikan itu bagian dari kontribusi, bukan menutupinya.

Bagian 1Mengapa reviewer menilai novelty kurang


Kutipan alasan penolakan (verbatim): “The manuscript does not sufficiently demonstrate clear novelty or a significant contribution to the existing body of knowledge. We encourage you to refine your study by strengthening its originality, clearly highlighting its contribution.” — template editorial generik; artinya persoalannya murni positioning + bukti.

Lima akar masalah, urut prioritas
#MasalahBukti dari manuskrip
1Klaim “kontribusi desain” itu higienitas, bukan noveltyTiga kontribusi yang dinyatakan — tanpa kebocoran label, age-matching, permutation importance — adalah syarat kebenaran, bukan temuan baru.
2Confounding recruitment channel (ancaman terbesar)Kasus dari klinik (online, retrospektif) vs kontrol dari posyandu (tatap muka). Menambah fitur sosial-ekonomi menaikkan accuracy ke 0.983 → model sebagian mendeteksi kanal, bukan delay. Dilaporkan sebagai caveat, bukan dipecahkan.
3Metode = komoditasRandom Forest + scikit-learn + 5-fold CV + permutation importance identik dengan literatur stunting Indonesia [4]–[8]. Label baru, mesin sama.
4Validitas konstruk “parenting” lemahReliabilitas subskala α = 0.10 / −0.18 / 0.13. Pilar parenting tidak didukung psikometri.
5Sampel kecil & prediktor rapuh17 kasus matched (SD ±0.08–0.20 → model tidak stabil). “Screen time” sebagai prediktor dominan (0.223) hanya berasal dari satu item kuesioner.

Respons strategis 3 tier

Tier 1 — Reframe (tanpa data, tanpa kode)

Posisikan sebagai clinical prediction model (TRIPOD+AI); geser dari “classifier diagnostik” ke alat triase pra-skrining. Angkat hasil negatif komunitas (recall 0.15) menjadi kontribusi batas yang jujur. Turunkan parenting ke status eksploratif.

Tier 2 — Analisis ulang (data eksisting, wajib untuk lolos)

Serang confounding seekor langsung: baseline channel-only, SES balancing, invariance test. Tambah kalibrasi, Decision Curve Analysis, ablation cluster, benchmark tambahan (XGBoost + LR terkalibrasi), dan TreeSHAP per-anak.

Tier 3 — Roadmap riset (data baru)

Deklarasikan di Limitations/Future Work: z-score antropometri WHO, rekrutmen multi-center, instrumen screen exposure multi-item, validasi psikometri parenting.

Bagian 2Framing baru & lima kontribusi


Judul usulan

Opsi A — problem/triage (rekomendasi):
From Screening to Triage: An Interpretable Random Forest Model of Modifiable Caregiving and Perinatal Risk Factors for Early Detection of Developmental Delay in Indonesia

Opsi B — validity-forward:
Caregiving-Based Machine Learning Triage for Developmental Delay Risk: An Age-Matched Case–Control Study Quantifying Recruitment-Channel Confounding and Delimiting Risk Modelling from Formal Screening

Kontribusi C1–C5 (falsifiable)

Setiap klaim menyebut apa yang akan memfalsifikasinya — reviewer bisa menguji, bukan sekadar menerima
KodeJenisKontribusiGap yang diisiSyarat falsifikasi
C1ProblemModel prediksi pertama untuk developmental delay anak Indonesia yang dibangun eksklusif dari faktor caregiving/perinatal (tanpa item tes perkembangan), disajikan sebagai alat triase terinterpretasi.ML Indonesia terbatas pada stunting/antropometri [4]–[8]; KPSP tervalidasi tapi tanpa model risiko pendamping [3].Adanya model risiko delay anak Indonesia yang sudah dipublikasikan dengan fitur non-tes semata.
C2ValidityCase–control age-matched plus kuantifikasi & mitigasi confounding recruitment channel: baseline channel-only, matching SES, uji invariance importance.Tidak ada baris di Table G yang mengukur confounding konstruksi sampel; [18] dan [4]–[8] hanya menangani class balance & akurasi.Baseline channel-only menyamai model penuh, atau model SES-matched jatuh ke level kebetulan.
C3DecisionKalibrasi (Brier, slope/intercept) + Decision Curve Analysis yang menunjukkan net benefit positif pada rentang threshold rujukan realistis (pt ≈ 0.15–0.40) terhadap baseline “screen all” dan KPSP-alone.Pelaporan hanya akurasi di [4]–[8]; metodologi decision curve absen di domain ini.Net benefit nol/negatif terhadap screen-all atau praktik standar di rentang threshold operasional.
C4BoundaryHasil negatif yang tegas: faktor kuesioner tidak mendiskriminasi outcome KPSP di komunitas unselected (recall kelas at-risk 0.15) — menetapkan batas apa yang tidak bisa digantikan pra-skrining.Belum pernah dilaporkan; [11],[12] memberi asosiasi, bukan batas prediksi berbasis representasi.Re-analisis menunjukkan faktor kuesioner mereproduksi hasil skrining KPSP populasi umum pada sensitivitas yang berguna.
C5InterpretabilityTreeSHAP per-anak menerjemahkan prediksi menjadi intervensi konseling konkret bagi kader kesehatan (batasi media digital, hentikan paparan asap rokok, stimulasi positif), disertai vignette kasus.[4]–[8] paling jauh hanya importance global; SHAP belum dipakai untuk target konseling per-anak di domain ini.Atribusi SHAP tidak stabil antar-fold atau bertentangan dengan hirarki permutation importance global.

Catatan scope yang jujur (disengaja): parenting diturunkan dari klaim utama karena α-nya tidak layak (0.10 / −0.18 / 0.13; skala stimulasi tetap andal, α = 0.789). Tidak ada klaim berbasis besaran performa, karena sampel matched hanya 17 kasus. C2, C3, C5 dinyatakan sebagai prosedur + syarat falsifikasi, bukan hasil jadi.

Bagian 3Gap analysis (Table G)


Pernyataan gap satu kalimat diganti tabel eksplisit: satu baris per referensi [1]–[18] plus literatur metodologis, tiap baris dipetakan ke kontribusi (C1–C5). Cuplikan baris kunci:

Table G (cuplikan) — apa yang dikerjakan prior work vs yang belum
Prior workApa yang dilakukanApa yang TIDAK dijawabMap
Walker 2011 [1]Sintesis bukti epidemiologis faktor risiko perkembangan anak di LMICAsosiasi populasi, bukan skor risiko individual atau aturan keputusan triaseC1
Kemenkes SDIDTK 2016 [2]Protokol nasional pemantauan tumbuh kembang via KPSPManual & bergantung tenaga kesehatan; tanpa aturan prioritisasi saat kapasitas posyandu terbatasC1, C3
Dhamayanti 2006 [3]Validasi KPSP terhadap Denver II (sens 60%, spec 92%)Validasi instrumen saja; 40% false-negative dibiarkan, tanpa filter triase risiko pendampingC1, C3, C4
Candra/Dhani/Syahfitri/Lestari/Ratnasari [4]–[8]ML untuk klasifikasi stunting dari antropometri (SVM, RF, bagging)Outcome antropometri saja; tanpa prediktor caregiving; pelaporan akurasi tanpa kalibrasi/decision curveC1, C2, C3
Madigan 2019 [11] / Chonchaiya 2008 [12]Asosiasi screen time dengan skor skrining & bahasa yang lebih rendahKohort/asosiasi; tanpa model prediktif multivariabel atau evaluasi net benefit klinisC1, C5
Breiman 2001 [9]Random Forest + permutation importancePaper metode; diam soal confounding rekrutmen pada case–control klinisC1, C2
Robinson [13] / Baumrind [14] / Kariger [15]PSDQ + tipologi parenting; Family Care IndicatorsInstrumen Barat; adaptasi singkat Indonesia belum dilaporkan reliabilitasnya dalam model MLC1, C4
Chawla 2002 [18]SMOTE untuk data tidak seimbangMengubah distribusi kelas, tidak menangani confounding seleksi antara klinik dan komunitasC2
Collins 2024 (TRIPOD+AI)Standar pelaporan model prediksi klinis berbasis AI/MLPanduan, bukan bukti; literatur ML domain ini praktis mengabaikan kalibrasi & utilitas klinisC1, C3
Vickers & Elkin 2006 (DCA)Net benefit lintas threshold keputusanStandar metodologis; absen total dari paper klasifikasi kesehatan anak Indonesia sebelumnyaC3
Van Calster 2019 (calibration)Kalibrasi sebagai penentu utama utilitas risiko klinisPaper sebelumnya bergantung pada diskriminasi saja (AUC/akurasi)C3
Lundberg & Lee 2017 (TreeSHAP)Atribusi fitur aditif game-theoreticMetode XAI; belum dipakai di setting ini untuk target konseling garis depanC5

Bagian 4Tujuh analisis tambahan (siap-jalan)


Untuk tiap penambahan, 02-added-methods-results-draft.md menyediakan: (i) paragraf Methods siap tempel, (ii) template paragraf Results, (iii) spesifikasi tabel/gambar, dan (iv) satu baris AUTHOR ACTION berisi pustaka, fungsi, dan output yang diharapkan. Total 210 placeholder [[TO BE COMPUTED]], nol metrik fabrikasi.

Analisis yang membentuk novelty + yang harus dihitung penulis
#AnalisisPeran dalam pertahanan noveltyTool / fungsiPlaceholder yang harus diisi
1TRIPOD+AI alignmentMenandakan rigor model prediksi klinis internasional; menstrukturkan seluruh paperChecklist 27 item TRIPOD+AI[[TO BE COMPUTED: jumlah item terpenuhi]] · [[TO BE COMPUTED: item parsial tersisa]]
2Kalibrasi probabilitasMenilai reliabilitas risiko terprediksi; syarat deployment klinissklearn.calibration.calibration_curve, brier_score_loss, statsmodels.Logit[[TO BE COMPUTED: Brier]] · [[TO BE COMPUTED: slope (95% CI)]] · [[TO BE COMPUTED: intercept (95% CI)]] · [[TO BE COMPUTED: risk strata n, kasus, PPV]]
3Decision Curve AnalysisMembuktikan net benefit atas “Screen All” dan KPSP-alonedcurves.dca; NB = TP/N − (FP/N)·(pt/(1−pt))[[TO BE COMPUTED: max net benefit]] · [[TO BE COMPUTED: NB pada p_t=0.25]] · [[TO BE COMPUTED: Δ NB vs KPSP-alone]]
4Confound-robust modelingMengubah confound SES-rekrutmen menjadi batas tervalidasi internalBaseline channel-only RF; pymatch/NearestNeighbors; SMD[[TO BE COMPUTED: channel-only accuracy, F1, recall]] · [[TO BE COMPUTED: ΔF1 vs channel-only]] · [[TO BE COMPUTED: n kasus/kontrol SES-matched]]
5Channel invariance checkMembuktikan importance screen time bukan artefak rekrutmen klinikPermutation importance per arm; scipy.stats.spearmanr[[TO BE COMPUTED: Spearman rho]] · [[TO BE COMPUTED: rank di case arm]] · [[TO BE COMPUTED: rank di control arm]]
6Ablation cluster fiturMengukur nilai inkremental input caregiving yang dapat diubah di atas riwayat perinatalLoop nested / leave-one-out CV[[TO BE COMPUTED: F1 baseline perinatal]] · [[TO BE COMPUTED: ΔF1 +parenting]] · [[TO BE COMPUTED: ΔF1 +stimulation]] · [[TO BE COMPUTED: ΔF1 +screen time]]
7Benchmark + TreeSHAPMenambah XGBoost & LR terkalibrasi; waterfall per-anak untuk konselingxgboost.XGBClassifier, shap.TreeExplainer, shap.plots.waterfall[[TO BE COMPUTED: XGBoost F1, Brier, AUC]] · [[TO BE COMPUTED: Calibrated LR F1, Brier]] · [[TO BE COMPUTED: SHAP vignette kasus]]

Bagian 5Empat temuan kritis dari analisis lanjutan


Ini koreksi terhadap rencana awal saya — dan penting, karena salah satunya blocker.

① Blocker: desain matched mengunci prevalence. Matching 1:2 memaku proporsi kasus di 33.3%. Artinya kalibrasi, Brier score, risk strata, net benefit, dan SHAP pada skala probabilitas tidak terkalibrasi populasi. Menambahkan kalibrasi secara naif akan menghasilkan estimasi risiko yang tidak bermakna. Wajib lebih dulu: prior correction (faktor Pozzolo 2015) + menetapkan & menyumberkan prevalence π₀ — item T2.11, blocker upstream untuk analisis #2, #3, #4.

② Komparator “KPSP-only” tidak bisa dibangun secara empiris

KPSP tidak diadministrasikan pada lengan klinik. Dipecah dua: komparator empiris (lengan komunitas saja, n=290) dan komparator analitik memakai sensitivitas/spesifisitas publikasi (60%/92%) — bukan satu perbandingan langsung seperti di rencana awal.

③ Retensi model tidak boleh diasumsikan

Rencana awal: “justifikasi RF lewat trade-off interpretabilitas”. Dengan 17 kasus matched, XGBoost bisa menang di luar variabilitas antar-fold. Instruksinya diubah: ganti model kalau memang menang, jangan membela RF secara buta.

④ Z-score antropometri bukan murni Tier 3

Manuskrip menyebut antropometri hari yang sama memang terekam di lengan komunitas → analisis z-score khusus lengan komunitas masuk Tier 2 (~0.5 hari), bukan data baru.

Bagian 6Checklist penulis


Tier 1 — Reframe (teks saja, tanpa data, ~6.2 hari)

Aksi teks — bisa dikerjakan segera
IDAksiDeskripsi & seksi targetEffortStatus
T1.1Ganti judulAdopsi Opsi A (triage) atau Opsi B (validity)0.1 dSiap
T1.2Table GTempel Table G ke Section I, memetakan referensi prior1.0 dSiap
T1.3Tulis ulang kontribusiGanti item higienitas dengan klaim falsifiable C1–C5 di Section I0.5 dSiap
T1.4Angkat hasil negatifElevasi KPSP recall 0.15 komunitas menjadi kontribusi batas headline0.5 dSiap
T1.5AbstractRestrukturisasi ke format TRIPOD+AI for Abstracts0.5 dSiap
T1.6Checklist TRIPOD+AILengkapi 27 item sebagai Supplementary Table S10.5 dSiap
T1.7–14Polish kontekstualCare pathway, kesenjangan kesehatan, etika, ketersediaan kode, limitations jujur, response letter ke editor3.1 dDraf ada

Tier 2 — Analisis ulang pada data eksisting (~12.4 hari, wajib untuk lolos)

Inti pertahanan novelty ada di sini
IDAnalisisSkrip / tool operasionalEffortPrioritas
T2.11Prevalence anchorTetapkan prevalence π₀ target populasi untuk faktor prior correction0.3 dPrereq
T2.2Calibration curveBrier score, slope, intercept, tabel stratifikasi risiko 3 tingkat1.0 dWajib
T2.3Decision Curve Analysisdcurves.dca vs Screen-All, Screen-None, KPSP-only0.5 dWajib
T2.4Channel-only baselineFit RF pada fitur SES saja; ΔF1 berpasangan vs model penuh0.5 dWajib
T2.5SES-balanced matchingDual matching (usia ±6 bln + pendidikan ibu); Love plot1.5 dWajib
T2.6Invariance checkPermutation importance per arm; korelasi ranking Spearman0.5 dWajib
T2.7Cluster ablationFeature set bertingkat (perinatal → parenting → stimulation → screen time)0.5 dWajib
T2.8TreeSHAP & vignetteBeeswarm, waterfall, isi teks vignette kasus1.0 dWajib
T2.9Benchmark lanjutanTambah XGBoost dan LR terkalibrasi; bandingkan trade-off1.5 dWajib
T2.10Bootstrap CI 95%Resample 2.000× untuk semua metrik diskriminasi0.5 dWajib
T2.12–16Kelengkapan pelaporanTabel karakteristik peserta, flow diagram, rilis kode/DOI4.6 dWajib

Tier 3 — Roadmap riset (dinyatakan di Discussion/Limitations)

Dinyatakan sebagai future work, bukan diklaim sekarang
IDWork packageObjektif
T3.1Screen exposure multi-itemGanti satu item ordinal dengan instrumen multidimensi tervalidasi
T3.2Instrumen parentingValidasi PSDQ short form Indonesia (menjawab kegagalan α)
T3.3Z-score WHOIntegrasi HAZ/WAZ/WHZ untuk interaksi stunting × screen time (catatan: analisis khusus lengan komunitas ~0.5 d bisa naik ke Tier 2)
T3.4Validasi eksternal multi-centerValidasi prospektif di klinik/posyandu sekunder se-Sumatera Selatan

Urutan prioritas jika waktu sempit: ~14–16 hari-kerja untuk jalur wajib. Yang wajib = Tier 1 penuh + T2.11 + analisis #4/#5 (confounding) + #2/#3 dengan koreksi prior yang benar. Yang opsional = ablation, SHAP (kalau waktu habis, C5 bisa turun jadi future work).

Yang checklist ini sengaja TIDAK lakukan: tidak menjanjikan hasil membaik; tidak menuliskan hasil sebelum analisis dijalankan; tidak memaku pilihan Random Forest.

Bagian 7Berkas & status


Semua berkas ada di /home/hermes/journal-revision/revision/
BerkasIsiStatus
01-reframed-framing.mdJudul (2 opsi), abstract, introduction + Table G, C1–C5, conclusionSelesai & diaudit
02-added-methods-results-draft.md7 penambahan: Methods siap tempel, template Results, spec tabel/gambar, AUTHOR ACTIONSelesai & diaudit
03-response-letter.mdResponse point-by-point + change log per seksiSelesai & diaudit
04-author-todo.mdChecklist Tier 1/2/3 + rantai dependensi + urutan prioritasSelesai & diaudit
05-review-report.htmlLaporan ini (versi on-brand asahfikir)Selesai

Batas dan catatan jujur