Berapa Banyak Transaksi yang Dibutuhkan Agar Sebuah Backtest Bermakna?

Biasanya lebih banyak dari yang Anda miliki, dan jumlah transaksi bukanlah hal yang tepat untuk dihitung. Yang penting adalah seberapa banyak bukti independen yang dibawa transaksi-transaksi itu. Pada sistem emas lima menit yang sudah saya rilis, 1.643 transaksi backtest hanya membawa bobot statistik sekitar 512 observasi independen, karena segelintir transaksi untung besar mendominasi hasilnya. Saya menilai sebuah sampel dengan angka yang lebih kecil itu, dan saya menuliskan berapa yang saya butuhkan sebelum melihat hasilnya.

MasterVP · Systematic Trading Journey

Ditulis oleh pendiri KenKem, seorang insinyur perangkat lunak dengan pengalaman dua puluh tahun yang dulu trading emas secara manual sebelum membangun perangkat riset di balik MasterVP. Ini berbagi pengetahuan dari riset saya sendiri, bukan rekomendasi. Setiap angka di bawah ini adalah hasil backtest atau pengukuran riset pada data tick nyata, dari laporan rilis 1.26 tertanggal 15 September 2026, dan tidak ada yang merupakan hasil live.

Mengapa jumlah transaksi mentah bisa menyesatkan?

Karena tidak semua transaksi sama informatifnya.

Sistem saya adalah sistem breakout. Sebagian besar transaksi berakhir di stop yang sudah dibatasi atau ditutup di sekitar titik impas, dan hanya sedikit yang berjalan cukup jauh untuk membayar semua sisanya. Pada sistem lima menit yang sudah dirilis, 30 transaksi terbaik dari 1.643 menyumbang sekitar tiga perempat dari seluruh hasil. Satu transaksi yang mencapai target penuh membayar sekitar lima kali kerugian penuh.

Bentuk itu punya konsekuensi statistik. Distribusinya berekor tebal, dengan excess kurtosis sekitar 4,4, dan ekor tebal berarti sampel lebih berisik daripada yang ditunjukkan panjangnya. Setelah disesuaikan, 1.643 transaksi itu hanya setara sekitar 512 observasi independen. Setiap uji signifikansi yang saya jalankan memakai angka yang sudah disesuaikan, bukan angka utamanya. Angka yang tidak bisa Anda pertahankan hanyalah hiasan.

Apa itu minimum track record length?

Ini adalah jawaban atas pertanyaan yang hampir tidak pernah diajukan dalam promosi trading: dengan edge sebesar ini dan seberisik ini, berapa banyak observasi yang dibutuhkan sebelum Anda bisa cukup yakin edge itu di atas nol?

Semakin kecil dan semakin berisik edge-nya, semakin panjang catatan yang dibutuhkan. Uji ini hanya bermakna jika dibandingkan dengan sampel efektif, bukan sampel mentah.

Saya mempelajarinya dengan cara yang tidak nyaman. Versi lama catatan saya sendiri membandingkan lebih dari 1.400 transaksi mentah dengan batas minimum sekitar 192 dan menyebutnya "tujuh kali lipat". Di rilis 1.26, perbandingannya dibuat terhadap sampel efektif. Satu-satunya pengaturan yang saya adopsi berdasarkan ambang lulus yang didaftarkan lebih dulu, yaitu sebuah filter biaya, dinilai dengan 428 transaksi efektif terhadap 281 yang dibutuhkan. Hasilnya tetap melewati ambang, tetapi hanya sekitar satu setengah kali, bukan tujuh. Margin yang jujur adalah margin yang lebih tipis, dan itulah yang sekarang saya kutip.

Mengapa sampel besar tetap bisa melewatkan perbaikan kecil?

Karena noise menetapkan batas bawah atas apa yang bisa dideteksi.

Dengan sekitar 500 sampai 1.000 observasi efektif per sistem, perbaikan terkecil yang bisa saya deteksi secara andal lebih besar daripada seluruh edge per transaksi. Sederhananya, jika sebuah perubahan pada entry atau exit membuat sistem sedikit lebih baik, sampel saya terlalu kecil untuk membedakannya dari keberuntungan.

Catatan riset saya sendiri mengatakan hal yang sama. Dari 77 studi yang menyempurnakan entry atau exit, tidak satu pun saya adopsi. Dari 13 studi tentang biaya, venue, dan kapan sebaiknya tidak trading, saya mengadopsi 4. Penyempurnaan kecil memang tidak akan pernah terlihat. Tuas yang bersifat struktural cukup besar untuk diukur. Karena itu program riset saya sekarang hanya menguji tuas struktural yang besar, masing-masing dengan ambang lulus yang ditulis lebih dulu.

Apakah jumlah hal yang sudah Anda coba itu penting?

Lebih penting daripada hampir semua hal lain.

Jika Anda menguji cukup banyak variasi, salah satunya akan terlihat luar biasa hanya karena kebetulan. Di seluruh pekerjaan di balik MasterVP, saya mencoba 7.990 konfigurasi dan menjalankan 158 eksperimen yang dideklarasikan lebih dulu. Tiga sistem dirilis. Hasil terbaik dari pencarian seluas itu harus dinilai terhadap apa yang bisa dihasilkan keberuntungan saja dari pencarian seluas itu.

Saya memakai dua alat untuk itu. Yang pertama, deflated Sharpe ratio, mendiskon hasil terbaik berdasarkan jumlah percobaan. Saya berhenti memakainya sebagai pemeriksaan utama, karena saya menyadari bahwa ketika sampel cukup besar, hasilnya hampir sempurna untuk hampir semua kandidat, sehingga ia menjadi hiasan, bukan lagi uji. Yang kedua, probability of backtest overfitting (PBO), menanyakan seberapa sering konfigurasi terbaik di dalam sampel justru berada di bawah median di luar sampel. Lempar koin menghasilkan 50%. Filter biaya yang dirilis menghasilkan 27%. Sebaliknya, sel terbaik dari sebuah grid parameter menghasilkan di atas 50% pada 8 dari 9 kasus.

Itulah alasan saya merilis titik tengah dari sebuah plateau yang stabil, bukan sel terbaik. Saat diuji ulang pada data yang tidak dipakai untuk memilihnya, konfigurasi yang dirilis berada di antara persentil ke-75 dan ke-87 dari pencariannya sendiri. Bagus, tetapi bukan yang terbaik. Seperti itulah biasanya hasil yang tidak sekadar menghafal masa lalu.

Untuk alasan yang sama, saya tidak pernah mengutip rasio yang hanya diukur di dalam kondisi yang memang menjadi habitat sistem itu. Angka yang hanya diukur saat cuaca cerah menggambarkan dunia yang tidak bertahan.

Haruskah hasilnya bertahan di periode yang terpisah?

Ya, dan hasil itu juga harus boleh gagal di sebagian periode.

Sejak 2021 ada sebelas blok setengah tahunan. Tiga di antaranya rugi, dan tidak ada yang rugi lebih dari 1,5%. Catatan tanpa satu pun setengah tahun yang rugi seharusnya membuat Anda curiga. Catatan di mana satu periode panas menyeret tahun-tahun yang mati melewati garis seharusnya membuat Anda lebih curiga lagi.

Uji yang paling saya percayai untuk ini adalah perbandingan dengan entry acak. Saya membuat 1.000 versi palsu dari setiap sistem, identik dalam segala hal kecuali momen entry, dan menuliskan ambang lulus lebih dulu: p di bawah 0,05 pada kedua periode. Pada 2024 sampai 2026, tidak satu pun dari 1.000 versi palsu itu mengalahkan aturan aslinya. Pada 2021 sampai 2023, 299 versi berhasil, p = 0,30, yang berarti tidak lulus. Saya menerbitkan panel itu di samping panel yang lulus, dan itulah alasan sistem ini memilih tidak trading di jenis pasar yang lebih tenang itu. Saya menulis tentang cara kerja uji ini di bagaimana mengubah pola trading menjadi aturan yang bisa diuji.

Satu detail jujur lagi. Sistem lima menit hanya mengambil 160 transaksi pada 2021 sampai 2023 dengan filter biaya aktif, dan itu terlalu tipis untuk diuji sama sekali. Tidak setiap pertanyaan punya sampel yang cukup besar untuk dijawab, dan mengatakannya dengan terus terang adalah bagian dari hasil.

Apakah 567 tanggal mulai sama dengan 567 eksperimen?

Tidak, dan ini kesalahan yang mudah sekali terjadi.

Saya mensimulasikan evaluasi prop firm dari setiap 567 kemungkinan hari mulai, dengan risiko 0,25% per transaksi serta batas kerugian harian 5% dan keseluruhan 10%. Tidak ada yang gagal, dan pendekatan terdekat ke garis gagal adalah drawdown 8,3% terhadap batas 10%. Kedengarannya seperti sampel besar. Padahal bukan. Ke-567 titik mulai itu saling tumpang tindih dan mengambil ulang sampel dari satu sejarah yang sama, jadi yang diukur adalah seberapa besar hasil bergantung pada kapan Anda mulai. Ia tidak mengatakan hal baru tentang masa depan.

Apa yang tetap tidak bisa diberitahukan oleh sampel yang cukup besar?

Apakah tahun depan akan mirip dengan tahun-tahun sebelumnya.

Melewati minimum track record berarti hasil masa lalu kemungkinan besar bukan noise. Itu klaim yang jauh lebih kecil daripada yang dibuat kebanyakan halaman. Pasar berubah dengan cara yang tidak terkandung dalam sampel masa lalu mana pun. Drawdown terburuk dalam backtest rilis 1.26 adalah 11,2%, dan saya memperkirakan trading live akan menemukan biaya dan kondisi yang tidak ada di backtest. Itulah sebabnya akun live memiliki aturan berhenti yang ditulis sebelum datanya masuk, dan mengapa saya memantaunya dalam hitungan bulan, bukan hari.

Pertanyaan yang sering diajukan

Berapa banyak transaksi yang dibutuhkan agar backtest signifikan secara statistik? Tergantung seberapa besar dan seberapa berisik edge-nya. Perhitungan minimum track record length memberikan angkanya. Pada sistem emas lima menit saya, kebutuhannya adalah 281 transaksi efektif dan sampelnya memuat 428, sebuah pengukuran backtest, bukan hasil live.

Apa itu ukuran sampel efektif dalam trading? Jumlah observasi independen yang benar-benar setara dengan transaksi Anda setelah disesuaikan untuk ekor tebal. Ketika beberapa transaksi besar mendominasi, sampel efektif jauh lebih kecil daripada jumlah transaksi. 1.643 transaksi saya hanya terhitung sekitar 512.

Apa itu minimum track record length? Statistik yang memperkirakan berapa banyak observasi yang dibutuhkan sebelum Anda bisa yakin sebuah edge di atas nol, berdasarkan besar dan noise-nya. Bandingkan dengan sampel efektif Anda, bukan jumlah mentahnya.

Mengapa menguji banyak strategi membuat backtest yang bagus kurang bisa dipercaya? Karena yang terbaik dari banyak percobaan sebagian terpilih karena keberuntungan. Semakin luas pencarian, semakin tinggi ambang yang harus dilewati pemenangnya. Alat seperti deflated Sharpe ratio dan probability of backtest overfitting menyesuaikan hal itu.

Apa itu probability of backtest overfitting? Ukuran seberapa sering konfigurasi yang terlihat terbaik di dalam sampel berada di bawah median pada data yang tidak dipakai untuk memilihnya. 50% sama dengan lempar koin. Filter biaya yang saya rilis menghasilkan 27%.

Apakah backtest dengan ribuan transaksi tetap bisa overfit? Bisa. Sampel besar membuat noise lebih kecil, bukan membuat pencarian lebih sempit. Jika Anda memilih yang terbaik dari ribuan pengaturan, banyaknya transaksi tidak menghapus hal itu.

Apakah tahun yang rugi dalam backtest pertanda buruk? Tidak dengan sendirinya. Catatan tanpa periode rugi sama sekali biasanya merupakan peringatan yang lebih besar. Tiga dari sebelas blok setengah tahunan saya sejak 2021 rugi, yang terburuk sebesar 1,5%.

Jika Anda ingin melihat ke mana pekerjaan ini berujung, MasterVP adalah metode intraday saya sendiri yang dibangun di atas teori volume profile yang terbuka untuk umum. Metode ini hadir sebagai Master Volume Profiler indicator di TradingView dan MetaTrader 5, yang menampilkan bacaan pasar dan menyerahkan order kepada Anda, dan sebagai Master Volume Sniper di MQL5 market, sebuah Expert Advisor yang menjalankan aturan dan pengaturan risiko yang Anda konfigurasi. Berapa banyak transaksi di backtest terakhir Anda, dan berapa di antaranya yang benar-benar independen?

---

Artikel ini disusun dari postingan bertema ukuran sampel dan statistik dalam seri catatan pembangunan MasterVP. Hanya untuk tujuan edukasi. Bukan nasihat keuangan. Angka yang dikutip adalah hasil backtest dan riset pada data tick nyata, dan kinerja masa lalu tidak menjamin hasil di masa depan. Setiap trader tetap bertanggung jawab atas pengaturan risiko dan keputusannya sendiri.