Overfitting parameter indikator: ketika setelan paling cantik di masa lalu gagal di data baru
Makin lama parameter indikator diutak-atik, makin cantik hasilnya di masa lalu. Lembar ini mengukur seberapa besar kecantikan itu berasal dari kebetulan, memakai data acak yang pasti tidak berpola.
GEJALA Setelan yang terlalu pas
Overfitting terjadi ketika sebuah analisis mengikuti satu kumpulan data terlalu dekat, sehingga ikut menghafal gangguan acak di dalamnya dan gagal ketika bertemu data baru. Dalam trading, bentuknya akrab: periode indikator diputar-putar sampai kurva ekuitas di masa lalu tampak mulus, lalu hasilnya ambruk begitu dipakai ke depan.
Godaan ini makin besar karena platform modern bisa mencoba ribuan kombinasi dalam hitungan menit. Setiap kombinasi yang dicoba adalah satu lemparan dadu tambahan; semakin banyak lemparan, semakin tinggi angka terbaik yang muncul, walaupun dadunya biasa saja.
METODE Dua percobaan pada data tanpa pola
Percobaan pertama memakai 600 bar sintetis. Paruh pertama dipakai untuk memilih, paruh kedua disimpan sebagai data baru. Kami mencoba 25 setelan silang SMA dan mengurutkannya dari yang terbaik di paruh pertama. Grafik pembuka memperlihatkan hasilnya: garis teal menurun rapi karena memang diurutkan, sedangkan garis ungu melompat-lompat tanpa hubungan jelas dengan urutan itu.
| Setelan | Data pemilihan (pip) | Data baru (pip) |
|---|---|---|
| SMA 8/20 | 117,4 | 72,1 |
| SMA 3/20 | 74,3 | 31,8 |
| SMA 5/20 | 14,8 | −34,9 |
Pada deret ini juara kebetulan masih positif di data baru, tetapi hasilnya turun dari 117,4 menjadi 72,1 pip; percobaan kedua di bawah memperlihatkan gambaran rata-ratanya. Setelan yang paling buncit di data pemilihan, SMA 3/30, mencatat −217,0 pip di sana dan −37,9 pip di data baru. Korelasi peringkat antara kedua paruh pada deret ini −0,03. Kami ulangi pada 40 deret acak: rata-rata korelasinya 0,01, dengan rentang dari −0,69 sampai 0,85. Pada satu deret tertentu, urutan bisa kebetulan bertahan atau malah terbalik; secara rata-rata, peringkat masa lalu tidak memberi tahu apa pun tentang peringkat berikutnya, sesuai sifat data acak.
Percobaan kedua mengukur efek "banyaknya lemparan". Untuk 30 deret acak, kami memilih secara acak 1, 5, 25, atau 100 setelan dari 513 kemungkinan, lalu mengambil juaranya.
| Setelan dicoba | Juara di data pemilihan (pip) | Juara yang sama di data baru (pip) |
|---|---|---|
| 1 | 4,8 | −37,2 |
| 5 | 137,1 | −61,7 |
| 25 | 201,7 | −55,5 |
| 100 | 248,0 | −28,9 |
HASIL Apa yang diajarkan angka-angka itu
Semakin banyak setelan yang dicoba, semakin tinggi hasil juara di data pemilihan, padahal tidak ada pola yang bisa ditemukan. Di data baru, juara-juara itu tetap berada di wilayah negatif, kurang lebih sebesar biaya transaksi yang terkumpul. Kenaikan di data pemilihan murni hasil seleksi, bukan kecerdasan setelan.
Implikasinya praktis: angka backtest harus selalu dibaca bersama jumlah percobaan yang dilakukan untuk mendapatkannya. Hasil bagus dari satu setelan yang ditulis sejak awal lebih bermakna daripada hasil luar biasa dari setelan terbaik di antara seratus.
PENANGKAL Cara membatasi overfitting
- Tulis hipotesis sebelum melihat hasil. Misalnya, "ATR 14 dipakai karena periode bawaan Wilder", bukan "ATR 17 karena paling untung".
- Pisahkan data dan buka data akhir sekali saja. Jika data akhir dibuka berulang-ulang untuk memperbaiki aturan, ia berubah menjadi data pemilihan.
- Catat jumlah setelan yang dicoba. Bandingkan juara Anda dengan juara dari jumlah percobaan yang sama pada data acak.
- Periksa kestabilan sekitar. Setelan yang baik biasanya dikelilingi setelan tetangga yang juga lumayan, bukan puncak tunggal di tengah hasil buruk.
- Gunakan uji bergulir (walk-forward). Pilih parameter di satu jendela, uji di jendela berikutnya, geser, ulangi. Hasil yang dihitung hanya dari jendela uji.
- Sederhanakan. Setiap aturan tambahan adalah satu derajat kebebasan baru untuk menghafal gangguan.
Format lembar kerja untuk langkah-langkah ini ada di backtest indikator manual, dan cara kami membangkitkan data acak dijelaskan di protokol uji.
CATATAN Overfitting dan uang sungguhan
Overfitting paling mahal ketika ia memberi rasa percaya diri. Kurva ekuitas yang mulus di masa lalu sering mendorong orang memperbesar posisi atau leverage, persis sebelum aturan itu berhenti bekerja. Anggap setiap hasil backtest sebagai perkiraan yang terlalu optimistis.
Pertanyaan yang sering masuk
Apakah mengganti periode RSI dari 14 ke 9 termasuk overfitting?
Belum tentu. Menjadi masalah jika perubahan itu dipilih karena memberi hasil terbaik di data yang sama yang dipakai untuk menilainya. Jika alasan memilihnya ditulis sebelum melihat hasil dan diuji di data terpisah, risikonya jauh lebih kecil.
Bagaimana tanda-tanda sebuah strategi terlalu disesuaikan?
Parameternya sangat spesifik (misalnya 17 dan 43), hasilnya jatuh drastis saat parameter digeser sedikit, aturannya punya banyak pengecualian, dan hasil uji maju jauh di bawah backtest.
Apakah optimasi di strategy tester selalu buruk?
Tidak. Optimasi berguna untuk melihat apakah hasil stabil di sekitar suatu wilayah parameter. Yang berbahaya adalah mengambil satu angka terbaik lalu menganggapnya temuan.