Backtest ve ileri test: bir strateji gerçekten çalışıyor mu?

Bir strateji kulağa ne kadar mantıklı gelirse gelsin, onu çalıştığına inandıran tek şey kanıttır. Backtest (geriye dönük test), kurallarını geçmiş fiyat verisine uygulayıp “bu kurallarla işlem yapsaydım ne olurdu?” sorusunu cevaplamaktır. İleri test ise aynı kuralları, ayarlarken hiç görmediğin bir dönemde ya da gerçek zamanda sınamaktır. Bu derste ikisini de adım adım kuracağız. Sonunda bir stratejiye “çalışıyor” demek için neyin yeterli, neyin yetersiz olduğunu ayırt edebileceksin.

Backtest nedir, ne değildir?

Backtest bir geleceği tahmin aracı değildir. Yaptığı şey, kuralının geçmişte nasıl davrandığını ölçmektir: ne sıklıkla kazandı, ne kadar kazandı, en kötü döneminde ne kadar kaybettirdi. Geçmişte işe yaramayan bir kural büyük olasılıkla gelecekte de işe yaramaz; bu yüzden backtest en çok eleme aracı olarak değerlidir. Geçmişte işe yarayan bir kuralın gelecekte de işe yarayacağı ise kesin değildir. Bu boşluğu ileri test kapatmaya çalışır.

İki yolu vardır. Elle backtest, grafiği geçmişe kaydırıp mum mum ileri sararak her sinyali ve sonucunu kaydetmektir. Yavaştır ama kuralları gerçekten anlamanı sağlar. Kodla backtest, kuralları bir programa yazıp binlerce mumda saniyeler içinde test etmektir. Hızlıdır ama kodun hatalarına ve aşağıda göreceğimiz tuzaklara açıktır.

Kurallar önceden ve net yazılır

Test edilebilecek bir kural, iki farklı kişinin aynı grafikte aynı işlemleri bulacağı kadar net olmalıdır. “Trend yukarıyken geri çekilmede al” test edilemez; “güzel bir dönüş mumu” da öyle. Karşılaştır:

Kuralları testten önce yazmak da aynı derecede önemlidir. Sonuçlara bakıp kuralı değiştirmek, kuralı geçmişe uydurmaktır. Her değişikliği ve her denemeyi not et; neden önemli olduğunu istatistik tuzakları dersinde göreceksin.

Veri ve dönem seçimi

• Farklı piyasa rejimleri: Test dönemi yükseliş, düşüş ve yatay dönemleri birlikte içermeli. Yalnız boğa piyasasında test edilen bir long stratejisi, stratejiyi değil boğa piyasasını ölçer.
• Birden fazla sembol: Kural tek coinde değil, benzer birkaç coinde de işe yarıyor mu?
• Ölü coinler de: Yalnız bugün hâlâ listede olan coinleri test etmek sonucu olduğundan iyi gösterir. Bu, hayatta kalan yanlılığıdır.

Örneklem büyüklüğü

Yirmi işlemlik bir test neredeyse hiçbir şey söylemez. Nedenini basit bir hesapla görelim. Gerçek kazanma oranı yüzde 50 olan bir stratejide, ölçtüğün kazanma oranının tipik sapması kabaca karekök(0,5 × 0,5 / işlem sayısı) kadardır:

• 30 işlemde yaklaşık 9 puan. Yani ölçtüğün oran yüzde 32 ile 68 arasında rahatça çıkabilir.
• 100 işlemde yaklaşık 5 puan: aşağı yukarı yüzde 40 ile 60 arası.
• 400 işlemde yaklaşık 2,5 puan: aşağı yukarı yüzde 45 ile 55 arası.

Buradaki aralıklar, sapmanın iki katı alınarak bulunan kaba sınırlardır. Pratik bir alt sınır olarak en az 100 işlem hedefle ve sonuçları her zaman bu belirsizlikle birlikte oku. Swing gibi az işlem üreten stratejilerde bu, yıllarca veri gerektirebilir.

Sonuçları R ile ölçmek

Sonuçları dolar ya da yüzde yerine R ile ölç: her işlemin sonucu bölü o işlemde riske edilen tutar. Böylece pozisyon büyüklüğü sonuçları çarpıtmaz. Bakılacak ölçüler:

• İşlem sayısı. Her şeyden önce.
• Kazanma oranı ve ortalama kazanç ile ortalama kayıp (R olarak).
• Beklenen değer: İşlem başına ortalama R. Stratejinin asıl ölçüsü budur; ayrıntısı beklenen değer dersinde.
• En büyük düşüş: Toplam R eğrisinin tepeden dibe en derin inişi. Hesabın psikolojik ve finansal olarak buna dayanabilir mi?
• En uzun kayıp serisi: Gerçek hayatta bu seriyi yaşarken kurala sadık kalabilir misin?

Ücret ve kayma eklemek

Ücretsiz backtest, var olmayan bir piyasanın testidir. Her işleme giriş ve çıkış ücretini ve gerçekçi bir kaymayı ekle. Bunu R olarak düşünmek kolaydır: işlem başına maliyet R = toplam maliyet yüzdesi / stop mesafesi yüzdesi. Stop ne kadar dar ise aynı maliyet o kadar çok R eder. Scalping dersindeki hesap bunun en uç örneğidir. Vadeli piyasada günlerce tutulan pozisyonlar için fonlama da eklenmelidir.

İleri test: görülmemiş dönemde sınamak

Kuralları ve ayarları seçerken kullandığın veri, sonuçları kaçınılmaz olarak iyi gösterir; çünkü o veriye bakarak seçtin. Dürüst bir ölçüm için veriyi ikiye böl:

1. Geliştirme dönemi (in-sample): Örneğin verinin ilk yüzde 70'i. Kuralları ve ayarları yalnız burada dene.
2. Test dönemi (out-of-sample): Son yüzde 30. Ayarları dondur ve bu döneme yalnız bir kez uygula. Sonuç kötüyse geri dönüp ayar değiştirmek, test dönemini de geliştirme dönemine çevirir.

Daha sağlam bir sürümü kayan pencere (walk-forward) testidir: örneğin iki yıllık veride ayar seç, sonraki üç ayda test et; pencereyi üç ay kaydır ve tekrarla. Sonuçta stratejinin her dönemde, o döneme ait olmayan verideki performansını birleştirmiş olursun. İleri testte sonuçların geliştirme dönemine göre biraz zayıf olması normaldir. Çökmesi ise aşırı uyumun en net işaretidir.

Kâğıt işlem ve testnet

Geçmiş veriden sonraki adım, gerçek zamanda ama gerçek para olmadan denemektir. Kâğıt işlem (paper trading), sinyalleri canlı piyasada takip edip sanal olarak kaydetmektir. Bazı borsaların testnet denilen deneme ortamları da vardır. Bu aşama üç şeyi sınar: kuralları gerçek zamanda, sağ tarafı görmeden uygulayabiliyor musun; emir mekaniği (dolum, kayma, gecikme) beklediğin gibi mi; sinyal sıklığı backtestle uyumlu mu?

Sınırları da vardır. Testnet'te likidite ve dolum gerçekçi olmayabilir. En önemlisi, sanal parayla psikoloji sınanmaz. Bu yüzden son adım, küçük gerçek parayla, yani normal riskinin bir kesriyle işlem yapmaktır. Sonuçlar backtest ve ileri testle tutarlıysa boyut yavaş yavaş artırılır.

Özetle süreç

1. Fikri net, test edilebilir kurallara çevir ve yaz.
2. Veriyi geliştirme ve test dönemlerine ayır.
3. Geliştirme döneminde ücret ve kayma dahil test et; her denemeyi kaydet.
4. Ayarları dondur, test döneminde bir kez çalıştır.
5. Kâğıt işlem ya da testnet ile gerçek zamanda doğrula.
6. Küçük gerçek parayla başla, günlük tut, sonuçları backtestle karşılaştır.

Balina Avcısı'nda

Kanıt yaklaşımı, bu dersteki fikrin uygulamadaki karşılığıdır: sistem bir kuralı hem geçmiş veride hem de görmediği dönemde, yani ileri testte sınar; kanıt yoksa bunu açıkça “kanıt yok” diye söyler. Otomatik formasyonlarda bir formasyonun geçmişte kaç kez hedefe ulaştığını, sıkışma kartında sahte kırılım oranını ve uyumsuzlukların geçmişte ne kadar işe yaradığını, senaryo kartında seviyelerden dönüş oranını görürsün. Bu oranlara bakarken her zaman kaç örnekten hesaplandığını da sor. Elle backtest yaparken bulduğun işlemleri grafikte çizim araçlarıyla işaretleyebilirsin.

Kendini sına