İstatistik tuzakları: aşırı uyum, küçük örneklem, hayatta kalan yanlılığı

Bir önceki derste bir stratejiyi nasıl test edeceğini gördün. Bu derste testlerin seni nasıl kandırabileceğini göreceğiz. Burada anlatılan hataların hiçbiri kötü niyet gerektirmez; çoğu, iyi niyetli ve hevesli birinin doğal olarak yaptığı şeylerdir. Hepsinin sonucu aynıdır: geçmişte harika görünen, gerçekte avantajı olmayan bir strateji. Bu tuzakları tanımak, hem kendi testlerini hem de internette gördüğün “yüzde 80 kazanan sistem” iddialarını değerlendirmeni sağlar.

1. Aşırı uyum (overfitting)

Aşırı uyum, bir stratejinin geçmiş verideki gerçek düzeni değil, o veriye özgü gürültüyü öğrenmesidir. En sık sebebi çok parametredir. RSI periyodu, RSI eşiği, ortalama uzunluğu, saat filtresi, coin filtresi... Her parametre geçmişe biraz daha uyum sağlamanın bir yoludur.

Basit bir sayım yapalım. RSI periyodu için 10 değer, eşik için 10 değer, ortalama uzunluğu için 10 değer ve 24 saat filtresi denersen 10 × 10 × 10 × 24 = 24.000 kombinasyon eder. Bu kadar deneme arasında en iyisi, gerçekte hiçbir avantajı olmasa bile, geçmişte etkileyici görünecektir. Sınav sorularını ezberleyen öğrenci gibi: o sınavda tam puan alır, yeni sınavda çuvallar.

Aşırı uyumun iki tipik işareti vardır. Birincisi, sonucun ayara çok duyarlı olmasıdır: ortalama uzunluğu 45 iken harika, 40 ya da 50 iken sıfır. Gerçek bir düzen, komşu ayarlarda da benzer sonuç verir. İkincisi, görülmemiş dönemde çöküştür; bunu ileri test ortaya çıkarır.

Önlem: Az parametre kullan. Parametreleri piyasa mantığıyla seç, sonuca bakarak değil. Komşu ayarlarda sonucun benzer kalıp kalmadığına bak. Ayarları dondurup görülmemiş dönemde test et.

2. Küçük örneklem ve şans

Hiçbir avantajı olmayan bir strateji, yani yazı-tura, 10 işlemde 7 ya da daha fazla kazanç verebilir mi? Hesaplayalım. 10 atışta 7, 8, 9 ya da 10 tura gelme yollarının sayısı 120 + 45 + 10 + 1 = 176'dır; tüm olasılıklar 1.024. Yani olasılık 176 / 1.024 = yaklaşık yüzde 17. Altı kişiden biri, tamamen şansla “yüzde 70 kazanan” bir sistem bulmuş olur.

Şimdi bunu internete taşı. Binlerce kişi rastgele sistemler deniyor. Şansla iyi sonuç alanlar paylaşıyor, kötü sonuç alanlar susuyor. Gördüğün “başarı hikâyeleri”, şansın seçilmiş kısmıdır.

Önlem: Sonuçları her zaman işlem sayısıyla birlikte oku. Kazanma oranının belirsizliği kabaca karekök(p × (1 eksi p) / n) kadardır; 30 işlemde bu yüzde 50 civarı bir oran için yaklaşık 9 puandır. Kendi kazanç ve kayıp serilerini yorumlarken de aynı şeyi hatırla; bu konu aşırı güven başlığıyla da ilgilidir.

3. Hayatta kalan yanlılığı

Hayatta kalan yanlılığı (survivorship bias), yalnız bugün hâlâ var olanlara bakarak geçmiş hakkında yanlış sonuç çıkarmaktır. Kriptoda iki biçimde karşına çıkar.

• Coin listesi: Bugün borsada listelenen coinlerle geçmişi test edersen, yol boyunca değer kaybedip listeden çıkarılanları otomatik olarak dışarıda bırakırsın. “Her düşüşte al” stratejisi bugünkü listede harika görünür, çünkü düşüp bir daha kalkmayanlar listede yoktur.
• Formasyon örnekleri: Kitaplarda ve paylaşımlarda gördüğün formasyonlar genelde işe yarayanlardır. Bozulan ya da sonradan yeniden çizilen formasyonlar gösterilmez. Bazı göstergeler ve otomatik çizimler de geriye dönük olarak kendini düzeltir; geçmişe bakınca her şey kusursuz görünür.

Önlem: Testte, o tarihte gerçekten işlem görebilen tüm sembolleri kullanmaya çalış, listeden çıkanlar dahil. Bulamıyorsan sonucun iyimser olduğunu bil ve not et. Formasyon istatistiklerinde bozulan örnekleri de saydığından emin ol.

4. İleriye bakma hatası (lookahead)

İleriye bakma hatası, testte o anda bilinemeyecek bir bilgiyi kullanmaktır. Kodla yapılan testlerde çok sık olur ve sonucu inanılmaz derecede iyi gösterir. Tipik örnekler:

• Kapanmamış mum: Sinyali mumun kapanışıyla hesaplayıp aynı mumun açılışından girmek. Gerçekte kapanışı bilmeden giremezsin.
• Dip ve tepe tespiti: Bir dip, ancak sağında birkaç yükselen mum oluşunca “dip” olarak kesinleşir. Testte dibi oluştuğu mumda biliyormuş gibi davranmak.
• Üst zaman dilimi: Günlük mumun kapanış bilgisini aynı günün 4 saatlik mumlarında kullanmak.
• Sonradan değişen veri: Geriye dönük düzeltilen göstergeler ya da sonradan güncellenen listeler.

Önlem: Her kararda “bu bilgi o mumun kapanışında elimde var mıydı?” diye sor. Girişi her zaman sinyal mumundan sonraki mumun açılışında yap. Sonuç gerçek olamayacak kadar iyiyse, önce bu hatayı ara.

5. Çoklu deneme ve p-hacking

Her test, şansla “anlamlı” görünme ihtimali taşır. Tek bir testin şansla iyi çıkma olasılığı yüzde 5 olsun. 20 farklı fikri test edersen, en az birinin şansla iyi çıkma olasılığı 1 eksi 0,95 üzeri 20 = yaklaşık yüzde 64'tür. Yani yeterince çok şey denersen bir “keşif” yapman neredeyse kesindir. Sonuç iyi çıkana kadar veri, dönem, coin ya da kural değiştirmeye bilim dünyasında p-hacking denir.

Sinsi tarafı, denemelerin çoğunun kayda geçmemesidir. Sonunda yalnız kazanan test kalır ve ona bakan kişi, onun yirmi denemenin en iyisi olduğunu bilmez. Çoğu zaman o kişi sen olursun.

Önlem: Hipotezini testten önce yaz. Yaptığın her denemeyi, başarısız olanlar dahil, bir listeye kaydet. Çok deneme yaptıysan daha sıkı bir eşik iste ve kazanan fikri mutlaka görülmemiş dönemde tekrar sına.

6. Rastgele veriyle karşılaştırmak

Bir stratejinin gerçekten bir şey yakalayıp yakalamadığını anlamanın güçlü bir yolu, onu rastgeleyle yarıştırmaktır. İki basit fikir:

Taban oranı

“Çekiç mumundan sonra fiyat 10 mum içinde yüzde 58 oranında yüzde 2 yükseldi” etkileyici görünür. Ama aynı dönemde herhangi bir mumdan sonra 10 mum içinde yüzde 2 yükselme oranı ne? Bu orana taban oranı denir. Taban oranı yüzde 55 ise çekicin katkısı yalnız 3 puandır; ücretler bunu kolayca siler. Bu sayılar örnektir, ama yöntem her iddiaya uygulanmalıdır: “neye göre?”

Karıştırılmış seri

Fiyatın mumdan muma getirilerini alıp sıralarını rastgele karıştırırsan, aynı oynaklığa sahip ama zamana bağlı hiçbir düzeni olmayan bir seri elde edersin. Stratejiyi bu tür birkaç yüz karıştırılmış seride çalıştır. Gerçek veride aldığın sonuç, karıştırılmış serilerin büyük çoğunluğundan, örneğin yüzde 95'inden iyiyse, strateji gerçekten zamana bağlı bir düzen yakalıyor olabilir. Karıştırılmış serilerde de benzer sonuç alıyorsan, yakaladığın şey düzen değil, oynaklık ya da şanstır.

Bu çizimin bir dersi daha var: onu birkaç yüz seri arasından “güzel göründüğü için” seçtik. Tıpkı internetteki başarılı formasyon örnekleri gibi.

Balina Avcısı'nda

Kanıt yaklaşımı bu dersin pratiğidir: sistem bir kuralı geçmiş veride ve görmediği dönemde sınar, kanıt yoksa “kanıt yok” der. Otomatik formasyonlardaki geçmişte hedefe ulaşma sayılarını, sıkışma kartındaki sahte kırılım oranlarını ve uyumsuzlukların geçmişteki başarısını, senaryo kartındaki dönüş oranlarını okurken bu dersteki soruları sor: oran kaç örnekten geliyor, taban orana göre ne kadar farklı? Küçük örneklemden gelen yüksek bir oran, büyük örneklemden gelen ılımlı bir orandan daha az şey söyler.

Kendini sına