Backtest Tuzakları · Geçmiş Performansa Neden Güvenmemeli?

Neden bu sayfa kritik?

Bu sitedeki tüm strateji sayfaları geçmiş veriyle test edilmiştir. Backtest sonuçları gerçektir fakat bu, stratejinin yarın da aynı şekilde çalışacağını garanti etmez. Aksi savunan her iddia yanıltıcıdır.

Bu sayfada backtest'in tipik tuzaklarını ve bunlardan korunmak için kullanılan yöntemleri inceliyoruz.

Tuzak 1: İleri Bakış Yanlılığı

Hata. Strateji bir günün kararını verirken o günün kapanış fiyatını veya sonraki günleri görmüş gibi davranır. İleri bakış yanlılığı denir.

Örnek. "Bugün TÜFE açıklandı, yüzde 3 sürpriz oldu, bunu kullanarak bugün hisse alıyorum" der. Ama TÜFE 10:00'da açıklanır, kullanılan günlük kapanış verisi 18:00 fiyatıdır. Yani bilgi gün içinde elde edilmiş gibi davranılır fakat hesaplama akşam veriyle yapılır.

Önlem. Strateji sinyalini T gününde üretir, pozisyon T+1 günü açılır. Backtest motoru bu kaydırmayı zorunlu kılar.

Tuzak 2: Hayatta Kalan Yanlılığı

Hata. Bugünkü endeks bileşenleriyle geçmişi test etmek hayatta kalan yanlılığıdır. Bugünkü BIST 30 listesi geçmişteki BIST 30 listesi değildir. İflas eden veya endeksten çıkarılan hisseler veride yoktur.

Etkisi. Brown, Goetzmann, Ibbotson ve Ross'un 1992 tarihli Review of Financial Studies çalışması ve sonraki literatür, hayatta kalan yanlılığının yıllık getiriyi yüzde 0,5 ile 4 arasında değişen ölçüde yapay olarak yüksek gösterdiğini belgeledi. Etki dönemin volatilitesi ve iflas oranıyla artar. Türkiye için 2001 krizinde tasfiye edilen bankalar (Demirbank dahil), 2018 sonrası BIST'ten çıkarılan şirketler veride olmadığında getiri olduğundan iyi görünür.

Önlem. Profesyonel test için CRSP veya Bloomberg gibi noktasal tarih (point-in-time) veri seti gerekir. Bu sitenin testleri BIST 30'un güncel kompozisyonunu kullanır, dolayısıyla bu kısıt sonuçlara dahildir.

Tuzak 3: Aşırı Uyum

Hata. Stratejinin parametrelerini geçmişe en iyi uyacak şekilde ayarlamak aşırı uyumdur. Örnek olarak:

"50 gün değil 47 gün ortalama daha iyi backtest veriyor, kullanalım."
"5 hisse yerine 6 hisse daha iyi."
"6 ay momentum yerine 7 ay daha iyi."

Her ince ayarla geçmiş daha güzel görünür fakat gelecek tahmin gücü azalır. Çünkü sinyale değil rastgele gürültüye uyum sağlanmaktadır.

Sağlık testi. Literatürde standartlaşmış, yuvarlak parametreleri kullanın. 50 ve 200 günlük ortalamalar, RSI(14), MACD(12,26,9) gibi. Bunlar onlarca yıllık akademik literatürün ortak değerleridir.

Bu sitenin strateji parametreleri literatürden alınmıştır.

• Momentum: 6 ay yaklaşık 126 iş günü (Jegadeesh ve Titman, 1993).
• RSI: 14 gün (Wilder, 1978).
• 52 haftalık zirve: 252 iş günü.
• Golden Cross: 50 ve 200 gün (geleneksel teknik analiz standardı).

Tuzak 4: Veri Tarama ve Çoklu Test

Hata. 100 strateji test edip birinin yıllık yüzde 25 getiri verdiğini görmek. "Buldum" denir. Aslında istatistiksel olarak 100 stratejiden birinin şans eseri iyi görünmesi beklenir. Bu sorun finans literatüründe Harvey, Liu ve Zhu'nun 2016 tarihli "...and the Cross-Section of Expected Returns" çalışmasında detaylı incelendi. Yazarlar yayımlanmış 300'den fazla faktörün önemli bir kısmının çoklu test düzeltmesi sonrası anlamlılığını kaybettiğini gösterdi.

Sağlık testi. Geniş örneklem (15 yıl ve üstü), farklı pazarlarda aynı kalıbın görünmesi ve out-of-sample doğrulama.

Önlem. Bu sitede test edilen stratejilerin her biri akademide bağımsız olarak kanıtlanmıştır. Yeni kombinasyon icat edilmez.

Tuzak 5: İşlem Maliyetlerini Yok Saymak

Hata. Backtest'te işlem maliyeti sıfır kabul edilir. Gerçekte ise BIST için tipik değerler şunlardır.

• Komisyon: yaklaşık yüzde 0,05 ile 0,10 arası.
• BSMV: komisyon üzerine yüzde 5 ek.
• Slipaj (alım satım farkı ve piyasa etkisi): yaklaşık yüzde 0,05 ile 0,30 arası.
• Toplam gidiş dönüş: yaklaşık yüzde 0,15 ile 0,50 arası.

Yılda 100 işlem yapan strateji yalnızca maliyet nedeniyle yıllık yüzde 15 ile 50 arası ham getirisini kaybedebilir.

Önlem. Bu sitede her işlem için tek yön 10 baz puan (yüzde 0,10) maliyet hesaplanır. Gidiş dönüş yaklaşık yüzde 0,20'dir.

Tuzak 6: Likidite Hatası

Hata. Backtest "1 milyon dolarlık emir verdim, hemen gerçekleşti" varsayar. Gerçekte BIST 30'un alt sıralarındaki hisselerde günde 1 milyon dolarlık emir fiyatı yüzde 2 ile 5 arasında yukarı itebilir.

Sağlık testi. Stratejinin pozisyon büyüklüğünü hisselerin günlük ortalama işlem hacminin yüzde 1 ile 5'i arasıyla sınırlayın.

Önlem. Bu sitede backtest pozisyonları eşit ağırlıklı ve küçüktür. Evren BIST 30 ve ABD'de likit hisselerden oluşur. Yine de gerçek hayatta getiriyi iyimser tahmin etme riski sürer.

Tuzak 7: Yapısal Rejim Değişikliği

Bir strateji 2014 ile 2024 arasında test edilmiş olabilir. Fakat dönem içinde Türkiye için makro koşullar köklü biçimde değişti.

• 2014 ile 2017: Görece istikrarlı politika, tek haneli enflasyon.
• 2018 Ağustos: Kur krizi.
• 2020: COVID şoku ve düşük faiz.
• 2021 Aralık: TL devalüasyonu.
• 2022 ile 2023: Yüksek enflasyon ve ortodoks olmayan para politikası.
• 2023 ortası sonrası: Ortodoks politikaya dönüş ve sıkılaşma.

Strateji 2015'te çalıştığı için 2024'te de çalışacak garantisi yoktur.

Önlem. Stratejilerin sermaye eğrileri yıllara ayrı ayrı bölünür. Hangi yılın iyi hangi yılın kötü gittiği görünür kılınır.

Sağlam Backtest İçin Kurallar

1. Out-of-sample testi. Verinin son yüzde 20 ile 30'u dokunulmadan ayrılır, yalnızca sonunda test edilir.
2. Walk-forward analizi. Parametreler her N ay sonra yeniden seçilir, sonraki M ay test edilir.
3. Maliyetler dahil. Komisyon, BSMV ve slipaj birlikte hesaplanır.
4. Birden çok pazar ve dönem. Aynı strateji ABD ve Türkiye verisinde de çalışıyor mu?
5. Yuvarlak parametreler. 14 gün, 50 gün, 200 gün gibi standart sayılar.
6. Düşük frekanslı sinyal. Aylık sinyaller günlüklere göre aşırı uyum riskini azaltır.

Backtest Sonuçlarını Okurken

Son söz

"All models are wrong, but some are useful." George Box, 1976.

Bir backtest bir modeldir, gerçek değildir. Olası senaryolardan bir tanesini simüle eder. Geçmişte çalışan strateji geleceğin garantisi değildir. Ancak iki sonuç çıkarılabilir.

• Strateji geçmişte tutarsızsa gelecekte de büyük olasılıkla tutarsızdır.
• Strateji geçmişte tutarlıysa gelecekte tutarlı olma olasılığı daha yüksektir. Garanti değildir.

Backtest bir kehanet değil, bir filtredir.

Bu sitede backtest disiplini şu prensiplere göre uygulanır.

• İleri bakış engellenir (T+1 pozisyon).
• Maliyet dahil edilir (tek yön 10 baz puan).
• Literatürden standart parametreler kullanılır.
• 5 yıl tarihsel veri kapsanır (BIST 30 ve ABD likit hisseleri).
• Walk-forward ve out-of-sample testler ileride eklenecektir.

Kaynakça

1. Brown, S. J., Goetzmann, W. N., Ibbotson, R. G. ve Ross, S. A. (1992). Survivorship Bias in Performance Studies. The Review of Financial Studies, 5(4), 553-580.
2. Harvey, C. R., Liu, Y. ve Zhu, H. (2016). ...and the Cross-Section of Expected Returns. The Review of Financial Studies, 29(1), 5-68.
3. Bailey, D. H., Borwein, J., López de Prado, M. ve Zhu, Q. J. (2014). Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance. Notices of the AMS, 61(5), 458-471.
4. López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley, Hoboken NJ.
5. Jegadeesh, N. ve Titman, S. (1993). Returns to Buying Winners and Selling Losers: Implications for Stock Market Efficiency. The Journal of Finance, 48(1), 65-91.
6. Wilder, J. W. (1978). New Concepts in Technical Trading Systems. Trend Research, Greensboro NC.
7. Box, G. E. P. (1976). Science and Statistics. Journal of the American Statistical Association, 71(356), 791-799.

▸ Not: Bu sayfa eğitim ve araştırma amaçlıdır. Yatırım tavsiyesi içermez. Anlatılan kavram veya stratejilerin geçmiş performansı, gelecek için garanti vermez.

• ▸ Risk Metrikleri
  Backtest sonrası strateji risk ölçümü.
• ▸ Portföy Optimizasyonu
  Portföy backtest'lerinde özel tuzaklar.
• ▸ Momentum nedir?
  Backtest'te sık çalışan ama canlıda zorlanan strateji.