Backtest Overfitting

What is backtest overfitting, and how does it differ from a strategy that's genuinely performing well?

Backtest overfitting refers to a strategy developer (or an automated parameter optimization process) repeatedly fine-tuning strategy logic and parameters against one specific stretch of historical data, until the backtest reaches an extremely high win rate or return. The problem is that market data contains not only genuine, recurring patterns but also a large amount of random noise — an overfitted strategy often ends up learning not "a genuine market pattern" but "a coincidence that happened to appear in this specific stretch of history."

A genuinely well-performing strategy captures a persistent pattern that repeats across different time periods; an overfitted strategy precisely replicates the shape of a specific stretch of past noise. The two can look identical in a single backtest report (both showing a beautiful return curve), but when tested against new data, the former usually maintains some level of performance while the latter typically collapses abruptly.

Why does backtest overfitting happen, and what mechanism causes it?

Overfitting often occurs when a strategy has too many adjustable parameters, or when the optimization process is given too much freedom. For example, if a strategy has a dozen or more tunable parameters (entry threshold, exit threshold, stop-loss ratio, holding period, and so on) and the backtest sample size isn't large enough, there's theoretically always some parameter combination that will make performance on that historical data look nearly perfect — but that combination is perfect only because it was custom-tailored to fit that specific dataset, not because it captured a genuinely repeatable market logic.

Another common cause is repeatedly testing against the same dataset: a developer tunes a strategy, backtests it on the same historical stretch, sees results that aren't good enough, and keeps adjusting. This iterative process is essentially using hindsight to make the strategy fit this already-known history more and more closely, rather than genuinely improving its ability to adapt to unknown future markets.

バックテストの過剰適合は実際どのように発見され、具体的にどんな判断方法がありますか？

業界でよく使われる検出方法には、サンプル外テスト（out-of-sample testing）がある——過去のデータを2つに分割し、一方を戦略の開発・調整に使用し（サンプル内）、もう一方は調整には一切使わず、最終的な戦略のパフォーマンスを検証するためだけに使う（サンプル外）。戦略がサンプル内データで極めて優れた成績を示す一方、サンプル外データでは明らかに成績が悪化する場合、これは過剰適合の典型的なシグナルである。より厳密な方法には、ローリングウィンドウバックテスト（異なる時期に繰り返し戦略が安定したパフォーマンスを維持できるか検証する）やクロスマーケット検証（同じロジックを異なる資産や異なるチェーンに適用しても機能するか確認する）も含まれる。

もう一つの実用的な判断の手がかりは、パラメータの「合理性」である——ある戦略の最適パラメータの組み合わせが、論理的な説明を欠いた奇妙な数値である場合（例えば損切りが一般的な切りの良い比率ではなく17.3%に設定されているなど）、これは通常、そのパラメータの組み合わせが特定の過去データに適合するよう精密に計算されたものであり、市場のロジックに基づいて合理的に導出されたものではないことを示す。このようなパラメータの組み合わせは、汎化能力が低いことが多い。

バックテストの過剰適合は一般ユーザーにどのような実際の影響を与えますか？誤解させられないようにするにはどうすればよいですか？

あるDeFAI製品のマーケティング資料が「バックテスト勝率90%」といった数字だけを示し、そのバックテストがサンプル外検証を経ているかどうかを説明していない場合、あなたが目にしているのはおそらく過剰適合の結果である——実際に導入された後のパフォーマンスは、マーケティング資料に示された数字を大きく下回る可能性が高い。これが「バックテストの成績が優れている」ことを直接「この戦略は信頼できる」ことと同一視できない理由である。

実際に評価する際に尋ねる価値がある質問には、このバックテストデータがサンプル外検証の結果を公開しているか、戦略パラメータの選択ロジックに合理的な説明があるか、この戦略がローンチされた後の実運用パフォーマンスと当初のバックテスト数値との間にどれだけのギャップがあるか（ある程度のギャップは正常だが、あまりに大きなギャップは警告サインである）が含まれる。これらの詳細を正直に開示する意欲のある製品は、通常、チーム自体が過剰適合の問題について十分な認識と警戒心を持っていることを示している。