過学習とアウト・オブ・サンプル検証とは

過学習は、観測したデータの偶然の特徴に合わせすぎることです。多くの窓、重み、モデルを試し、同じ期間で最も良かった結果を選ぶと、その成績は選択の影響を受けます。試した条件と選択手順を残し、検証結果を見て変更した内容も記録します。

時系列では古い期間で学習し、その後の期間で検証します。将来収益ラベルが分割境界をまたぐ場合は、境界付近の行を除外する必要があります。学習期間の予測は、そのまま未見期間の証拠にはなりません。

KabuForge の参考コースは2017–2019年を学習、2020年を検証、2021–2022年を過去期間の診断とし、ラベル終端で境界をまたぐラベルの除外します。既に確認した歴史を再利用する例であり、新しい未観測 OOS の証明ではありません。

同じ期間で100組の窓や重みを試すと、偶然その履歴に合う設定も現れます。最良の1組だけを報告すると、試行と選択の影響が見えません。試行数、選択基準、確認済み期間を記録します。

時間順の分割

学習はモデルを学習する期間、検証は設定を検討する期間、OOS は学習・選択に使わない評価です。評価を見て設定を変えると、その期間は未見ではなくなります。

12月末の特徴量に5観測日先の収益ラベルを付けると、ラベル終端が次の分割期間に入ることがあります。境界をまたぐラベルの除外は、こうした境界をまたぐ標本を除外する処理です。単に日付順に並べるだけでは防げません。

画面付き教材を読む · 基礎概念の一覧 · 研究方法

The Probability of Backtest Overfitting — Bailey et al.