アウト・オブ・サンプル検証とは？何度も見た期間をどう扱うか

アウト・オブ・サンプル検証とは、ルールの作成や選択に使っていないデータで、そのルールを評価することです。日本語では「標本外検証」とも呼びます。過去の結果に合わせて調整したルールが、別のデータでも同じように振る舞うかを調べます。

良い結果が出ても将来の成功を証明するものではありません。ただし、開発に使った期間の成績だけを見るより、過剰適合を考えるための材料になります。

説明用に、時系列を早い順に A・B・C の三つの期間へ分けます。A でルールを作り、B で候補を比較し、C を最後の評価のために残す、という設計を考えます。これは学習用の例で、実際の研究期間を示していません。

B の結果を見て計算期間や条件を変えたなら、B は選択に使った期間です。A と重なっていなくても、最後まで手を付けなかった評価期間と同じ意味にはなりません。各期間を何に使ったかを記録することが、名称より大切です。

結果を見て「この期間だけ悪いので条件を足そう」と考えると、その期間の情報が新しいルールに入ります。数式を変えなくても、候補を採用するかどうかの判断に使えば、研究の選択に関わっています。

同じ評価期間を繰り返し見た後の報告では、「開発とは別の診断期間として使用した」と説明できます。何も見ていない新しい評価であるかのように扱うことは避けます。結果を見る回数や候補数も、解釈に関わる情報です。

時系列を分けるだけでは、先読みバイアスを防ぎ切れません。特徴量や正規化の基準に評価期間の情報が入っていないか、未来収益を測る区間が境界を越えていないかも確認します。

学習を使う場合は、前処理をどのデータで合わせたかを残します。数日先のラベルは、特徴の日付が開発期間内でも、答えの一部が次の期間に入ることがあります。境界をまたぐラベルの除外などは、評価設計に合わせて決めます。

入力データ、売買ルール、費用、執行の仮定、期間の役割、実行日時をまとめて残すと、後から同じ研究を説明できます。変更した理由と、変更前に見た結果も簡潔に記録します。

KabuForge では固定した入力と実行設定、結果の記録を対応させます。ただし、ファイルを固定したこと自体は、評価期間を見ていない証拠にはなりません。ソフトウェアの再現性と研究上の独立性は、別の確認項目です。

別の期間でも結果が似ているかを見ながら、銘柄数、欠損、相場の違い、売買の成立条件を確認します。一つの標本外結果が良くても、費用や利用時点に問題があれば投資上の説明は弱くなります。

公開教材の期間分割を学ぶには、保有ルールとモデルの教材へ進んでください。公開コースの過去の再生は、これから入ってくる市場データを順番に観測する検証とは区別します。

KabuForge の画面操作で学ぶ研究コース。

本記事は研究手順を学ぶための教材です。特定の売買を推奨せず、将来の収益を保証しません。免責事項

Baileyほかの過学習研究。 多数の試行から結果を選ぶ問題を扱う原著です。単純な期間分割だけで選択の影響がなくなるわけではありません。

バックテストの学習順序を見る

• 日足だけでは分からないこと：高値・安値と約定順序
• 売買回転率とは？片側と両側の集計を区別する
• スリッページとは？想定価格と約定価格の差を分けて考える