レコメンデーションシステムのA/Bテスト

レコメンデーションシステムのA/Bテスト設計

レコメンデーションシステムの改善を正確に測定するA/Bテストは、通常のUIのA/Bテストよりも複雑です。相互汚染（ネットワーク効果）、フィードバックループ、正しいランダム化単位の選択など、固有の落とし穴があります。

ランダム化とトラフィック分割

ランダム化単位の選択

ユーザーレベルのランダム化が基本です：同一ユーザーは常に同じバリアント（コントロールまたはテスト）を見ます。これにより実験汚染を防ぎます。セッションレベルのランダム化は避けてください：同じユーザーが複数セッションで異なるアルゴリズムを体験すると、学習したモデルの評価が汚染されます。ハッシュ関数（例：md5(user_id + experiment_id) % 100）で決定論的に振り分けます。

サンプルサイズの計算

検出したい最小効果量（MDE）を事前に決定します。例えばCTRを5%から5.25%（5%改善）と検出したい場合、二項比率の検定でpower=0.8、α=0.05を設定すると必要サンプルサイズは約14万ユーザーです。Statsigやエヴァンスの計算ツールを使って事前計算します。稀なコンバージョン指標（購入率など）は統計的有意差を出すのに数週間〜数ヶ月かかることがあります。

指標設計：何を測るか

即時指標と遅延指標

即時指標（クリックスルー率、印象当たりのエンゲージメント）は早期結果を示しますが、品質の代理変数にすぎません。クリック誘導型の推薦（「釣り記事」的なもの）はCTRを高めつつユーザー満足度を下げる可能性があります。遅延指標（7日間リテンション、月間アクティブユーザー、解約率）が真のビジネス価値を反映します。両方を測定し、矛盾が生じたときに意思決定基準を事前に定めておくことが重要です。

多様性と鮮度の指標

Intra-List Diversity（ILD）：推薦リスト内のアイテム間の平均非類似度。Coverage：カタログ全体のうち推薦に登場するアイテムの割合。Novelty：ユーザーが過去に接触していない新しいアイテムの推薦率。これらの指標を長期A/Bテストで追跡し、多様性向上アルゴリズムがリテンションを改善するか検証します。

インタリービング実験：より高速な比較手法

インタリービングの仕組み

インタリービングでは、同一ユーザーにアルゴリズムAとBの推薦結果を混合したリストを表示し、どちらのアルゴリズムが推薦したアイテムをユーザーが多くクリックしたかを比較します。Balanced Interleaving（Chapelle et al., 2012）またはTeam Draft Interleaving（Radlinski et al., 2008）が代表的な手法です。従来のA/Bテストの10〜100分の1のデータで同等の感度を実現できます。Netflixが本番でインタリービングを使ってアルゴリズムの候補選定を行っています。

インタリービングの限界と補完

インタリービングはアルゴリズムの相対的な優劣を素早く判定するのに適していますが、ビジネス指標への影響量（effect size）を測定するのには不向きです。インタリービングで有望な候補を絞り込み、最終的なビジネス指標の測定には通常のA/Bテストを使う二段階プロセスが実用的です。

よくある落とし穴とその回避策

ノベルティ効果とフィードバックループ

ノベルティ効果：新しいUIや新しい推薦ウィジェットは最初だけクリックされやすく、長期的には元に戻ることがあります。最低2週間（望ましくは4週間）実験を継続します。フィードバックループ：テストグループが特定のコンテンツを多く見ると、そのコンテンツへのエンゲージメントデータが偏り、次のモデル更新に影響します。実験中はモデルの再学習を停止するか、実験グループのデータを分離して処理します。

多重比較とp値のハッキング

複数の指標を同時に検定する場合はBonferroni補正またはBenjamini-Hochberg法でFDRを制御します。実験途中で結果を確認して「良くなったら即停止」するピーキング問題はType I Errorを増大させます。事前に決めた期間で実験を完了させるか、Sequential hypothesis testing（常時有意水準を調整）を採用します。

実践的な実験管理

実験プラットフォームとして、Statsig、Optimizely、LaunchDarkly、またはカスタム実装（Feature flagsサービス＋ClickHouseでの分析）が使われます。重要なのはすべての実験を記録し、デシジョンログ（何を決定したか、なぜか）を保持することです。実験文化を醸成することが長期的なシステム改善の鍵です。