挨拶・自己紹介
こんにちは。ニコニコ漫画事業部でディレクターをしているikedaです。主にニコニコ漫画の課題整理・開発案件の要件定義、プロジェクトの進行管理を担当しています。
本日は、仮説検証の重要性について、ニコニコ漫画のレコメンド検証の具体例を交えつつご紹介します。
仮説検証の重要性
Webサービスやアプリでは、実際に利用しているユーザーの姿が見えず、直接意見を聞けないことが多いため、ニーズを正確に把握するのが困難です。
そのため、開発案件においても、リリース後にユーザーの反応やデータを確認して初めて効果がわかるといった不確実性が高いプロセスになります。
不確実性が高いとは「分からないことが多い」状態を指し、そのままでは課題解決が難しくなります。 したがって、一度にすべてを解決できない場合は、「分からないことを少しずつ解消していく」ことが重要です。
この際、『仮説検証』が効果的な手法となります。
『仮説検証』は、以下のアプローチを繰り返し行うことです。
- 状況の観察・分析
- 仮説の設定
- 仮説の検証
- 結果からの学び
以下、ニコニコ漫画で実施した『仮説検証』をご紹介します。
ニコニコ漫画のレコメンド
現在、ニコニコ漫画では、視聴履歴・お気に入り作品・コメント情報などさまざまなデータを基にユーザーごとに、一部の露出枠で最適な作品との出会いを提供しています。
ニコニコ漫画でなぜレコメンドに着手しようとしたのか？
なぜニコニコ漫画でレコメンドに取り組む必要があったのか？その背景を説明します。 私たちがレコメンドに注目した理由は、以下の課題に直面していたからです。
- 作品接触の難しさ
- 日々増えていく作品の中から、ユーザー自らが好みの作品を見つけることが難しい
- 人気ジャンルの偏り
- 特定のジャンルばかりが目立ち、その他のジャンルが埋もれてしまう
- 露出枠の限界
- サービスの中で表示できる作品の数には限りがあり、多くの作品を露出できない
- 作品選定コストの高さ
- 手動での作品選定は時間とコストがかかるとともに、属人性が高い
レコメンドに取り組むことで課題解決につながるはず！という直感はあったものの、果たして何から解決していけばいいのか…？が悩みどころでした。
そこで、少しずつでも解明を進める必要性を感じ、『仮説検証』に着手しました。
具体例: コールドスタート問題解決に向けたアプローチ
第1段階: コメントの類似性を利用したレコメンド
コールドスタート問題とは、新規ユーザーが視聴履歴・お気に入り作品などの情報を持たないためにレコメンドの精度が落ちることです。
そこで、ニコニコ漫画において独自の読書体験・楽しみ方を提供しているコメントの類似性に基づいたレコメンドに挑戦しました。
状況の観察・分析:
- 人気作品には多くのコメントが集まる（ユーザーの反応が良い）
仮説の設定:
- ユーザーが同じコメント（盛り上がり）をしている作品は類似度が高く、興味を引く作品を見つけやすい
仮説の検証:
- レコメンドによる作品露出を強化したところ、既存比95％（※）と精度が低下
※露出枠のクリック数を評価数値としています
結果からの学び:
- 一部熱狂的なファンユーザーによる過多なコメントがつく作品がノイズになったり、そもそもコメント数が少ない作品などが候補に上がらない状況が起きていた
第2段階: 作品の人気度を加味したレコメンド
次に、作品の人気度も評価に加えたレコメンドに挑戦しました。
状況の観察・分析:
- 継続的に読まれている・読み始められる作品は一定以上の人気がある作品が多い
仮説の設定:
- 一定数以上のユーザーが評価している作品であれば、一部ユーザーの嗜好による傾向に引っ張られすぎない
仮説の検証:
- コメントの類似性・作品の人気度を加味した結果、既存比105％と改善し、一定の成果を確認できた
結果からの学び:
- コメントが多いジャンルに人気が偏り、一部のユーザーニーズしか満たせない可能性がある
第3段階: 作品の原稿内セリフを用いたジャンル推測
次に、作品の原稿内セリフを利用した作品傾向（ジャンル）も軸として加え、レコメンドに挑戦しました。
状況の観察・分析:
- 読んだ作品とジャンルが近しければ、まだ人気が少ない作品でも併読しているユーザーが多い
仮説の設定:
- 作品の原稿内セリフを解析することで、コメント以上にジャンルが近しい作品をレコメンドできる
仮説の検証:
- コメントの類似性・作品の人気度・ジャンルを導入した結果、既存比113％とさらに精度が向上
結果からの学び:
- コメントよりも原稿内セリフの方が作品傾向（ジャンル）を掴んでおり、近しいジャンルの提示がユーザーの興味をより引くことができた
ニコニコ漫画のレコメンドシステムと仮説検証のメリット
これらの『仮説検証』を通じて、以下のような知見が得られました：
1つの仮説が失敗しても、そのプロセスから得られる学びが次の成功に繋がる（分からないことを少しずつでも分かるようにする重要性）
- 仮説が外れても、その失敗から新たな仮説が生み出され、『仮説検証』を続けることで、サービスの品質を向上させることができる
複合的な要因を考慮することの重要性
- 1つの要因では成果がでなくても、複数の要因を組み合わせることが精度向上に繋がる場合もある（例: コメント＋人気度、原稿セリフの解析）
まとめ
この記事では、『仮説検証』の重要性と具体的な取り組みについて、ニコニコ漫画のレコメンドの事例を用いて説明しました。
『仮説検証』は失敗からも学び、より良い結果に導くための重要なアプローチです。
ブックウォーカーでは、こうした『仮説検証』を重視し、サービスの継続的な改善を進めています。
もし興味がありましたら、ぜひ採用情報ページからご応募ください。
この記事が、仮説検証の重要性を理解する一助となれば幸いです。
