メインコンテンツまでスキップ

AIが回答を作るまで

VideoQは動画から文章を用意し、質問に関係する情報を検索して、その情報を使った回答を言語モデルに生成させます。この方式を RAG(検索拡張生成) と呼びます(Lewis et al., 2020)。ここでは現在の実装を説明します。すべての回答が正しいことを保証するものではありません。AIの手法と参考文献に、各手法の原論文・モデルの公式資料と、VideoQでの応用範囲をまとめています。

受講生の画面で回答と引用を確認したい場合は、登録なしで試せるサンプル講座を開いてください。講師側の準備は動画講座の質問対応ガイドで説明しています。

現在の処理の全体像​

2026-10-31 時点の実装と照合しています。

段階現在の処理
動画の準備時刻付きの文章を取得してシーンに分割し、1536次元の埋め込みを保存
根拠の取得LangChainのエージェントが、許可された講座の登録情報取得・シーン検索を選択
回答の生成モデルが本文と出典IDの組を生成。動画タイトルと時刻はAPI側で管理
画面への表示生成中から本文と検証済みの引用を配信し、次の描画フレームでまとめて反映
保存完成した構造化回答と取得資料を保存

以前のStudyモードとPLOG学習グラフは廃止されています。現在のQ&Aは追加質問に対応しますが、学習セッション・問題生成・習得度管理は行いません。過去の削除手順はデプロイの資料に残しています。

AIは動画の何を読んでいる?​

アップロードしたファイルでは、workerが音声を取り出してWhisperで文字起こしします。YouTubeを登録した場合は、SearchAPIを通じて既存の字幕を取得します。どちらも時刻付きの文章になります。

既定では字幕を使います。overview_video で動画全体を見渡し、skim_video で候補区間を絞り、read_video_window で前後の字幕を読めます。アップロード動画は画像確認が既定で有効です。全体・区間の保存済み静止画も確認でき、inspect_clip では粗い画像を高詳細度で読み、focus_clip では短区間を約1秒間隔の画像で確認します。VIDEO_VISUAL_ENABLED=false で無効にできます。ReActエージェントが質問に必要なツールを選びます。YouTube動画やキャッシュがない動画は字幕のみが対象です。代表静止画のため短い動作や細かな文字は見逃す可能性があります。設定と制限を参照してください。

AIが担当する仕事は一つではありません。

仕事入力結果
アップロード動画の文字起こし抽出した音声時刻付きの文章
埋め込みの生成字幕の文章や検索文意味の近さを比較するための数値
Q&A最新の質問、指示、ツールの結果本文と出典IDを組にした構造化回答
画像確認(アップロード動画のみ)動画から選んだ静止画時刻付きの文章による観察結果

埋め込みは回答文を作るものではなく、言語モデルが読む文章を探すためのものです。準備の詳細は文字起こしとシーン検索で説明します。

一つの質問を追ってみる​

内積を説明する動画が講座にあり、次のように質問したとします。

内積は、2つのベクトルのなす角とどう関係しますか?

以下は仕組みを説明する架空の例で、本番の会話ログではありません。実際の検索文、取得する場面、検索回数、回答文は変わります。

  1. 調べてよい範囲を決める。 APIが講座とアクセス可能な動画IDを確定します。モデルが別の講座の動画を要求しても、その範囲を広げることはできません。

  2. ツールと検索文を選ぶ。 内容に関する質問なので、モデルには search_scenes を使うよう指示しています。例えば「内積 角度 コサインの関係」という検索文を作ります。質問文をそのまま検索するとは限りません。

  3. 場面を探す。 APIが検索文を埋め込みに変換し、講座内の索引済み字幕を検索します。1回の検索で取得するのは既定で最大20場面です。回答モデルへ動画全体を送る処理ではありません。

  4. 根拠を読む。 ツールからは、例えば次のような結果が返ります。

    {"sourceId":1,"title":"内積の授業","startTime":"00:02:10,000","endTime":"00:02:35,000","text":"内積は、2つのベクトルの長さとなす角のコサインを掛けたものです。"}
  5. 必要なら追加で検索する。 例えば直交する場合の説明も必要だと判断すれば、別の検索文を使います。シーン検索は1回答につき最大3回です。

  6. 回答文を作り、逐次表示する。 上の場面を使うと、「内積はベクトルの長さに加えて、なす角のコサインによって決まります。」というtextと sourceIds: [1] の組を返します。本文は生成中から表示します。segmentが閉じて引用の検証が済むと、回答全体の完成を待たずに、その文の直後へ時刻リンクを表示します。

  7. 利用者が引用元を確認する。 引用を選ぶと動画の該当時刻を開きます。時刻は保存済みの字幕から、説明の文章はモデルから来ています。

  8. 完成した回答を保存する。 APIが質問・構造化回答・取得資料を保存し、done を返します。回答後の自動採点は行いません。

場面の番号はプログラムが割り当てます。同じ場面を再び取得したときも同じ番号を使い、引用データを画面へ返します。モデルは本文と根拠IDの組を返し、本文中へ引用番号を埋め込みません。引用は回答を確認する手掛かりであり、各主張が正しいことの証明ではありません。

回答が完成する前に文字が表示されるのはなぜ?​

検索の進捗・回答本文・時刻リンクは、別々のストリームイベントです。APIはモデルの構造化出力を途中から読み取り、回答本文と検証済みのリンクだけを送ります。ブラウザーは受信した更新を次の描画フレームでまとめて反映し、1文字ずつ表示を遅らせる演出は加えません。引用はsegmentの完成と、数式・コードの外側にあることを確認するため、本文より少し後に表示される場合があります。

途中まで表示された本文は、保存済みの回答ではありません。配信が中断した場合や最終応答が不正な場合は失敗とし、未完成のチャットを保存しません。完了・中断・利用枠の扱いはストリームの契約を参照してください。

場面の引用が付かない回答があるのはなぜ?​

「この講座には動画が何本ある?」という質問には、登録された講座・動画情報を読む get_course_info で回答できます。字幕検索は不要で、登録情報には場面の引用番号を付けません。

講座を指定しない場合、モデルには検索ツールも引用元もなく、講座を選択するよう案内する指示を渡します。この応答も逐次表示しますが、講座のチャット履歴には保存しません。

特定の授業の内容を聞かれた場合は、まず講座情報から対象動画を特定し、その動画IDに絞って検索するよう指示しています。一覧の何番目かと、第何回の授業かは別です。登録済みの説明文は「説明文を見せて」への回答には使えますが、授業内容を説明する際の字幕検索の代わりにはしません。

過去の会話を覚えている?​

ブラウザーは会話UUIDと新しい質問1件だけを送ります。サーバーは毎回講座のアクセス権を確認し、所有者・利用者・講座・共有経路・会話UUIDごとにスレッドを分離します。LangGraphの会話状態は、公式の PostgresSaver でPostgreSQLへ保存します。講座全体の保存済みチャットログとは別であり、他の利用者のログを会話へ読み込むことはありません。

LangChainの summarizationMiddleware が推定6,000トークンで古い文脈を要約し、ライブラリ既定の直近20メッセージ(ツール履歴を含む)は原文で残します。保持対象より古いメッセージがない場合は、開始トークン数を満たしても要約対象がありません。この開始条件は文脈サイズの上限ではありません。トークン数はライブラリの文字数に基づく推定で、モデル固有の正確な値ではありません。要約には設定済みのチャット接続先・モデルを使い、その追加呼び出しも conversation_summary としてコスト台帳へ記録します。要約自体を状態へ保存するため、次の質問でも古い文脈を引き継げます。要約に失敗した場合は、正常な履歴をエラー文字列で置き換えず、その回答を失敗として扱います。

回答する createAgent に直接 PostgresSaver を渡し、ユーザー・回答・ツール呼び出し・ツール結果をエージェント自身が保持します。会話用の親グラフや保存用の文脈抽出は使いません。会話に残るツールの根拠は後続の回答でも利用でき、不足や更新が必要なときに再取得します。出典の対応表は公開ミドルウェアの stateSchema で保存し、回答や要約をまたいで同じIDが同じシーンを指すようにします。引用できるのは現在アクセス可能な動画の出典だけです。失敗・中断した生成は表示用の会話へ追加しません。同じ会話への同時書き込みは期限付きのDBリースで防ぎます。

UIは再読み込み後に選択中の会話を復元し、「自分の会話」からの選択、「新規相談」、確認付きの削除に対応します。ブラウザーに保存するのは会話IDだけで、アカウント・講座・共有経路ごとに分離します。元の質問・構造化回答・出典・評価は、サーバーの表示用の記録から読み込みます。要約によってこの記録を書き換えることはありません。会話一覧と以前のメッセージはページ分割して取得します。共有リンクでは、自分のブラウザーに保持した会話UUIDだけを一覧にでき、他の訪問者の会話は列挙できません。読み書き・削除のたびに講座のアクセス権を再確認します。期限切れ・削除済みの会話では、文脈を失ったまま続きを生成せず、新しい会話への案内を表示します。

表示用の記録と講座の質問履歴は、正常に保存できたチェックポイントIDと同じトランザクションで保存します。次のリクエストでは、確定済みの checkpoint_id をLangGraphへ渡して再開します。保存失敗・中断時のチェックポイントはライブラリの履歴に残りますが、会話の文脈には使いません。確定済みの状態が一度もない場合は、標準の RemoveMessage(REMOVE_ALL_MESSAGES) でメッセージと出典の対応表をリセットしてから新しい質問を渡します。確定済みの状態が見つからない場合は、文脈を失ったまま続けずエラーにします。

メッセージの状態は回答エージェントの組み込み機能、保存は公式の PostgresSaver が管理します。保存頻度は指定せず、LangGraph既定の async を使います。各ステップで次の処理と並行してチェックポイントを書き込みます。途中状態も保存されますが、アプリは作成中の回答を自動再開せず、最後に確定した回答から続きを生成します。プロセス停止時には直近の非同期書き込みが失われる可能性があります。保存頻度はチェックポイント件数の上限ではありません。履歴はライブラリが管理し、会話の削除・期限切れまで蓄積します。要約で抑えるのはモデルへ渡す文脈であり、DBの履歴件数ではありません。

自分の会話は最後の質問から30日で期限切れとなり、日次保守で表示用の記録とチェックポイントを削除します。期限切れのUUIDを開いた場合も古い状態を削除します。読むだけでは期限を延長しません。講座の質問履歴は従来の保持期間で別途管理します。会話を明示的に削除した場合は、対応する講座の質問履歴も含めて削除します。講座・講座全体のチャット履歴・関連アカウントの削除でも、紐づく会話を削除します。回答中の会話は削除できません。

次の動きを決めるのは誰?​

判断担当
どの講座・動画へアクセスできるかAPIの権限確認と検索フィルター
登録情報と字幕のどちらを調べ、何を検索するかツールの説明とプロンプトに従うモデル
何件取得でき、何回ツールを使えるかプログラムの上限値と引数検証
どんな文章で説明し、どこに引用を付けるか指示に従うモデル

モデルには、取得した根拠の範囲で答え、不明なことは不明と伝えるよう指示しています。これはプログラムが回答の正しさを証明する処理とは異なります。現在の検索にはアプリ側の最低類似度による除外がないため、検索結果に無関係な場面が含まれる可能性もあります。長い動画の大まかな要約を求めても、取得した抜粋だけを扱い、全編を網羅しない場合があります。

データはどこへ送られる?​

文字起こし・埋め込み・画像確認・回答生成では、それぞれに設定されたモデルサービスを呼び出します。ホスト型の構成ではOpenRouterを経由します。各サービスへ、その処理に必要な音声、画像、文章が送られます。文字起こしや埋め込みをローカルに切り替えただけで、すべてのAI処理がローカルになるわけではありません。Q&Aには別の呼び出しがあります。

これはアプリのデータの流れの説明です。提供元による保存や学習利用の方針を保証するものではありません。仕組みの理解や設定方法の説明に、本番の認証情報やアカウント識別子は必要ありません。

詳しく調べる​

Q&Aの実装は rag.tsです。ツールは講座情報とシーン検索結果を取得します。挙動が変わった場合は、この実装を基準に文書を更新します。

要約の開始条件は省略すると要約が無効になるため、約6,000トークンを明示します。要約プロンプト・接頭辞・要約入力の切り詰め・保持するメッセージ件数は既定値を使い、要約モデルの出力トークン上限はアプリ側で指定しません。