Skip to content

ブックマークの要約とチャットの回答を Web で確かめ、主張ごとに裏付けあり・食い違いあり・見つからずを、ページの一節と一緒に手がかりとして出す - #106

Open
unchunks wants to merge 5 commits into
developfrom
feature/fact-check

Conversation

@unchunks

Copy link
Copy Markdown
Owner

概要

ブックマークの要約とチャットの回答を「Web で確かめる」機能を足します。文章から事実の主張を取り出し、主張ごとに Web(#100 の Brave Search)で探して、見つかったページと照らし合わせ、主張ごとに 裏付けあり / 食い違いあり / 見つからず を、ページの一節とリンク付きで出します。判定ではなく手がかりとして出し、要約・回答は書き換えません。

使い方

  • ブックマークの詳細: 要約の下の「Web で確かめる」
  • チャット: 回答の下の地球と虫眼鏡のアイコン(「Web で確かめる」)
  • シートを開くだけでは検索しません。「確かめる」を押したときだけ、主張ごとに1回、その語句を Brave Search に送ります(シートにそう書いています)

仕組み(data/factcheck/FactChecker)

  1. 主張を取り出す: AI に JSON({"claims": [...]})で出させ、形が崩れていれば理由を添えて1回作り直させます(要約・タグ・カテゴリの出力を JSON スキーマで縛り、形が崩れたら直す指示を付けて作り直させる (#7) #43 の StructuredOutput.generateWithRepair)。端末内 AI は3つ、クラウドは5つまで。AI を使えない・それでも崩れたときは、数字・英字(名前)を含む文から選びます
  2. 探す: 主張をそのまま検索語にして、チャットで Brave Search API を使って Web を検索し、結果のページを保存したブックマークと並べて回答の根拠にする #100 の WebSourceProvider で上位のページを読みます(端末内 AI はページ2件・抜粋 450 文字、クラウドは3件・1,200 文字)。回数の制限・オフラインモード・ローカルネットワークへの接続の禁止は、そちらの仕組みをそのまま使います
  3. 照らし合わせる: AI に JSON({"verdict", "sources", "quote"})で判定させます。AI の引用は、本当にページの抜粋の中にあるときだけ使い(空白・全角半角の違いは無視)、無ければ EvidenceFinder で見つけた一節を出します。AI を使えなければ EvidenceFinder だけで判定し、その場合「食い違いあり」は出しません

保存(DB v31)

  • fact_checks テーブル(MIGRATION_30_31)。対象(要約・回答)ごとに1行で、確かめ直すと置き換えます。開き直したときは保存した結果を出し、検索し直しません
  • 確かめた文章のハッシュも残し、その後に要約・回答が変わっていたら「その後、内容が変わりました」と出します
  • 対象はブックマークかメッセージなので外部キーにはせず、対象の消えた行は次に確かめるときに消します。「すべてのデータを削除」でも消します
  • バックアップには入れません(BackupCoverage に理由): 確かめた時点の手がかりで、もう一度確かめられること、回答のメッセージの ID は読み込む端末で振り直されて対象に結び付かないこと

制限

  • オフラインモード・キーが無いときは、シートで理由を出し(キーが無ければ AI 設定へ案内)、確かめるボタンを出しません
  • 検索の上限(1 秒あたり・月あたり)・キーが無効などで途中で止まったら、途中までの結果は保存せずに理由を出します
  • 使用量の表示(クラウド API の使ったトークン数を記録し、設定で使用量と費用の目安を見られるようにする (#69) #48): クラウド AI を使うときは、AI の呼び出し(complete)が既存の仕組みで記録されます。Brave Search の回数は Brave の管理画面で見るものなので、アプリでは数えていません(今はクラウド AI が無効のため、AI は端末内で動きます)

確かめたこと

  • ローカル: ./gradlew :app:assembleDebug :app:testDebugUnitTest :app:lintDebug がすべて成功(単体テスト 2,637 件、失敗 0。develop の bookmarks に処理の状態・最後に開いた日時・保存した日時のインデックスを足し、よく読み直す問い合わせで全件を読まずに済むようにする(DB v30) #104 を取り込んだ後)
  • 足したテスト: FactCheckPromptsTest(指示・解析・引用の確認・JSON)、FactCheckerTest(裏付け・食い違い・見つからず・作られた引用を使わない・AI なし・作り直し・クラウドの量・検索の失敗)、FactCheckRepositoryImplTest(Room のメモリ上の DB で保存・置き換え・片付け)、FactCheckViewModelTest、MigrationTest.migrate30To31。検索・AI はすべて Fake で、本物の API には接続しません
  • スクリーンショット: FactCheckScreenshotTest(結果・途中・キーが無い・オフラインモード・古い結果と失敗)を記録して見た目を確かめました

端末か本物のキーが無いと確かめられないこと

  • 本物の Brave の検索結果とページで、主張の取り出し・判定がどのくらい当たるか(特に端末内 AI)
  • 主張3つ分の検索・ページの読み込み・推論にかかる時間

DB の版

v31 を使います。#104(bookmarks のインデックス、v30)を取り込んだ後に版を上げ直しました。v30 のスキーマ JSON は develop のまま変えていません。出す前に開いている PR を確かめ、AppDatabase.VERSION を上げているものはありませんでした。

🤖 Generated with Claude Code

unchunks and others added 5 commits November 15, 2026 20:29
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant