[Research Retrieval] Deduplicate search results and rank sources by authority, freshness, and diversity #39

Background

Deep Research 的检索质量不能只看“搜到了多少链接”。同一篇新闻可能被几十家站点转载，同一份公司新闻稿可能以不同 URL 出现；如果 Agent 把这些重复内容当成多个独立证据，会产生虚假的“多来源一致”。

同时，搜索排序也不能只依赖通用搜索引擎 rank。金融研究应更偏好监管披露、交易所公告、公司 IR 等 primary source，并对来源权威性、时效性、独立性和覆盖多样性进行显式建模。

Related: #13 #15 #20 #30 #32

Requirements

1. Canonicalization & deduplication

对 retrieval/search result 建立统一 normalization，至少考虑：

• canonical URL / redirect resolution；
• tracking query removal；
• normalized title；
• content/excerpt hash；
• near-duplicate text similarity；
• syndicated/reposted article clustering；
• same-document multi-URL detection。

重复来源应聚合成 source cluster，并保留各 URL/provider metadata，但不能在 evidence count 中被当成多个独立来源。

2. Source quality model

定义可测试、可解释的 source-quality signals，至少考虑：

• primary vs secondary source；
• regulator / exchange / issuer / established news / aggregator 等 source class；
• publication freshness；
• direct relevance to instrument/query；
• original reporting vs syndicated copy；
• author/publisher metadata（可获取时）；
• historical reliability metadata（如果项目已有）；
• source availability/accessibility。

质量规则应以确定性配置/特征为基础；LLM 可以辅助分类，但不能成为唯一排序依据。

3. Diversity-aware selection

进入 synthesis/context 的 Top-K 不应全部来自同一域名或同一新闻稿转载链：

• 对 domain/source cluster 做 diversity control；
• 对关键 claim 尽量优先获取独立来源；
• primary source 可获得优先权；
• secondary sources 可用于解释、市场观点和交叉验证；
• 如果只有一个独立来源，应明确暴露不足，而不是用多个转载 URL 补数量。

4. Provenance

selection/ranking 结果至少记录：

• original rank；
• normalized source/cluster id；
• quality/source class；
• dedupe relation；
• selected / dropped reason；
• ranking policy version。

供 #14/#15 evaluation 与 #30 Source Inspector 使用。

Acceptance Criteria

• URL 参数/redirect 导致的同一来源不会重复计数。
• 高相似转载文章可以聚合为同一 syndicated cluster。
• Source Inspector 能看到来源类别及 duplicate/syndication relation（适用时）。
• 对财务事实查询，regulatory/exchange/company primary source 能在合理场景获得优先选择。
• Top-K 有 domain/source diversity 约束，避免全部来自一个 publisher。
• 多个转载副本不能让 claim verifier 误判成多个独立证据。
• ranking/dedupe policy 有 machine-readable version，并进入 run/retrieval metadata。
• 有 deterministic tests 覆盖 canonicalization、near-duplicate、syndication、source-class ranking。
• PR 必须完成一次真实搜索 E2E：选择一个被大量媒体转载的公司公告/新闻事件，展示 raw search results → dedupe clusters → ranked/diverse source set → 最终带 citation 的 Research 输出。

Non-goals

• 不建立全互联网通用 PageRank。
• 不用单个 LLM judge 黑盒分数替代可解释的来源规则。
• 不因为来源“权威”就跳过 claim-level evidence verification。