Repository navigation
Conversation
scripting.js 以 <all_urls> + allFrames 注册并监听 chrome.storage.local.onChanged, 任何一次 local 写入(包括整包的 value:*)的新旧值都会被投递并反序列化到所有页面的所有 frame, 存储数据较大或标签页较多时导致 CPU 占用高(#1834)。 - SW 按弹窗的标签页脚本缓存找出运行该 storageName 的标签页,外加发起写入的标签页,逐个 tabs.sendMessage - scripting 去掉 storage.local.onChanged 监听,runtime/valueUpdate 按本 frame 的 storageName 过滤 - 删除不再使用的 deliveryStorage 与 setSessionAccessLevel
|
@CodFrm 我覺得最終還是不要用storage.local 儲data 吧 |
indexeddb 经常丢数据,opfs 不合适,性能问题怕不是更差,而且这里并不是存储结构的问题啊,是因为之前用 chrome.storage.local 用来做通讯广播导致的 |
|
我有一个想法 每个 scripting 在初始时做一个 runtime.connect 发给中央 (service worker) (完全不需要tab query.) 再进一步的话, port断了的话,scripting就自动重连.
我觉得是行得通的 你可以先还原,之后再找AI试试这做法 cyfung1031 的核心想法是用 Port 长连接实现精准消息推送,减少不必要的广播和查询开销。他建议每个页面及 iframe 的 总体而言,Port 方案值得进一步验证,但需要通过实际性能测试确认收益是否足以抵消复杂度。 |
|
runtime.connect 好像有问题,某些环境不支持 runtime.connect,原来我用过,我再验证一下 好像是这个,不过没影响 不过还有一个问题,SW是有生命周期,会断掉的,有复杂性,另外connect是长链接,资源占用不一定比postMessage低 |
runtime.connect 订阅方案实测结论:Port 订阅方案在 Chrome 上可行,五个测试场景都比本 PR 和 main 快,CPU 也更省。但要补三处才能保证正确,而且只要还有标签页在运行脚本,SW 就会一直常驻,这个取舍需要决定。另外测出本 PR 有一个 bfcache 回归,不管最后选哪个方案都要修。 关于「某些环境不支持 runtime.connect」这个说法应该来自 #534:Opera 的 content script 里没有 原型实现基于本 PR head
正确性
SW 生命周期
也就是说,只要有标签页在运行脚本,SW 就会常驻。好处是没有冷启动:空闲后第一次写入,本 PR 需要 203 ms,Port 是 41–94 ms。代价是 SW 的内存一直占着。 性能沿用 #1835 评论里的测试脚本,Chrome 156 headless,三个版本按场景轮换跑三轮。表中是单次写入 p50 的中位数,括号里是三轮的范围;所有运行中每个标签页都收到了全部更新。
浏览器主进程 CPU 受负载影响最小,三轮几乎不变。场景 C 存储为空时:main 4.4–4.8 s、本 PR 11–14 s、Port 2.3–2.6 s;存储 1 KB 时:6.5–7.0 s、12–16 s、2.5–2.7 s。本 PR「已知限制」里那一档(存储很小、多页同时写入,比广播慢),在 Port 方案下反而比广播还快:每次写入省掉了 局限
|
|
看到你的測試結果感覺更值得做了 |
|
改为 draft. 应直接处理更理想的 #1848 |
|
更正:上面那条评论里「Port:360 s 内一直没有被回收……只要有标签页在运行脚本,SW 就会常驻」是错的。 当时用「SW target 是否存在」轮询,原型断开后立刻重连,SW 的停止和重启都发生在 250 ms 的轮询间隔里,所以没看到。改成跟踪 SW target 的 id 后:300 秒内 main 和 Port 原型都出现了 6 个 SW 实例(每次空闲约 30 秒就被回收),空闲时扩展进程 CPU 是 0.81 s 和 1.05 s。所以 Port 方案并不会让 SW 常驻,「SW 常驻」这个取舍也不存在。原评论其余数据不受影响。#1848 的实测结果另外写在 #1848 里。 |
由于 SW 这种会自杀的特性,这些有状态的都不好处理,如果再继续在这个上面优化postMessage呢? 主要瓶颈应该是在搜索匹配,发信的消耗应该是差不多的 |
這正是解決了自殺特性 用runtime connect 可以重新呼叫sw 當然 agent 找出來的edge case 要處理 |
我在 #1848 (comment) 写了问题 |
接收端不回包、监听返回 false,发送端用 Promise 形式的 tabs.sendMessage (回调形式在接收端不回包时必有 lastError,Chrome 156 实测)。 供高频、不需要回执的一对多推送使用。
- 新增 ValueUpdateDelivery:pageLoad / pageShow 登记各 frame 运行的 storageName, 真相存于 storage.session,SW 回收后首次使用时恢复;不再每次写入都 tabs.query 并逐个读取 popup 的 tabScript 缓存。 - 同一标签页同时只有一批消息在途,期间的更新合并成下一批;不同标签页之间并发。 - 运行该脚本的 frame 不多时按 documentId 定向,超过约三分之一时整页投递一次。 - 值更新改用单向通知 runtime/valueUpdates,页面不回包。 - 顶层 frame 的 pageLoad 一到达就清掉旧页面登记;bfcache 还原时各 frame 带上 storageName 重新登记,修复本 PR 先前版本还原后收不到更新的回归。 - GM_setValue / GM_setValues 的 valueSender 带上 frameId、documentId, 发起方尚未登记时也能单独收到回执。
tabs.sendMessage 在消息超过 64 MiB 时同步抛出(Chrome 156 实测),目标不存在时才返回被拒绝的 Promise。原实现没有区分两者:同步异常让 flush 的 Promise 被拒绝,该标签页的队列条目再也不会被删除, 之后的更新全部只入队不发送,发起方的 GM.setValue 也等不到回执。 现在同步抛出视为调用被拒、目标仍在:合并后的批次逐条按顺序重发,单条本身超限则记录错误并跳过; 只有 Promise 被拒绝才把目标移出投递表。
- pageLoad 一到达就把该 frame 登记为「待定」,查出运行哪些脚本前所有更新都投递给它。 early-start 脚本在 document_start 就已运行,原实现要等 getScriptsForTab 返回才登记, 这段时间里其他标签页的写入送不到(main 上 scripting 从初始化起就监听,pageLoad 返回前两侧都转发)。 - 投递路由按 document 区分。子 frame 跳到新页面、新页面尚未登记完成时,early-start 脚本写值的回执 原本会被并进同一 frameId 下旧 document 的路由而发丢,GM.setValue 等不到完成;投递失败时也只移除 对应 document 的记录。
扩展弹出窗口、侧边栏等页面里内嵌的网页 frame 没有 tabId,tabs.sendMessage 投递不到, GM.setValue / GM.setValues 的 Promise 只靠投递来的值更新完成,因此永远等不到(main 经 storage.local.onChanged 能送达)。现在 SW 识别出这类发起方时把本次更新随 GM_setValue 的应答带回, 内容侧收到后就地处理:回执完成、本脚本的监听照常触发。扩展自身页面(offscreen 里的后台脚本) 不带,它们由 offscreen 投递送达。 其他标签页写入的更新仍无法推送到这类 frame。
更新:改为投递表定向 + 按标签页合并(head
|
| 场景 | main | 上一版 | Port 原型 | 本版 |
|---|---|---|---|---|
| 1 页写 / 50 页收 | 28.4 | 21.4 | 5.7 | 8.4 |
| 1 页写 / 50 个无关页 | 17.4 | 12.7 | 3.3 | 2.4 |
| 50 页同时写,空存储 | 1329 | 1805 | 472 | 603 |
| 50 页同时写,1 KB | 742 | 2068 | 720 | 455 |
相对上一版全面更好;相对 main,setValue 与网页进程 CPU 更好,但扩展进程 CPU 更高(SW 逐个标签页发消息);相对 Port,Port 在单写入方延迟与主进程 CPU 上三轮都更低,多页同时写的场景单轮波动太大,分不出胜负。测试期间 load avg 36–344,需要的话我可以在空闲机器上重跑。
回归排查
另做了一轮独立审查(只给代码与 main 作基准),逐条在本机复核,修了三处:
- 消息超过 64 MiB 时该标签页的投递队列永久卡死(
40b25ff3):超限时tabs.sendMessage是同步抛出,原实现没接住。现在批次超限逐条重发,单条超限跳过。 - early-start 脚本的两处缺口(
599b280c):页面登记完成前收不到其他标签页的更新;子 frame 跳转后、新页面登记前写值,回执会被并进旧 document 而发丢。现在 pageLoad 一到达就登记为「待定」,路由按 document 区分。 - 扩展弹出窗口 / 侧边栏里内嵌的网页中
GM.setValue永不返回(b4633a97):用chrome.action.openPopup()实测复现(修复前 8 s 超时,main 10 ms)。现在更新随应答带回。
实测确认不是回归:预渲染激活的页面、页面冻结后解冻、Firefox 与 Chrome 的 documentId 支持版本一致。
需要拍板 / 帮忙确认
- 弹出窗口、侧边栏里内嵌的网页收不到其他页面写入的更新:这类 frame 没有 tabId,
tabs.sendMessage到不了;main 可以。要恢复只能给它们单独保留 storage 广播或长连接。我倾向先作为已知限制,是否要补由你们定。 - Chrome 隐身窗口:扩展是
split模式,普通 / 隐身两侧的 SW 各自只投递自己的标签页。main 上 storage 事件会不会跨两侧推送,我在自动化环境里没能验证(隐身侧 SW 起不来,main 上也一样)。用真实浏览器在普通、隐身窗口各开一个跑同一脚本的页面,一侧写值看另一侧,两分钟能确认。 - 单条更新超过 64 MiB(新值 + 旧值)投递不了,这条更新被跳过、发起方这次
GM.setValue不返回;之后的更新正常。上一版同样存在。是否要做降级(如超限时不带旧值)由你们定。
Checklist / 检查清单
Description / 描述
fix #1834
related #1835
背景
scripting.js以<all_urls>+allFrames: true注册,原来在每个 frame 里监听chrome.storage.local.onChanged来接收 SW 写入的valueUpdateDelivery。onChanged不能只订阅某个 key,所以任何一次storage.local写入(包括ValueService每次整包保存的value:<storageName>)的新旧值都会投递到所有页面的所有 frame。数据越大、标签页越多,CPU 越高,#1834 就是这种情况。复现与根因见 #1835 (comment) 。本次改动
不再借
storage.local广播,改为 SW 用无状态的tabs.sendMessage定向投递:ValueUpdateDelivery(src/app/service/service_worker/value_delivery.ts):pageLoad 时登记每个 frame(tabId、frameId、documentId)运行的 storageName,持久化到storage.session,SW 被回收后第一次投递前恢复。每次写入的查找是一次内存遍历,不再tabs.query、也不再逐个读弹窗的tabScript缓存。runtime/valueUpdates,一条消息携带多条更新);不同标签页之间并发、互不等待。Server.onNotify/ExtensionContentMessageSend.notify,页面不回包。pageShow重新登记;tabs.onRemoved/onReplaced清理;目标已不存在的 document 从表里移除。GM_setValue/GM_setValues的valueSender带上发起写入的 frameId、documentId,发起方 document 还没登记(页面早期写值)时也会单独投递,GM.setValue的 Promise 能等到回执。投递路由按 document 区分,同一 frameId 下尚未清掉的旧 document 不会吞掉发给新 document 的回执。tabs.sendMessage投递不到,SW 把本次更新随GM_setValue的应答带回,内容侧就地处理(回执完成、本脚本监听触发);扩展自身页面(offscreen 里的后台脚本)不带,由 offscreen 投递送达。storage.local.onChanged;删除deliveryStorage与setSessionAccessLevel。实现考虑
storage.session而不是长连接:真相在storage.session,内存里只是副本,SW 被回收只丢一份可重建的缓存,没有重连、断线检测,也没有页面在 bfcache 里拿着失效 port 的问题(⚡️ GM 值更新改用按 storageName 订阅的 Port 精准推送 #1848 讨论过的那类状态)。只持久化运行脚本的 frame:没有脚本的 frame(如反复载入的广告 iframe)只参与「整页还是定向」的计数,SW 重启后少计它们只会让选择偏向整页投递,结果仍然正确。3k > n + 2时整页发送。tabs.sendMessage必然得到 lastError「The message port closed before a response was received」,Promise 形式则正常 resolve(Chrome 156 实测;Firefox 按 MDN 以无参数 fulfill),所以notify用 Promise 形式。单独一项只省约 10–20%,但门控需要的「发送完成」信号依赖它 resolve。tabs.sendMessage同步抛出;目标 frame / 标签页不存在时才返回被拒绝的 Promise(Chrome 156 实测)。同步抛出视为调用被拒、目标仍在:合并后的批次逐条按顺序重发,单条本身超限则记录错误并跳过;只有 Promise 被拒绝才移出目标。区分依据是调用约定而不是错误文案,notify因此保持同步透传,不能改成 async 函数(有单测锁定)。runtime.onMessage;scripting.js 是普通 content script,可以收到,所以仍由它转发。MessageSender 没有 documentId 时退回按 frameId 定向。已知限制
GM.setValue等不到回执;之后的更新不受影响。这是改用消息投递后才有的上限(本 PR 第一版同样存在);main 的storage.local广播在这个量级下的行为没有实测。value:*整包大小增长,需要按 key 粒度持久化,不在本 PR 范围。tabs.sendMessage需要 tabId),main 经storage.onChanged可以。要恢复只能为这类 frame 保留一条 storage 广播或长连接通道,是否值得由维护者决定。"incognito": "split")未核实:两个 profile 各有一个 SW,各自只登记、投递自己的标签页;main 上storage.local.onChanged是否会把普通窗口的写入推给隐身窗口里运行同一脚本的页面(反之亦然)没有实测——自动化环境里隐身那一侧的 SW 一直没有启动,main 上脚本也没在隐身页运行,无法对比。用真实浏览器在普通 / 隐身窗口各开一个运行同一脚本的页面、一侧写值看另一侧即可确认。storage.session写入(持久化投递表)。storage.session,持续新建运行脚本 iframe 的单页应用里这份记录会一直增长。ExtensionContentMessageSend.sendMessage用!this.options?.frameId判断,会把frameId: 0当成未指定而发给整个标签页(影响emitEventToTab),建议另开修复。建议审查重点
value_delivery.ts:deliver对同步抛出 / Promise 被拒绝的区分;restore与恢复前到达的register/resetTab的合并规则;flush的队列身份判断(标签页关闭期间的在途批次);dropFrames只移除发送时看到的那份记录。runtime.ts的pageLoad:resetTab与「待定」登记必须在第一个 await 之前。gm_api.ts(SW)的isTablessPageFrame与内容侧applyOwnValueUpdate:只有不属于标签页的网页 frame 才把更新随应答带回,带回时同一次更新不能再经投递处理一遍。scripting.ts:子 frame 现在也监听pageshow并在运行脚本时上报;popupPageRestored对 frameId 非 0 的上报本来就忽略。验证
head
b4633a97(已推送),base 为origin/main与 head 的 merge-base4b5a584c;git diff origin/main...b4633a97共 19 个文件。单元测试(先写 RED 再改到 GREEN)
value_delivery.test.ts(23 例:旧 document 不吞发起方回执 / 发起方投递失败不误删同 frameId 的记录 / 批次超限逐条重发且队列不卡住 / 单条超限跳过后续照常 / 定向 / 发起方回执 / 整页阈值两侧 / 按 document 拆分 / 在途合并与顺序 / 标签页间不阻塞 / 失败移除 / 顶层重载 / 关闭与替换 / bfcache 重新登记 / SW 重启恢复与合并 / 只持久化运行脚本的 frame)、extension_message.test.ts(含「调用被拒时同步抛出」的契约);扩充server.test.ts(onNotify)、scripting.test.ts(批量过滤、各 frame 的 pageShow 上报)、runtime.test.ts(pageLoad / pageShow 登记、顶层清理竞态、查询脚本期间的「待定」投递)、SWgm_api.test.ts(valueSender 带 frame;只有不属于标签页的网页 frame 的应答带回更新)、内容侧gm_api.test.ts(应答带回更新时GM.setValue/GM.setValues完成并触发本脚本监听)。packages/chrome-extension-mock补了tabs.onReplaced。pnpm exec vitest run --no-coverage --no-file-parallelism src/app/service/content src/app/service/service_worker src/app/service/offscreen src/app/service/sandbox packages/message:61 个文件、1212 个测试全部通过。pnpm run typecheck、改动文件的 eslint / prettier 通过。运行时功能(Chrome 156 headless,
b4633a97的构建)GM_addValueChangeListener[旧值→新值, remote]序列 3/3 与修复前逐条一致。53a1bddf:B 收不到;本版 3/3 收到。storage.session恢复,3/3 次 5/5 个标签页都收到。activationStart > 0,激活后能收到其他标签页的更新,自己写值回执正常,2/2。chrome.action.openPopup())里内嵌运行脚本的网页:main 自己写值 10 ms 返回、本脚本监听触发、收到其他标签页的写入;修复前40b25ff3自己写值 8 s 超时、监听不触发;本版 3 ms 返回、监听触发(remote为 false),其他标签页的写入仍收不到(见已知限制)。Page.setWebLifecycleState frozen)期间另一标签页连续写 20 次:main 与本版一致——写入方回执不受影响,解冻后按顺序收到 20/20,之后的写入照常。pnpm exec playwright test e2e/gm-api.spec.ts -g "API tests|Content inject":3 passed。chrome.windows.create({ incognito: true })两种方式,隐身那一侧的 SW 都没有启动、main 上脚本也不在隐身页运行,未能对比(见已知限制)。Firefox MV3(Firefox 154,Selenium + geckodriver,解包安装),
b4633a972/2(此前64e8b4d43/3、40b25ff31/1):跨标签页 / iframe 序列同上;bfcache 还原后收到;event page 处于stopped时写值,回执与其他标签页接收都正常。性能(headless Chrome 156,全部在开发机上跑)。四个构建按轮次轮换各跑 3 轮,格式为「中位数(第 1 / 2 / 3 轮)」。⚠️ 测试期间机器有大量其他负载(load avg 36–344),单轮波动很大,只宜看量级与同轮相对关系。main =
4b5a584c(广播);上一版 =53a1bddf;Port = 本 PR 评论里的 runtime.connect 订阅原型(spike/1834-value-port);本版 = 本 PR 在64e8b4d4之前的构建;之后的改动(只持久化运行脚本的 frame、超限逐条重发、pageLoad 时的「待定」登记、按 document 区分路由、不属于标签页的 frame 随应答带回更新)未重测性能,其中只有「待定」登记与路由键处在正常路径上。所有运行中每个标签页都收到了全部更新。场景:A = 1 页写 / 50 页接收;B = 1 页写 / 50 个不运行脚本的页(各带 2 个 iframe);C = 50 页每 200 ms 同时写、各 10 次,已有存储为空 / 1 KB;D-framed = 20 页、脚本在每页 11 个 frame 都运行;D-ads = 20 页、每页另有 10 个不运行脚本的跨站 iframe。
setValue p50(ms)
setValue p95(ms)
扇出延迟 p50(ms,一次写入到所有标签页都收到)
场景 C 从开始到全部投递完成(ms)
进程 CPU(s,测量窗口内增量的中位数,浏览器主进程 / 网页渲染进程 / 扩展进程)
读法:相对上一版,本版在所有场景、所有指标上都更好,三轮基本一致。相对 main,本版在 A / B / C / D-ads 的 setValue 与 C 场景网页进程 CPU 上更好,但扩展进程 CPU 各场景都高于 main(C 空 3.16 s 对 0.8 s:main 只写一次 storage 由浏览器广播,本版在 SW 里逐个标签页发消息),D-framed 的扇出延迟也更高(18 对 7 ms)。相对 Port,Port 在 A / D 的延迟与主进程 CPU 上三轮都更低;C 场景 Port 单轮波动太大(198–2402 ms),无法判断胜负。
门控对照(
64e8b4d4的构建 vs 去掉「一批在途」门控的构建,以及加了计时的同一构建,按轮次轮换 2 轮)去掉门控后场景 C 慢 2–4 倍、网页进程 CPU 约翻倍;门控的代价在负载极高时显现(单写入方扇出延迟 167 对 37 ms),负载约 75–110 时两者都是 40 ms。本版在上表 A 的第 1 轮出现的约 500 ms 扇出延迟也是这个原因。
Screenshots / 截图
N/A — 无界面改动。