Save The Web Project

https://github.com/saveweb/sinavideo/ docker 也加了。

1. 前往 https://hq.saveweb.org/ 注册。 2. @ 任意 saveweb 管理员激活你的账号。 3. 账号激活后创建一个 machine token 4. 安装：

go install github.com/saveweb/sinavideo/cmd/archivesinavideo@latest

5. 运行

HQ_MACHINE_TOKEN='hq_xxxxxxxx' archivesinavideo

第一次运行可以加上 -max-jobs 1 跑一个 job 看看情况。 日志公开可见: https://victorialogs.saveweb.org/select/vmui/ （每条日志都包含你的 github id，如果介意可以用 github 小号注册 HQ，但是这样的话我们不一定会激活你的账号，我们需要志愿者有一定声誉。） ——— 单台机器仅允许运行一个实例，别单 IP 多开。 一个账号目前只有一个 machine token ，可以用于你的多台机器（不同 IP）。

https://hq.saveweb.org/ 预注册，GitHub 登录即可。

转眼已经超越了 wikiapiary 了。🎉🎉🎉。

https://wikikeeper.saveweb.org/ WikiKeeper 已重新上线。 之前，我们会给目标站点每次 Mediawiki 版本以及 Extensions 变动变动打快照。但是这个快照机制没有好好优化，导致 227414 个 fandom wikis 每次全站变动会产生 227414 * 220 条记录，最终让数据库大小膨胀到了100+GiB，于是我们临时关了 wikikeeper。 现在数据库大小已优化到 2.5GiB。并且添加了一些新功能： - 可以筛选查看独立 wiki 或者特定的 wiki farm。（fandom 太多了） - Extensions 的总统计默认排除了 wiki farm 的 wikis。 - Stats History 加了 Images 与 Users 的计数，并且加了 <iframe> 便于各位 wiki 站长炫耀自己的 wiki 。

在没人注意到的角落，“永远的” 2010 年世博会网站 www.expo.cn 关闭了。不过据说上海世博会博物馆的展厅内仍有本地版，不过据说本地版与在线版有差异，本地版可能缺少一些数据。

大家好，很抱歉，我发现我自己一个人开的坑太多了，而填的坑太少。考虑到这点，我会在接下来扩大 AI 在我们存档项目上的使用。

https://github.com/saveweb/unwarc 搓了一个新的 WARC Reader 库。

https://www.nlc.cn/web/yejiefuwu/newtsgj/NLCNetInfoResourcePreservationProtection/index.html 如果大家想知道我们的国家图书馆做 web archive 有多菜，看看这个数据量吧，存这么多年也才 300TB 出头，不知道在吃什么干饭。看不下去了。

https://www.nlc.cn/web/yejiefuwu/newtsgj/NLCNetInfoResourcePreservationProtection/index.html 如果大家想知道我们的国家图书馆做 web archive 有多菜，看看这个数据量吧，存这么多年也才 300TB 出头，不知道在吃什么干饭。看不下去了。

无语了，知乎在最近两小时内给我们发了 381 封 spam 。 嗯嗯，知乎你真是太棒了。

STWP 02026 第 26 周周报 - 修了 gowarc 创建的 zstd frame 不包含 frame_content_size 的问题 https://github.com/internetarchive/gowarc/issues/202 - 向 IIPC 提交了一份利用 zstd 多 frame 以及 zstd seek table skippable frame 的“可加快 zstd warc 遍历 records 时的速度、并支持并行读取多个 records、并且还可稍微提高压缩率、还能便于重放系统按需重放大文件的指定 range 而不用加载并缓存整个 record”的扩展提案。更牛逼的是，此扩展提案提案甚至是向后兼容的，不会破坏任何现有的 zstd warc parser。https://github.com/iipc/warc-specifications/issues/118 🎉🎉🎉🎉

STWP 02026 第 25 周周报 c2026-5: B 站早期(2009-)的很多视频托管在第三方网站上。例如，目前已知有大约 10 万视频托管于新浪，且目前新浪的存储桶上仍然有大部分这些视频。 虽然 bilibili 后来将这些第三方源迁移到了自家，但时过境迁，很多视频现在在 bilibili 上也消失了。 新浪云将于今年9月左右关停，这批视频有丢失风险，我们正在开展存档。 熟悉新浪旧 api 以及 bilibili 旧视频的朋友可前往 https://t.me/saveweb_projects/208 讨论。

STWP 02026 第 24 周周报 - “上架”了一个 12c32g 1Gbps对等的“家里云”。 - 更新了内部的基础设施和服务。 - 另购置了两个 LTO5 驱动器，还未安装。

今天是国际档案日。

天涯自身的努力不如 https://tianya.cam 一根。