Save The Web Project
前往频道在 Telegram
Save The Web Project STWP This channel can’t be displayed because it violated Internet's Terms of Service.
显示更多1 492
订阅者
-124 小时
+27 天
+2030 天
帖子存档
1 492
STWP 02026 第 40 周周报
- 响应了几个画吧导出请求。
- 测试并 3D 打印了一些 LTO 磁带收纳槽。
- 我们的 sinavideo 向 IA 方向的上传还剩6TiB。
- 发现 seaweedfs 的 worker 的 volume vacuum 定时任务会在一段时间(几天?)后无法 detect 出新的 proposals 造成 volume 占用的空间无法回收,原因不明,重新保存一次配置后会恢复正常(?),怪。
- 发现 seaweedfs 中有部分 volumes 出现 .idx 与 .dat 的 size 不匹配的情况,在使用 weed fix 后,对应的 volume 被降级到了 read only 模式,不知道对于我们的数据有无影响。问题疑似与 https://github.com/seaweedfs/seaweedfs/pull/9726 相关。这次 sinavideo 传完之后,准备把所有 volumes 删掉重建 collections/buckets,如果以后再遇到这个问题再说。
- 修复一些已知问题。
1 492
那么接下来对于软盘这个项目,我们需要两种志愿者:
第一种,任何人都有能力,帮我们淘软盘:在闲鱼上帮我们找比较好的软盘货源(软件、游戏、驱动、文档、以及各种杂七杂八的软盘),让我们来买。
第二种,做磁通量级的软盘存档。
当然,如果有人愿意从我手里接手,继续推进这个项目就更好了,这个领域真的没有人做,每耽误一年,就有更多的软盘发霉,更少的软盘存世。
如果有人愿意全职或半全职从事这个项目,可以和我谈工资。
1 492
update:
For the floppy archive program, we changed our approach😭:
I decided to build a floppy physical archive collection first, then, in future, do the magnetic flux level archival works. Given that now I’m usually in China for only about a month each year, this approach is more practical and will benefit from future technological upgrades (if any).
From now, I'll put 1~3k CNY budget each month on buying floppy disks.
1 492
🥳完结撒花🥳
jobs dispatched: 1,015,769
archived valid videos: 941,539
WARCs produced: 28.9TiB
1 492
- je31e8j:103 失败,0 完成
- awwedhg:97 失败,1 完成
- 8dtmr3t:96 失败,0 完成
- nabzrl8:85 失败,1 完成
- 8uwrc1n:75 失败,0 完成
- or26txf:74 失败,1 完成
- vuaqbu1:74 失败,0 完成
- omsazhi:69 失败,0 完成
此匿名 token 拿走了一半的任务,然后贡献了 98% 的错误率。
1 492
76,377 (before validation&dedup) sinavideo ids extracted from old AcFun snapshots will be enqueued to archive queue as well in the next few hours.
Thanks @MikuFan039 for the extracting.
1 492
89 active workers, 1.25jobs/sec, progress 29.50%, 7TiB archived so far, ETA 2026-08-24 (UTC).
day rx | tx | total | avg. rate ------------------------+-------------+-------------+--------------- 2026-08-13 122.60 GiB | 122.52 GiB | 245.13 GiB | 24.37 Mbit/s 2026-08-14 1.01 TiB | 1.42 TiB | 2.43 TiB | 247.33 Mbit/s 2026-08-15 1.79 TiB | 1.56 TiB | 3.35 TiB | 341.42 Mbit/s 2026-08-16 2.24 TiB | 2.53 TiB | 4.78 TiB | 486.26 Mbit/s 2026-08-17 2.67 TiB | 3.05 TiB | 5.72 TiB | 582.32 Mbit/s 2026-08-18 1.05 TiB | 1.15 TiB | 2.20 TiB | 976.08 Mbit/s
1 492
快速部署:
1. 装 watchtower 以便自动更新容器
sudo docker rm -f watchtower
sudo docker run -d \
-v /var/run/docker.sock:/var/run/docker.sock \
-e 'WATCHTOWER_CLEANUP=true' \
-e 'WATCHTOWER_POLL_INTERVAL=3600' \
-e 'WATCHTOWER_INCLUDE_STOPPED=true' \
-e 'WATCHTOWER_REVIVE_STOPPED=true' \
-e 'WATCHTOWER_LABEL_ENABLE=true' \
--name watchtower --restart unless-stopped \
dhm.saveweb.org/nickfedor/watchtower
2. 点一下,设置 HQ_MACHINE_TOKEN 不花一分钱。(当然你也可以手动设置)
curl -fsSL https://hq.saveweb.org/auth/machine-token.sh | bash # The HQ_MACHINE_TOKEN will be automatically set in the child bash process.
3. 起飞
if [[ -z "$HQ_MACHINE_TOKEN" ]]; then
echo "WARN: HQ_MACHINE_TOKEN must be set"
exit 1
fi
sudo docker rm -f saveweb_archivesinavideo
sudo docker run -d \
--name saveweb_archivesinavideo \
--restart unless-stopped \
--stop-timeout 120 \
--log-driver json-file \
--log-opt max-size=50m \
--label=com.centurylinklabs.watchtower.enable=true \
-e HQ_MACHINE_TOKEN="$HQ_MACHINE_TOKEN" \
git.saveweb.org/saveweb/sinavideo:latest
——
README 已更新。