Save The Web Project
Kanalga Telegram’da o‘tish
This channel can’t be displayed because it violated Internet's Terms of Service.
Ko'proq ko'rsatish1 464
Obunachilar
-224 soatlar
+87 kunlar
+2230 kunlar
Postlar arxiv
1 464
🥳完结撒花🥳
jobs dispatched: 1,015,769
archived valid videos: 941,539
WARCs produced: 28.9TiB
1 464
- je31e8j:103 失败,0 完成
- awwedhg:97 失败,1 完成
- 8dtmr3t:96 失败,0 完成
- nabzrl8:85 失败,1 完成
- 8uwrc1n:75 失败,0 完成
- or26txf:74 失败,1 完成
- vuaqbu1:74 失败,0 完成
- omsazhi:69 失败,0 完成
此匿名 token 拿走了一半的任务,然后贡献了 98% 的错误率。
1 464
76,377 (before validation&dedup) sinavideo ids extracted from old AcFun snapshots will be enqueued to archive queue as well in the next few hours.
Thanks @MikuFan039 for the extracting.
1 464
89 active workers, 1.25jobs/sec, progress 29.50%, 7TiB archived so far, ETA 2026-08-24 (UTC).
day rx | tx | total | avg. rate ------------------------+-------------+-------------+--------------- 2026-08-13 122.60 GiB | 122.52 GiB | 245.13 GiB | 24.37 Mbit/s 2026-08-14 1.01 TiB | 1.42 TiB | 2.43 TiB | 247.33 Mbit/s 2026-08-15 1.79 TiB | 1.56 TiB | 3.35 TiB | 341.42 Mbit/s 2026-08-16 2.24 TiB | 2.53 TiB | 4.78 TiB | 486.26 Mbit/s 2026-08-17 2.67 TiB | 3.05 TiB | 5.72 TiB | 582.32 Mbit/s 2026-08-18 1.05 TiB | 1.15 TiB | 2.20 TiB | 976.08 Mbit/s
1 464
快速部署:
1. 装 watchtower 以便自动更新容器
sudo docker rm -f watchtower
sudo docker run -d \
-v /var/run/docker.sock:/var/run/docker.sock \
-e 'WATCHTOWER_CLEANUP=true' \
-e 'WATCHTOWER_POLL_INTERVAL=3600' \
-e 'WATCHTOWER_INCLUDE_STOPPED=true' \
-e 'WATCHTOWER_REVIVE_STOPPED=true' \
-e 'WATCHTOWER_LABEL_ENABLE=true' \
--name watchtower --restart unless-stopped \
dhm.saveweb.org/nickfedor/watchtower
2. 点一下,设置 HQ_MACHINE_TOKEN 不花一分钱。(当然你也可以手动设置)
curl -fsSL https://hq.saveweb.org/auth/machine-token.sh | bash # The HQ_MACHINE_TOKEN will be automatically set in the child bash process.
3. 起飞
if [[ -z "$HQ_MACHINE_TOKEN" ]]; then
echo "WARN: HQ_MACHINE_TOKEN must be set"
exit 1
fi
sudo docker rm -f saveweb_archivesinavideo
sudo docker run -d \
--name saveweb_archivesinavideo \
--restart unless-stopped \
--stop-timeout 120 \
--log-driver json-file \
--log-opt max-size=50m \
--label=com.centurylinklabs.watchtower.enable=true \
-e HQ_MACHINE_TOKEN="$HQ_MACHINE_TOKEN" \
git.saveweb.org/saveweb/sinavideo:latest
——
README 已更新。1 464
有人对这台我们用了三年的 hetzner ax41 感兴趣吗?月付 38.4eur (44.42 usd)。
直接 transfer 给你。
目前 hetzner 同型号新购价格是 59.00eur (68.26 usd)。
1 464
第二阶段的存档计划取消。
由于跟 ArchiveTeam 的 sinavideo 撞车。我们暂时决定存完第一阶段的 bilibili 相关的视频后,不做第二阶段的新浪视频全站存档。
1 464
目前的 Completed QPS 为 ~0.15 左右。我们需要达到 2 才能在7天内完成第一阶段的存档。(虽然项目截止时间为下个月16号,但我们想尽快开启第二阶段的存档)
