untitled channel
1.47K subscribers
119 photos
2 videos
1 file
257 links
Save The Web Project

STWP

This channel can’t be displayed because it violated Internet's Terms of Service.
Download Telegram
Please open Telegram to view this post
VIEW IN TELEGRAM
untitled channel pinned «#help_want 帮助我们存档 BiliBili 在新浪云上的老视频! 操作见: https://github.com/saveweb/sinavideo 日志公开可见: https://victorialogs.saveweb.org/select/vmui/ (每条日志都包含你的 github id,如果介意可以用 github 小号注册 HQ,但是这样的话我们不一定会激活你的账号,我们需要志愿者有一定声誉。) ——— 单台机器仅允许运行一个实例,别单 IP 多开。 一个账号目前只有一个…»
untitled channel
目前的 Completed QPS 为 ~0.15 左右。我们需要达到 2 才能在7天内完成第一阶段的存档。(虽然项目截止时间为下个月16号,但我们想尽快开启第二阶段的存档)
第二阶段的存档计划取消。

由于跟 ArchiveTeam 的 sinavideo 撞车。我们暂时决定在完成存档第一阶段的 bilibili 相关的视频后,不做第二阶段的新浪视频全站存档。
单机存储要满了。
正在切换存储到 seaweedfs,目前已暂停任务分发,切换后会恢复。(恢复后会发条通知)
🤯4
已恢复。另外版本更新了,注意升级。
🥰3
Forwarded from yzqzss |一座桥在水上
有人对这台我们用了三年的 hetzner ax41 感兴趣吗?月付 38.4eur (44.42 usd)。
直接 transfer 给你。
目前 hetzner 同型号新购价格是 59.00eur (68.26 usd)。
untitled channel
#help_want 帮助我们存档 BiliBili 在新浪云上的老视频! 操作见: https://github.com/saveweb/sinavideo 日志公开可见: https://victorialogs.saveweb.org/select/vmui/ (每条日志都包含你的 github id,如果介意可以用 github 小号注册 HQ,但是这样的话我们不一定会激活你的账号,我们需要志愿者有一定声誉。) ——— 单台机器仅允许运行一个实例,别单 IP 多开。 一个账号目前只有一个…
快速部署:

1. 装 watchtower 以便自动更新容器
sudo docker rm -f watchtower
sudo docker run -d \
-v /var/run/docker.sock:/var/run/docker.sock \
-e 'WATCHTOWER_CLEANUP=true' \
-e 'WATCHTOWER_POLL_INTERVAL=3600' \
-e 'WATCHTOWER_INCLUDE_STOPPED=true' \
-e 'WATCHTOWER_REVIVE_STOPPED=true' \
-e 'WATCHTOWER_UPDATE_ON_START=true' \
-e 'WATCHTOWER_LABEL_ENABLE=true' \
--name watchtower --restart unless-stopped \
dhm.saveweb.org/nickfedor/watchtower


2. 点一下,设置 HQ_MACHINE_TOKEN 不花一分钱。(当然你也可以手动设置)
curl -fsSL https://hq.saveweb.org/auth/machine-token.sh | bash # The HQ_MACHINE_TOKEN will be automatically set in the child bash process.


3. 起飞
if [[ -z "$HQ_MACHINE_TOKEN" ]]; then
echo "WARN: HQ_MACHINE_TOKEN must be set"
exit 1
fi

sudo docker rm -f saveweb_archivesinavideo
sudo docker run -d \
--name saveweb_archivesinavideo \
--restart unless-stopped \
--stop-timeout 120 \
--log-driver json-file \
--log-opt max-size=50m \
--label=com.centurylinklabs.watchtower.enable=true \
-e HQ_MACHINE_TOKEN="$HQ_MACHINE_TOKEN" \
git.saveweb.org/saveweb/sinavideo:latest


——

不然每次发版都得催大家更新,太麻烦了。
4👍3
旧版本有 bug,已禁止旧版本继续运行。回退了 3820 个 jobs 。注意更新。
👌8😁1
hq_anon_RnVznp-gCvb2NODNSSV7WACg9z8iYVeRuQg3zOgk8TI
untitled channel
Completed QPS 到 1 了。算上我们现在只有 7 个活跃 github 账号啊(35+ workers),我们需要更多英雄!
89 active workers, 1.30jobs/sec, progress 29.50%, 7TiB archived so far, ETA 2026-08-24 (UTC).
    day        rx      |     tx      |    total    |   avg. rate
------------------------+-------------+-------------+---------------
2026-08-13 122.60 GiB | 122.52 GiB | 245.13 GiB | 24.37 Mbit/s
2026-08-14 1.01 TiB | 1.42 TiB | 2.43 TiB | 247.33 Mbit/s
2026-08-15 1.79 TiB | 1.56 TiB | 3.35 TiB | 341.42 Mbit/s
2026-08-16 2.24 TiB | 2.53 TiB | 4.78 TiB | 486.26 Mbit/s
2026-08-17 2.67 TiB | 3.05 TiB | 5.72 TiB | 582.32 Mbit/s
2026-08-18 1.05 TiB | 1.15 TiB | 2.20 TiB | 976.08 Mbit/s
🆒13
76,377 (before validation&dedup) sinavideo ids extracted from old AcFun snapshots will be enqueued to archive queue as well in the next few hours.
Thanks @MikuFan039 for the extracting.
感谢某个暂不愿透露身份的云厂提供我们低价存储 VM。
29533
untitled channel
hq_anon_RnVznp-gCvb2NODNSSV7WACg9z8iYVeRuQg3zOgk8TI
- je31e8j:103 失败,0 完成
- awwedhg:97 失败,1 完成
- 8dtmr3t:96 失败,0 完成
- nabzrl8:85 失败,1 完成
- 8uwrc1n:75 失败,0 完成
- or26txf:74 失败,1 完成
- vuaqbu1:74 失败,0 完成
- omsazhi:69 失败,0 完成

匿名 token 拿走了一半的任务,却贡献了 98% 的错误率。已禁用匿名 token 。
🌚17
docker rm -f saveweb_archivesinavideo
🍾8👌1
🥳Thank you!🥳

jobs dispatched: 1,015,769
archived valid videos: 941,539
WARCs produced: 28.9TiB
🎉223
7
Channel name was changed to «untitled channel»
甚感今年干的事情太少了,摸的鱼太多了,没咋 save the web,等做了更多事情再改回来。

各位监督!
👀13