untitled channel
猜测国家图书馆的网页快照存档项目的规模与速度。 图1，2020年09月 的论文中提到的 2018 年的数据——保存的数据量 210 TB。 ——《国家图书馆网络资源采集与保存平台的技术实现》 图2，2021年03月 的论文中提到的最新数据（2021年3月）——300TB。 ——《国家图书馆网络信息资源采集与保存平台关键技术实现》 按照论文里的说法，这个新(?)系统是 2018 年研制（基于 IIPC 的一整套轮子魔改）完成。那么算得国家图书馆的网页抓取量大概在每天 90 GiB 左右，且政府网站占其存档的比例约为…
https://www.nlc.cn/web/yejiefuwu/newtsgj/NLCNetInfoResourcePreservationProtection/index.html
如果大家想知道我们的国家图书馆做 web archive 有多菜，看看这个数据量吧，存这么多年也还是 300TB 出头，不知道在吃什么干饭。看不下去了。
(for English readers: Telegram's auto translation failed to grasp that the post was intended to mock the library)
如果大家想知道我们的国家图书馆做 web archive 有多菜，看看这个数据量吧，存这么多年也还是 300TB 出头，不知道在吃什么干饭。看不下去了。
(for English readers: Telegram's auto translation failed to grasp that the post was intended to mock the library)
❤7
在没人注意到的角落，“永远的” 2010 年网上世博会 www.expo.cn 关站了。不过据说上海世博会博物馆的展厅内仍有本地版，不过据说本地版与在线版有差异，本地版可能缺少一些数据。
关闭理由是 flash 太老了。（当然这个理由咱不认可，你看隔壁 https://www.expo2005.or.jp 不还在线吗）
关闭理由是 flash 太老了。（当然这个理由咱不认可，你看隔壁 https://www.expo2005.or.jp 不还在线吗）
😢20😱1
https://wikikeeper.saveweb.org/
WikiKeeper 已重新上线。
之前，我们会给目标站点每次 Mediawiki 版本以及 Extensions 变动变动打快照。这个快照机制没有好好优化，导致 227414 个 fandom wikis 每次全站变动会产生 227414 * 220 条记录，最终让数据库大小膨胀到了100+GiB，于是我们临时关了 wikikeeper。
现在数据库大小已优化到 2.5GiB。并且添加了一些新功能：
- 可以筛选查看独立 wiki 或者特定的 wiki farm。（fandom 太多了）
- Extensions 的总统计默认排除了 wiki farm 的 wikis。
- Stats History 加了 Images 与 Users 的计数，并且加了 <iframe> 便于各位 wiki 站长炫耀自己的 wiki 。
WikiKeeper 已重新上线。
之前，我们会给目标站点每次 Mediawiki 版本以及 Extensions 变动变动打快照。这个快照机制没有好好优化，导致 227414 个 fandom wikis 每次全站变动会产生 227414 * 220 条记录，最终让数据库大小膨胀到了100+GiB，于是我们临时关了 wikikeeper。
现在数据库大小已优化到 2.5GiB。并且添加了一些新功能：
- 可以筛选查看独立 wiki 或者特定的 wiki farm。（fandom 太多了）
- Extensions 的总统计默认排除了 wiki farm 的 wikis。
- Stats History 加了 Images 与 Users 的计数，并且加了 <iframe> 便于各位 wiki 站长炫耀自己的 wiki 。
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#help_want
帮助我们存档 BiliBili 在新浪云上的老视频！
操作见： https://github.com/saveweb/sinavideo
日志公开可见: https://victorialogs.saveweb.org/select/vmui/ （每条日志都包含你的 github id，如果介意可以用 github 小号注册 HQ，但是这样的话我们不一定会激活你的账号，我们需要志愿者有一定声誉。）
———
单台机器仅允许运行一个实例，别单 IP 多开。
一个账号目前只有一个 machine token ，可以用于你的多台机器（不同 IP）。
帮助我们存档 BiliBili 在新浪云上的老视频！
操作见： https://github.com/saveweb/sinavideo
日志公开可见: https://victorialogs.saveweb.org/select/vmui/ （每条日志都包含你的 github id，如果介意可以用 github 小号注册 HQ，但是这样的话我们不一定会激活你的账号，我们需要志愿者有一定声誉。）
———
单台机器仅允许运行一个实例，别单 IP 多开。
一个账号目前只有一个 machine token ，可以用于你的多台机器（不同 IP）。
GitHub
GitHub - saveweb/sinavideo: sina legacy videos archive program (bilibili&acfun related) c2026-5
sina legacy videos archive program (bilibili&acfun related) c2026-5 - saveweb/sinavideo
Please open Telegram to view this post
VIEW IN TELEGRAM
untitled channel pinned «#help_want 帮助我们存档 BiliBili 在新浪云上的老视频！ 操作见： https://github.com/saveweb/sinavideo 日志公开可见: https://victorialogs.saveweb.org/select/vmui/ （每条日志都包含你的 github id，如果介意可以用 github 小号注册 HQ，但是这样的话我们不一定会激活你的账号，我们需要志愿者有一定声誉。） ——— 单台机器仅允许运行一个实例，别单 IP 多开。 一个账号目前只有一个…»
untitled channel
#help_want 帮助我们存档 BiliBili 在新浪云上的老视频！ 操作见： https://github.com/saveweb/sinavideo 日志公开可见: https://victorialogs.saveweb.org/select/vmui/ （每条日志都包含你的 github id，如果介意可以用 github 小号注册 HQ，但是这样的话我们不一定会激活你的账号，我们需要志愿者有一定声誉。） ——— 单台机器仅允许运行一个实例，别单 IP 多开。 一个账号目前只有一个…
目前的 Completed QPS 为 ~0.15 左右。我们需要达到 2 才能在7天内完成第一阶段的存档。（虽然项目截止时间为下个月16号，但我们想尽快开启第二阶段的存档）
untitled channel
目前的 Completed QPS 为 ~0.15 左右。我们需要达到 2 才能在7天内完成第一阶段的存档。（虽然项目截止时间为下个月16号，但我们想尽快开启第二阶段的存档）
第二阶段的存档计划取消。
由于跟 ArchiveTeam 的 sinavideo 撞车。我们暂时决定在完成存档第一阶段的 bilibili 相关的视频后，不做第二阶段的新浪视频全站存档。
由于跟 ArchiveTeam 的 sinavideo 撞车。我们暂时决定在完成存档第一阶段的 bilibili 相关的视频后，不做第二阶段的新浪视频全站存档。
untitled channel
目前的 Completed QPS 为 ~0.15 左右。我们需要达到 2 才能在7天内完成第一阶段的存档。（虽然项目截止时间为下个月16号，但我们想尽快开启第二阶段的存档）
Completed QPS 到 1 了。算上我们现在只有 7 个活跃 github 账号啊（35+ workers），我们需要更多英雄！
untitled channel
#help_want 帮助我们存档 BiliBili 在新浪云上的老视频！ 操作见： https://github.com/saveweb/sinavideo 日志公开可见: https://victorialogs.saveweb.org/select/vmui/ （每条日志都包含你的 github id，如果介意可以用 github 小号注册 HQ，但是这样的话我们不一定会激活你的账号，我们需要志愿者有一定声誉。） ——— 单台机器仅允许运行一个实例，别单 IP 多开。 一个账号目前只有一个…
快速部署：
1. 装 watchtower 以便自动更新容器
2. 点一下，设置
3. 起飞
——
不然每次发版都得催大家更新，太麻烦了。
1. 装 watchtower 以便自动更新容器
sudo docker rm -f watchtower
sudo docker run -d \
-v /var/run/docker.sock:/var/run/docker.sock \
-e 'WATCHTOWER_CLEANUP=true' \
-e 'WATCHTOWER_POLL_INTERVAL=3600' \
-e 'WATCHTOWER_INCLUDE_STOPPED=true' \
-e 'WATCHTOWER_REVIVE_STOPPED=true' \
-e 'WATCHTOWER_UPDATE_ON_START=true' \
-e 'WATCHTOWER_LABEL_ENABLE=true' \
--name watchtower --restart unless-stopped \
dhm.saveweb.org/nickfedor/watchtower
2. 点一下，设置
HQ_MACHINE_TOKEN 不花一分钱。（当然你也可以手动设置）curl -fsSL https://hq.saveweb.org/auth/machine-token.sh | bash # The HQ_MACHINE_TOKEN will be automatically set in the child bash process.
3. 起飞
if [[ -z "$HQ_MACHINE_TOKEN" ]]; then
echo "WARN: HQ_MACHINE_TOKEN must be set"
exit 1
fi
sudo docker rm -f saveweb_archivesinavideo
sudo docker run -d \
--name saveweb_archivesinavideo \
--restart unless-stopped \
--stop-timeout 120 \
--log-driver json-file \
--log-opt max-size=50m \
--label=com.centurylinklabs.watchtower.enable=true \
-e HQ_MACHINE_TOKEN="$HQ_MACHINE_TOKEN" \
git.saveweb.org/saveweb/sinavideo:latest
——
不然每次发版都得催大家更新，太麻烦了。