#人工智能
传统的软件行业，是有“边际效益”的：成本主要集中在软件开发期内，开发完毕之后，同一份软件给一个人用和给一万个人用，成本差不多。当然，如果是互联网行业的软件，多一个用户会多一些带宽和存储成本，但是总体而言，多出来用户之后的成本可以认为是满足边际效应的。
但是如今大模型领域则不是这样。姑且把大模型领域分为训练和推理两个阶段，前期花费大量成本训练模型完毕了还不算，模型部署上线后，推理的成本是实打实的：多一个用户的请求，就多一份不能被忽略的推理成本。
从这个意义上来说，就现阶段而言，模型推理服务（Model As A Service，MAAS）其实更像是制造业。区别在于：传统制造业，原材料和产出物，都是实体；而模型服务，输入和输出，是虚拟的数字物件token。
传统的软件行业，是有“边际效益”的：成本主要集中在软件开发期内，开发完毕之后，同一份软件给一个人用和给一万个人用，成本差不多。当然，如果是互联网行业的软件，多一个用户会多一些带宽和存储成本，但是总体而言，多出来用户之后的成本可以认为是满足边际效应的。
但是如今大模型领域则不是这样。姑且把大模型领域分为训练和推理两个阶段，前期花费大量成本训练模型完毕了还不算，模型部署上线后，推理的成本是实打实的：多一个用户的请求，就多一份不能被忽略的推理成本。
从这个意义上来说，就现阶段而言，模型推理服务（Model As A Service，MAAS）其实更像是制造业。区别在于：传统制造业，原材料和产出物，都是实体；而模型服务，输入和输出，是虚拟的数字物件token。
❤11
#播客
#人工智能
#AIInfra
《对游凯超3小时访谈》
《深度对谈 vLLM 团队：如何从零搭建一个成功的开源生态》
这两个播客质量不一，前者更好更专业，后者由于出自真格基金，主持人的提问和思考跟不上。时间如果有限，听第一个即可。
#人工智能
#AIInfra
《对游凯超3小时访谈》
《深度对谈 vLLM 团队：如何从零搭建一个成功的开源生态》
这两个播客质量不一，前者更好更专业，后者由于出自真格基金，主持人的提问和思考跟不上。时间如果有限，听第一个即可。
Xiaoyuzhoufm
148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子”
听《张小珺Jùn｜商业访谈录》上小宇宙。 和你一起，从这里，探索新世界！
《张小珺商业访谈录》是一档深度访谈节目，以2至7小时的长对话为形式，聚焦真实的人物表达与高密度的前沿信息。由语言即世界工作室出品。
主持人张小珺是财经媒体人，专注中国科技业深度报道，覆盖AI、科技巨头、风险投资与知名人物。曾13次获得国内外新闻奖项，其中2022年至2024年连续三届获得亚洲卓越新闻奖（SOPA）——被称为“亚洲普利策”。她也是语言即世界工作室的创始人。
“如果我的访谈能陪你走一段孤独的未知的路，也许有一天可…
《张小珺商业访谈录》是一档深度访谈节目，以2至7小时的长对话为形式，聚焦真实的人物表达与高密度的前沿信息。由语言即世界工作室出品。
主持人张小珺是财经媒体人，专注中国科技业深度报道，覆盖AI、科技巨头、风险投资与知名人物。曾13次获得国内外新闻奖项，其中2022年至2024年连续三届获得亚洲卓越新闻奖（SOPA）——被称为“亚洲普利策”。她也是语言即世界工作室的创始人。
“如果我的访谈能陪你走一段孤独的未知的路，也许有一天可…
❤5
#sqlite
《How We Built a Zero-Disk, S3-Tiered Storage Engine for SQLite》
如何给 sqlite 加上远程备份一直是一个热点问题，这个文章提供另一种思路：通过 sqlite 的 VFS 接口，给 sqlite 的数据存储提供冷、热分层存储。
《How We Built a Zero-Disk, S3-Tiered Storage Engine for SQLite》
如何给 sqlite 加上远程备份一直是一个热点问题，这个文章提供另一种思路：通过 sqlite 的 VFS 接口，给 sqlite 的数据存储提供冷、热分层存储。
X (formerly Twitter)
Nathan Flurry 🔩 (@NathanFlurry) on X
How We Built a Zero-Disk, S3-Tiered Storage Engine for SQLite
👏3
图解分布式系统原理-样章.pdf
1.9 MB
#分布式
#图解分布式系统原理
《图解分布式系统原理》在小报童上线，本系列的完整初稿全部在本人博客公开。
付费专栏提供的是排版后的精美pdf版本的下载，在pdf版本中：润色了文字，对比博客初稿多出了前言、目录、参考文献。
选择小报童的原因是因为跟微信强绑定，对国内的读者而言相对友好。附件提供了pdf版本的样章，有兴趣的读者可以看看。
#图解分布式系统原理
《图解分布式系统原理》在小报童上线，本系列的完整初稿全部在本人博客公开。
付费专栏提供的是排版后的精美pdf版本的下载，在pdf版本中：润色了文字，对比博客初稿多出了前言、目录、参考文献。
选择小报童的原因是因为跟微信强绑定，对国内的读者而言相对友好。附件提供了pdf版本的样章，有兴趣的读者可以看看。
❤6
#开源项目
#人工智能
我正在做的一个开源项目docq：一个基于本地文档的问答引擎。
考虑这样的场景：在本地目录积累了很多私人文档，突然想起来某个问题，又不知道具体在哪个文件（甚至可能是需要结合多个文件）和答案。这时候就可以利用这个本地文档问答引擎来提问。也就是说，这个本地问答引擎，可以基于本地的一大堆文件，提出问题并且得到回答。
市面上有类似的产品吗？比如anythingLLM，它是将一个特定的文档拖到它的UI界面再进行提问，也就是说，此时要求用户清楚知道答案在哪个文档里面再进行提问；再比如开源的 qmd，它更像是一个“语义搜索版本的 grep”，提供的是搜索功能，而不是回答。
除此以外，这个产品是完全离线的，第一次使用时会把需要用到的embedding、reranker、推理模型下载下来，绝不上传用户的文档到云端，保证安全和隐私。默认采用的几类模型是：embedding（Xenova/bge-small-zh-v1.5）、reranker（BAAI/bge-reranker-base）、LLM（Qwen/Qwen2.5-3B-Instruct-GGUF）。
现在我的第一步的 poc 已经跑通，我将我博客上的共识算法和系统模型这两个章节的 markdown 文档放在同一个目录（加起来一共几万字），然后提出了一个问题：“multi paxos 相比 paxos 有哪些改进点”，回答的质量还不错，耗时有点多，花了将近 40 秒才完成回答（不过，里面有相当时间耗费在了加载模型上），我的机器配置是 Mac M1 Max 的 CPU、64GB 内存。
#人工智能
我正在做的一个开源项目docq：一个基于本地文档的问答引擎。
考虑这样的场景：在本地目录积累了很多私人文档，突然想起来某个问题，又不知道具体在哪个文件（甚至可能是需要结合多个文件）和答案。这时候就可以利用这个本地文档问答引擎来提问。也就是说，这个本地问答引擎，可以基于本地的一大堆文件，提出问题并且得到回答。
市面上有类似的产品吗？比如anythingLLM，它是将一个特定的文档拖到它的UI界面再进行提问，也就是说，此时要求用户清楚知道答案在哪个文档里面再进行提问；再比如开源的 qmd，它更像是一个“语义搜索版本的 grep”，提供的是搜索功能，而不是回答。
除此以外，这个产品是完全离线的，第一次使用时会把需要用到的embedding、reranker、推理模型下载下来，绝不上传用户的文档到云端，保证安全和隐私。默认采用的几类模型是：embedding（Xenova/bge-small-zh-v1.5）、reranker（BAAI/bge-reranker-base）、LLM（Qwen/Qwen2.5-3B-Instruct-GGUF）。
现在我的第一步的 poc 已经跑通，我将我博客上的共识算法和系统模型这两个章节的 markdown 文档放在同一个目录（加起来一共几万字），然后提出了一个问题：“multi paxos 相比 paxos 有哪些改进点”，回答的质量还不错，耗时有点多，花了将近 40 秒才完成回答（不过，里面有相当时间耗费在了加载模型上），我的机器配置是 Mac M1 Max 的 CPU、64GB 内存。
❤11👍2
❤20💯3😁1