#开源项目
#人工智能
我正在做的一个开源项目docq：一个基于本地文档的问答引擎。
考虑这样的场景：在本地目录积累了很多私人文档，突然想起来某个问题，又不知道具体在哪个文件（甚至可能是需要结合多个文件）和答案。这时候就可以利用这个本地文档问答引擎来提问。也就是说，这个本地问答引擎，可以基于本地的一大堆文件，提出问题并且得到回答。
市面上有类似的产品吗？比如anythingLLM，它是将一个特定的文档拖到它的UI界面再进行提问，也就是说，此时要求用户清楚知道答案在哪个文档里面再进行提问；再比如开源的 qmd，它更像是一个“语义搜索版本的 grep”，提供的是搜索功能，而不是回答。
除此以外，这个产品是完全离线的，第一次使用时会把需要用到的embedding、reranker、推理模型下载下来，绝不上传用户的文档到云端，保证安全和隐私。默认采用的几类模型是：embedding（Xenova/bge-small-zh-v1.5）、reranker（BAAI/bge-reranker-base）、LLM（Qwen/Qwen2.5-3B-Instruct-GGUF）。
现在我的第一步的 poc 已经跑通，我将我博客上的共识算法和系统模型这两个章节的 markdown 文档放在同一个目录（加起来一共几万字），然后提出了一个问题：“multi paxos 相比 paxos 有哪些改进点”，回答的质量还不错，耗时有点多，花了将近 40 秒才完成回答（不过，里面有相当时间耗费在了加载模型上），我的机器配置是 Mac M1 Max 的 CPU、64GB 内存。
#人工智能
我正在做的一个开源项目docq：一个基于本地文档的问答引擎。
考虑这样的场景：在本地目录积累了很多私人文档，突然想起来某个问题，又不知道具体在哪个文件（甚至可能是需要结合多个文件）和答案。这时候就可以利用这个本地文档问答引擎来提问。也就是说，这个本地问答引擎，可以基于本地的一大堆文件，提出问题并且得到回答。
市面上有类似的产品吗？比如anythingLLM，它是将一个特定的文档拖到它的UI界面再进行提问，也就是说，此时要求用户清楚知道答案在哪个文档里面再进行提问；再比如开源的 qmd，它更像是一个“语义搜索版本的 grep”，提供的是搜索功能，而不是回答。
除此以外，这个产品是完全离线的，第一次使用时会把需要用到的embedding、reranker、推理模型下载下来，绝不上传用户的文档到云端，保证安全和隐私。默认采用的几类模型是：embedding（Xenova/bge-small-zh-v1.5）、reranker（BAAI/bge-reranker-base）、LLM（Qwen/Qwen2.5-3B-Instruct-GGUF）。
现在我的第一步的 poc 已经跑通，我将我博客上的共识算法和系统模型这两个章节的 markdown 文档放在同一个目录（加起来一共几万字），然后提出了一个问题：“multi paxos 相比 paxos 有哪些改进点”，回答的质量还不错，耗时有点多，花了将近 40 秒才完成回答（不过，里面有相当时间耗费在了加载模型上），我的机器配置是 Mac M1 Max 的 CPU、64GB 内存。
❤12👍2
❤23💯4😁2
#人工智能
deepseek-v4-flash 是真神啊，我以前没有太直观的体感。今天在ollama的20美刀套餐上切换模型用它，回答非常快，而且消耗token不大，token的质量也不差。做为对比，同样这个套餐，用GLM 5.2没几下就到限额了。不过我还没用来写代码，等写代码了再来汇报一下。
deepseek-v4-flash 是真神啊，我以前没有太直观的体感。今天在ollama的20美刀套餐上切换模型用它，回答非常快，而且消耗token不大，token的质量也不差。做为对比，同样这个套餐，用GLM 5.2没几下就到限额了。不过我还没用来写代码，等写代码了再来汇报一下。
❤12🤔5👍2🔥2😁1
#Rust
#博客
#开源项目
之前参考了Rust 类型体操实现了一个迷你版本的Arrow，用于理解Rust类型体操和Arrow的实现原理，周末想起来把它公开并写了一篇博客 “Mini Arrow：极简的Rust实现的Arrow”。
#博客
#开源项目
之前参考了Rust 类型体操实现了一个迷你版本的Arrow，用于理解Rust类型体操和Arrow的实现原理，周末想起来把它公开并写了一篇博客 “Mini Arrow：极简的Rust实现的Arrow”。
Type Exercise in Rust
Preface — Type Exercise in Rust
A thirteen-chapter Rust course on type families, generic expressions, checked binding, one-level Lists, stronger Rust type boundaries, and batch futures.
❤9👍2🔥2😁1
#开源项目
#人工智能
#Rust
llmfit 是一个轻量级的命令行工具，专门解决“我的电脑到底能跑什么模型”的痛点。它通过扫描系统的RAM、CPU以及显卡的显存，自动对比HuggingFace上的模型数据库，并根据量化精度、推理速度和上下文长度给出一份适配清单。它支持Ollama、llama.cpp、MLX等主流框架，让你在下载动辄几十GB的模型文件前，就能预判它在你的硬件上是丝滑运行还是直接崩溃。
#人工智能
#Rust
llmfit 是一个轻量级的命令行工具，专门解决“我的电脑到底能跑什么模型”的痛点。它通过扫描系统的RAM、CPU以及显卡的显存，自动对比HuggingFace上的模型数据库，并根据量化精度、推理速度和上下文长度给出一份适配清单。它支持Ollama、llama.cpp、MLX等主流框架，让你在下载动辄几十GB的模型文件前，就能预判它在你的硬件上是丝滑运行还是直接崩溃。
GitHub
GitHub - AlexsJones/llmfit: Hundreds of models & providers. One command to find what runs on your hardware.
Hundreds of models & providers. One command to find what runs on your hardware. - AlexsJones/llmfit
👍10🔥3👏3😁2🤔2❤1
#人工智能
#编程
正好在微博上看到Greptime创始人的这句话，想起这篇文章："Code was never the hard part” is an insult to all programmers
#编程
正好在微博上看到Greptime创始人的这句话，想起这篇文章："Code was never the hard part” is an insult to all programmers
👏3❤2🔥2🤔2👍1😁1