感觉onnx runtime这么多年来不搞个Vulkan之类的通用EP也是件挺逆天的事情。。想给Linux桌面app弄点通用且开箱即用的小模型加速难如登天,恨不得要打包100G的runtime dependency进去还不能支持全😅
😁19
David's random thoughts
这东西被Apple先做出来是让人没想到的一个事情。 相比之下Linux的usb4-net就是个玩具,Strix halo跑多机tp还得装个nvidia网卡而不是用现在很多深圳小主机厂展示过的雷电/usb4互联方案。Intel前些年做的tb share也是走的雷电以太网套壳。根本没人认真想过这些消费级硬件的真正潜力,简直拉完了😅 https://x.com/ivanfioravanti/status/1999874264129065190
最近才发现Linux终于也有人做了IB/RDMA over USB4 https://github.com/hellas-ai/thunderbolt-ibverbs
等这类方案逐渐稳定之后大概DGX Spark那种走独立网卡的互联就是徒增成本了吧。
等这类方案逐渐稳定之后大概DGX Spark那种走独立网卡的互联就是徒增成本了吧。
GitHub
GitHub - hellas-ai/thunderbolt-ibverbs: experimental linux kernel modules and userspace drivers for RDMA-over-usb4/thunderbolt…
experimental linux kernel modules and userspace drivers for RDMA-over-usb4/thunderbolt on consumer hardware - hellas-ai/thunderbolt-ibverbs
👍1
前几天还在因为拿LLM把某玩具项目里的ORM给干掉了而想着AI coding会不会逐渐演变成消灭一切为了方便人类使用产生的中间件,最后回归本源直接操作最底层。现在还真看到个更极端的例子。
https://www.phoronix.com/news/Frame-X11-Server-Assembly
https://www.phoronix.com/news/Frame-X11-Server-Assembly
Phoronix
Frame: A New X11 Server Implementation Written Entirely In x86_64 Assembly
Previously we covered YSERVER as an X11 server written in the Rust programming language with the help of Claude Code
🤯20👍2❤1👎1
首发那点时间根本不够深度体验一个模型的适用场景和能力好坏,到目前为止k3我看到的键政人讨论远比真正的使用体验要多。(不管是中国还是海外)
别问,问就是oneshot前端审美决定国运。
https://x.com/__oQuery/status/2079298132794659244
别问,问就是oneshot前端审美决定国运。
https://x.com/__oQuery/status/2079298132794659244
X (formerly Twitter)
拾一.max-fast (@__oQuery) on X
Kimi K3 在我这里真的是一坨。Thinking 时间慢得要死,token 烧得老快,事情啥都干不好,分支管理也不行。那些说 K3 好用的人,我感觉全是收了钱的。我这几天用下来,感觉就是拉完了。
😁25
感觉至少有一百万人对RDMA组cluster跑LLM的负载特性毛都不懂一个就知道复读Spark有200GbE,不得不说NVIDIA的营销能力深入人心😅
https://x.com/FrameworkPuter/status/2080005377434005756
https://x.com/FrameworkPuter/status/2080005377434005756
X (formerly Twitter)
Framework (@FrameworkPuter) on X
@trout_kilg31775 For tensor parallelism, the constraint is latency more than throughput. As long as you get RDMA (RoCE), you can get latency lower enough t o enable that.
😁21
我用最直接、最真相、最不绕弯的方式来告诉你,如果一个跑分软件3年大改3次评分标准,那不如大家都别测试了,直接找厂商搞竞价排名。
😁36⚡3
可是他自家的open model就是一坨巨大的狗屎,说这么多鬼话到头来还是想白嫖中国公司融资的钱然后倾销到美国去跟OpenAI/Anthropic恶性竞争罢了(
https://x.com/hjc4869/status/2080658505732858223
现在看到那几个美国公司谈开源模型就想笑。
两三年时间,要么是造了几吨Nemotron那种下载嫌浪费流量的不可回收垃圾,要么发一次gpt oss就没了下文,要么弄phi那种改几个字就跑分骤降的过拟合刷分神器。没哪家拿出真正SOTA方案给客户本地部署。
现在倒是想起来还有开源模型这回事了,怎么这么巧呢?
👍24
K3本质上还是个闭源模型,所谓开源主要是一种营销手段。
虽然我这两天吐槽了A\和OpenAI等一堆商业公司,但是现在很多人对开源模型有奇怪的期待,也是时候该泼下冷水了。开源并不能省钱,你算出来便宜只是在白嫖别人的训练成本,长期看这个钱你还是得以某种形式付出去。
当然我100%支持模型厂商收钱。
https://x.com/cherylnatsu/status/2081996644476965119
虽然我这两天吐槽了A\和OpenAI等一堆商业公司,但是现在很多人对开源模型有奇怪的期待,也是时候该泼下冷水了。开源并不能省钱,你算出来便宜只是在白嫖别人的训练成本,长期看这个钱你还是得以某种形式付出去。
当然我100%支持模型厂商收钱。
https://x.com/cherylnatsu/status/2081996644476965119
X (formerly Twitter)
夏雨婷 (@cherylnatsu) on X
个人根本没有硬件跑得起来。
小服务商跑这种东西可能根本没什么利润还不如跑规模低的模型。
大服务商跑这个假设真能赚钱那还是在帮K厂做生态。
别厂研究者也没法吸收或进行有效二次开发因为仅仅拿到权重。
这种“开源”我把它称为伪开源,蹭开源软件打下的名声。
小服务商跑这种东西可能根本没什么利润还不如跑规模低的模型。
大服务商跑这个假设真能赚钱那还是在帮K厂做生态。
别厂研究者也没法吸收或进行有效二次开发因为仅仅拿到权重。
这种“开源”我把它称为伪开源,蹭开源软件打下的名声。
🤡24👍12👎4🤣3🤔2🖕1👀1
本来现在gcc在生态上就已经被llvm远远甩在身后,再拒绝AI生成代码会怎么样我不好说。。。
https://www.phoronix.com/news/GCC-Declining-AI-Contributions
https://www.phoronix.com/news/GCC-Declining-AI-Contributions
Phoronix
GCC To Decline Any Significant Contributions Made Via AI/LLMs - Except For Test Cases
The GCC Steering Committee announced today that they have accepted the recommended policy of the GCC AI Policy Working Group, which means no 'legally significant' code contributions made via AI/LLM agents will be accepted into this open-source compiler.
👎1