Рубрика - управление железом.
Давным-давно, во времена Doom2 и DOS пользовались мы RAMdrive утилитами, размещая игру в диске в оперативке, чтобы, значит, загружалась она не 3 минуты, а 30 секунд.
И тут прям флэшбэк:
В общем, представьте, что у вас есть 1 видеокарта и 2-3 модели ИИ (текст, картинка и звук, допустим) и вам их нужно быстро переключать.
Решение "в лоб", - это загрузка с диска, но даже самый быстрый SSD вам даст, скажем, 10гигов в секунду на чтение, а модели у вас 20гигов (да, мало, но видеокарта, допустим больше не поместит за раз)
Получается, что на смену "обоймы" вам нужно около 3х секунд, что невероятно долго для пользователя.
Решение - разместить модели на виртуальном диске в оперативке.
Она-то явно быстрее, чем любой ССД.
Так вот, - Клод за 10 минут накидал 250 строк скрипта, который создаёт такой диск и сразу сервис под него, который пересоздает его при перезагрузке.
Оставлю в комментариях.
#RAMdrive #devops #linux
———
#tsingular
Давным-давно, во времена Doom2 и DOS пользовались мы RAMdrive утилитами, размещая игру в диске в оперативке, чтобы, значит, загружалась она не 3 минуты, а 30 секунд.
И тут прям флэшбэк:
В общем, представьте, что у вас есть 1 видеокарта и 2-3 модели ИИ (текст, картинка и звук, допустим) и вам их нужно быстро переключать.
Решение "в лоб", - это загрузка с диска, но даже самый быстрый SSD вам даст, скажем, 10гигов в секунду на чтение, а модели у вас 20гигов (да, мало, но видеокарта, допустим больше не поместит за раз)
Получается, что на смену "обоймы" вам нужно около 3х секунд, что невероятно долго для пользователя.
Решение - разместить модели на виртуальном диске в оперативке.
Она-то явно быстрее, чем любой ССД.
Так вот, - Клод за 10 минут накидал 250 строк скрипта, который создаёт такой диск и сразу сервис под него, который пересоздает его при перезагрузке.
Оставлю в комментариях.
#RAMdrive #devops #linux
———
#tsingular
👏11👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
XHAND: Новые руки для роботов от RobotEra
Китайская компания RobotEra представила новую версию рук для роботов с тактильными датчиками на пальцах.
Подушечки каждого пальца собирают не только давление на сам палец, но и векторную карту перемещения объекта по подушечке с достаточно высоким разрешением.
Руки тренируют в виртуальной среде и дальше проверяют на реальных кошках :)
Точность поражает, - пластиковые стаканы с водой не мнутся, кошка жива.
🤖
#XHAND #RobotEra #Beijing #Китай
———
#tsingular
Китайская компания RobotEra представила новую версию рук для роботов с тактильными датчиками на пальцах.
Подушечки каждого пальца собирают не только давление на сам палец, но и векторную карту перемещения объекта по подушечке с достаточно высоким разрешением.
Руки тренируют в виртуальной среде и дальше проверяют на реальных кошках :)
Точность поражает, - пластиковые стаканы с водой не мнутся, кошка жива.
🤖
#XHAND #RobotEra #Beijing #Китай
———
#tsingular
🔥11
квака появилась в ollama
https://ollama.com/library/qwq
20 гигов - т.е. взлетит на 1 карте.
и есть режим tools - т.е. можно прикрутить к агентам!!
ещё есть 32b-fp16 на 66GB, но это уже для Nvidia digits или M3Ultra прибережём
#QwQ
———
#tsingular
https://ollama.com/library/qwq
20 гигов - т.е. взлетит на 1 карте.
и есть режим tools - т.е. можно прикрутить к агентам!!
ещё есть 32b-fp16 на 66GB, но это уже для Nvidia digits или M3Ultra прибережём
#QwQ
———
#tsingular
⚡3❤2