Технозаметки Малышева
5.55K subscribers
2.79K photos
927 videos
38 files
3.07K links
Новости инноваций из мира Искусственного Интеллекта. 🤖

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸[поддержка]: pay.cloudtips.ru/p/c8960bbb
Download Telegram
Рубрика - управление железом.

Давным-давно, во времена Doom2 и DOS пользовались мы RAMdrive утилитами, размещая игру в диске в оперативке, чтобы, значит, загружалась она не 3 минуты, а 30 секунд.

И тут прям флэшбэк:

В общем, представьте, что у вас есть 1 видеокарта и 2-3 модели ИИ (текст, картинка и звук, допустим) и вам их нужно быстро переключать.

Решение "в лоб", - это загрузка с диска, но даже самый быстрый SSD вам даст, скажем, 10гигов в секунду на чтение, а модели у вас 20гигов (да, мало, но видеокарта, допустим больше не поместит за раз)

Получается, что на смену "обоймы" вам нужно около 3х секунд, что невероятно долго для пользователя.

Решение - разместить модели на виртуальном диске в оперативке.
Она-то явно быстрее, чем любой ССД.

Так вот, - Клод за 10 минут накидал 250 строк скрипта, который создаёт такой диск и сразу сервис под него, который пересоздает его при перезагрузке.
Оставлю в комментариях.

#RAMdrive #devops #linux
———
#tsingular
👏11👍1🔥1