LLaMa 30B на 6GB RAM
Блин, как здорово, когда что-то в опен-соурсе допиливается коллективным разумом до невероятных результатов.
Чел отимизировал загрузку весов в LLaMa.cpp с помощью mmap, и теперь инференс 30B модели можно гонять на CPU на Линуксе, используя меньше 6 GB RAM 🤯. Скорость холодного запуска модели тоже серьезно возросла.
Сами веса 4-bit квантизованной LLaMa 30B занимают 20 GB на диске, но после оптимизации, со слов автора пул-реквеста, при загрузке модель дает всего 4GB футпринт в RAM. Всё благодаря ленивому чтению с помощью mmap, который подгружает с диска в RAM только нужные в текущий момент страницы памяти.
Каждый день мы видим новые оптимизации и трюки. Модели становятся меньше, быстрее и мощнее, что расширяет их область применения и доступность. Это не может не радовать. Не все жезакрытому AI OpenAI у себя в закромах держать.
@ai_newz
Блин, как здорово, когда что-то в опен-соурсе допиливается коллективным разумом до невероятных результатов.
Чел отимизировал загрузку весов в LLaMa.cpp с помощью mmap, и теперь инференс 30B модели можно гонять на CPU на Линуксе, используя меньше 6 GB RAM 🤯. Скорость холодного запуска модели тоже серьезно возросла.
Сами веса 4-bit квантизованной LLaMa 30B занимают 20 GB на диске, но после оптимизации, со слов автора пул-реквеста, при загрузке модель дает всего 4GB футпринт в RAM. Всё благодаря ленивому чтению с помощью mmap, который подгружает с диска в RAM только нужные в текущий момент страницы памяти.
Каждый день мы видим новые оптимизации и трюки. Модели становятся меньше, быстрее и мощнее, что расширяет их область применения и доступность. Это не может не радовать. Не все же
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
С прошедшим днём Смеха, и с ещё одним днём без AGI 😁.
Забыл только stackoverflow дать по щам.
@ai_newz
Забыл только stackoverflow дать по щам.
@ai_newz
Любой, кто воспользуется быстро развивающейся технологией [AI], будет наказан повешением
Вы наверное заметили, что истерия вокруг опасности ИИ набирает обороты. Коротко перескажу недавние события.
Илон Маск, Стив Возняк, Ёшуа Бенжио и др. подписали открытое письмо, которое призывает AI лаборатории приостановить тренировку AI систем мощнее чем GPT-4. Маск то понятно, но про Бенжио, честно говоря, не до конца понятно, почему он сюда вписался. Может тоже хочет выиграть время.
Самопровозглашенный ИИ эксперт Юдковский, выпускает опус, настаивающий на полном запрете исследований в области ИИ, и призывает глав государств буквально бомбить несанкционированные дата-центры с GPU-кластерами. Интересно слышать апокалиптические пророчества от человека, который не имеет никакого инженерного или научного AI бэкграунда и мало понимает, как вообще работают современные нейросети.
Думеры от вида новых нейронок рвут на голове волосы с криками "кампутеры нас всих пагубят, лишат работы и парабатят!".
А буквально сегодня верховой лидер Ирана издает фетву, в которой назвал ИИ сатанинской технологией [классика] и призвал всех мусульман мира бороться против неё. А тот, кто будет убит в процессе этой борьбы, будет объявлен мучеником. "Любой, кто воспользуется быстро развивающейся технологией, будет наказан повешением." - пояснили иранские власти.
Кстати, это первый случай, когда иранское государство издает фетву против нечеловеческой сущности.Ладно, про фетву – это была шутка. Всё остальное нет.
Ух, как много весёлых событий!
@ai_newz
Вы наверное заметили, что истерия вокруг опасности ИИ набирает обороты. Коротко перескажу недавние события.
Илон Маск, Стив Возняк, Ёшуа Бенжио и др. подписали открытое письмо, которое призывает AI лаборатории приостановить тренировку AI систем мощнее чем GPT-4. Маск то понятно, но про Бенжио, честно говоря, не до конца понятно, почему он сюда вписался. Может тоже хочет выиграть время.
Самопровозглашенный ИИ эксперт Юдковский, выпускает опус, настаивающий на полном запрете исследований в области ИИ, и призывает глав государств буквально бомбить несанкционированные дата-центры с GPU-кластерами. Интересно слышать апокалиптические пророчества от человека, который не имеет никакого инженерного или научного AI бэкграунда и мало понимает, как вообще работают современные нейросети.
Думеры от вида новых нейронок рвут на голове волосы с криками "кампутеры нас всих пагубят, лишат работы и парабатят!".
А буквально сегодня верховой лидер Ирана издает фетву, в которой назвал ИИ сатанинской технологией [классика] и призвал всех мусульман мира бороться против неё. А тот, кто будет убит в процессе этой борьбы, будет объявлен мучеником. "Любой, кто воспользуется быстро развивающейся технологией, будет наказан повешением." - пояснили иранские власти.
Кстати, это первый случай, когда иранское государство издает фетву против нечеловеческой сущности.
Ух, как много весёлых событий!
@ai_newz
Мои знакомые (ex-deepcake) выпустили AI-сервис Rask.ai для локализации видео-контента на 50+ языках в несколько кликов.
На Rask.ai можно перевести видео длинной до минуты с любого языка на английский бесплатно.
Скоро обещают ещё и липсинк приделать. Такой сервис для блогеров и ютуберов – то что нужно, чтобы распространить свой контент на более широкую аудиторию.
На прикрепленных видео я перевел русский оригинал на английский и японский с помощью rask.
Кстати, ребята сейчас пытаются подняться в ранке на product hunt. Поддержать команду, а также попробовать продукт и дать фидбэк можно по ссылке.
@ai_newz
На Rask.ai можно перевести видео длинной до минуты с любого языка на английский бесплатно.
Скоро обещают ещё и липсинк приделать. Такой сервис для блогеров и ютуберов – то что нужно, чтобы распространить свой контент на более широкую аудиторию.
На прикрепленных видео я перевел русский оригинал на английский и японский с помощью rask.
Кстати, ребята сейчас пытаются подняться в ранке на product hunt. Поддержать команду, а также попробовать продукт и дать фидбэк можно по ссылке.
@ai_newz
🔥Stability.ai релизнули новую модель SDXL beta!
По слухам, новая модель имеет 2.3-2.4 B параметров, что в несколько раз больше чем предыдущая версия. Других подробностей пока нет.
Чтобы попробовать SDXL дают совсем немного бесплатных кредитов. Я потестил, и на мой взгляд, качестве сильно увеличилось, ещё лучше генерит иллюстрации. Но в этой модели сильно подкрутили фильтры и возможно порешали датасет. Теперь она не понимает некоторые известные имена. Вместо Яна ЛеКуна генерит азиата, хотя и слегка похожего на Яна.
Уходит примерно 8 сек, чтобы сгенерить 4 картинки за 50 шагов.
Интересно посмотреть, зарелизят ли веса этой модели, или кончилась эпоха щедрости?
Попробовать SDXL тут.
@ai_newz
По слухам, новая модель имеет 2.3-2.4 B параметров, что в несколько раз больше чем предыдущая версия. Других подробностей пока нет.
Чтобы попробовать SDXL дают совсем немного бесплатных кредитов. Я потестил, и на мой взгляд, качестве сильно увеличилось, ещё лучше генерит иллюстрации. Но в этой модели сильно подкрутили фильтры и возможно порешали датасет. Теперь она не понимает некоторые известные имена. Вместо Яна ЛеКуна генерит азиата, хотя и слегка похожего на Яна.
Уходит примерно 8 сек, чтобы сгенерить 4 картинки за 50 шагов.
Интересно посмотреть, зарелизят ли веса этой модели, или кончилась эпоха щедрости?
Попробовать SDXL тут.
@ai_newz
Media is too big
VIEW IN TELEGRAM
Segment Anything
[Meta AI]
Итак, ребята, что там по сегментации? Кажется, теперь не придется тренировать новую модель сегментации под каждую отдельную задачу (sic!). Мой товарищ Алекс Кириллов и коллеги из Meta AI разработали фундаментальную модель для сегментации картинок, которая может многое.
Из коробки модель Segment Anything (SA) умеет в сегментацию объектов по промпту. Промпт может быть текстовым, либо несколько точек, либо выделенная область.
SA выучила общую концепцию объектов и может генерировать маски для любого объекта на любом изображении или видео, даже включая объекты и типы изображений, которых не было в трейне. Она готова к использованию на разных "доменах" без дополнительного обучения".
Выход Segment Anything - это что-то вроде "GPT-3 момента" для сегментации. Когда можно взять большую общую модель и она сразу будет работать не хуже, а то и лучше (если данных мало), чем специализированная модель.
Мало того, веса и код модели полностью открыты!
Сайт проекта
Demo
@ai_newz
[Meta AI]
Итак, ребята, что там по сегментации? Кажется, теперь не придется тренировать новую модель сегментации под каждую отдельную задачу (sic!). Мой товарищ Алекс Кириллов и коллеги из Meta AI разработали фундаментальную модель для сегментации картинок, которая может многое.
Из коробки модель Segment Anything (SA) умеет в сегментацию объектов по промпту. Промпт может быть текстовым, либо несколько точек, либо выделенная область.
SA выучила общую концепцию объектов и может генерировать маски для любого объекта на любом изображении или видео, даже включая объекты и типы изображений, которых не было в трейне. Она готова к использованию на разных "доменах" без дополнительного обучения".
Выход Segment Anything - это что-то вроде "GPT-3 момента" для сегментации. Когда можно взять большую общую модель и она сразу будет работать не хуже, а то и лучше (если данных мало), чем специализированная модель.
Мало того, веса и код модели полностью открыты!
Сайт проекта
Demo
@ai_newz
Segment Anything: Архитектура
Структура модели:
Тут все по классике - большие трансформеры и кросс-аттеншены.
1. Encoder изображений ViT-H, который обрабатывает каждое изображение и выдает фичи.
2. Encoder запросов, который обрабатывает входные промпты, такие как клики, боксы или текст.
3. Легкий декодер на основе трансформера, который предсказывает маски объектов на основе фичей изображения и запросов.
Размер модели:
Image Encoder содержит 632M параметров.
Encoder запросов и decoder масок содержат 4M параметров. Это позволяет посчитать фичи картинки на GPU (0.15s на A100), и гонять все остальное реалиайм на CPU прямо в браузере (50ms на запрос).
Модель обучалась в течение 3-5 дней на 256 GPU A100, что не особо много в современных реалиях, когда SD или GPT-4 обучаются месяцами.
Для мощной генерализации модель нужно обучать на огромном датасете. Так вот авторы собрали и опубликовали самый большой датасет по сегментации: 1 млрд масок на 11 млн изображений. Его и использовали для обучения.
@ai_newz
Структура модели:
Тут все по классике - большие трансформеры и кросс-аттеншены.
1. Encoder изображений ViT-H, который обрабатывает каждое изображение и выдает фичи.
2. Encoder запросов, который обрабатывает входные промпты, такие как клики, боксы или текст.
3. Легкий декодер на основе трансформера, который предсказывает маски объектов на основе фичей изображения и запросов.
Размер модели:
Image Encoder содержит 632M параметров.
Encoder запросов и decoder масок содержат 4M параметров. Это позволяет посчитать фичи картинки на GPU (0.15s на A100), и гонять все остальное реалиайм на CPU прямо в браузере (50ms на запрос).
Модель обучалась в течение 3-5 дней на 256 GPU A100, что не особо много в современных реалиях, когда SD или GPT-4 обучаются месяцами.
Для мощной генерализации модель нужно обучать на огромном датасете. Так вот авторы собрали и опубликовали самый большой датасет по сегментации: 1 млрд масок на 11 млн изображений. Его и использовали для обучения.
@ai_newz
Хотите получить ценные знания из области машинного обучения и аналитики от эксперта и опытного менеджера? Рекомендую присоединиться к каналу Валеры Бабушкина @cryptovalerii
Валера - бывший топ-менеджер одного из крупнейших офлайн-ритейлеров и руководитель команд в Facebook(тоже бывший). На его канале вы найдете множество полезных материалов на такие темы как компенсации и ожидания от различных уровней в BigTech, разбор статей и алгоритмов, подготовка к собеседованию, системный дизайн и многое другое.
Ознакомьтесь с его LinkedIn профилем здесь и убедитесь в его опыте самостоятельно.
Не пропустите возможность послушать Валеру и его гостей о том, что несет нам будущее в этот четверг
@ai_newz
Валера - бывший топ-менеджер одного из крупнейших офлайн-ритейлеров и руководитель команд в Facebook(тоже бывший). На его канале вы найдете множество полезных материалов на такие темы как компенсации и ожидания от различных уровней в BigTech, разбор статей и алгоритмов, подготовка к собеседованию, системный дизайн и многое другое.
Ознакомьтесь с его LinkedIn профилем здесь и убедитесь в его опыте самостоятельно.
Не пропустите возможность послушать Валеру и его гостей о том, что несет нам будущее в этот четверг
@ai_newz
Telegram
Время Валеры
В четверг, 13 апреля, в 15 по Лондону делаем аудио чат в этом канале вместе с Игорем планируем разбирать различные твиты и контр-твиты, вроде этого, где делаются следующие заявление:
Relax.
The industrial revolution changed every aspect of daily life for…
Relax.
The industrial revolution changed every aspect of daily life for…
This media is not supported in your browser
VIEW IN TELEGRAM
Я протестил модельку Segment Anything у себя в браузере.
Запустил на картине Питера Брейгеля Старшего, который страсть как любил рисовать много мелких деталей. И вот, что получилось: Хоть в тренировочном датасете не было картин, модель хорошо сравляется сегментацией и нарисованых объектов. Иногда, когда одной точки не хватает, чтобы полность выделить объект, нужно кликнуть еще разок, либо выделить боксом.
Пока я двигал мышкой, prompt encoder и mask decoder крутились в реальном времени локально у меня на CPU.
Кстати, модель Segment Anything можно неплохо склеить в единый пайплайн с Instance деткекторами. Детктор будет выплевывать боксы, а SA будет выдавать маски по заданным боксам.
Или еще лучше. Для артистов: Вы текстом говорите, что поменять и как, затем Segment Anуthing выдает маску, а Stable Diffusion по маске генерит измененный регион в желаемом виде. Ждите скоро на просторах интернета.
Демка тут.
@ai_newz
Запустил на картине Питера Брейгеля Старшего, который страсть как любил рисовать много мелких деталей. И вот, что получилось: Хоть в тренировочном датасете не было картин, модель хорошо сравляется сегментацией и нарисованых объектов. Иногда, когда одной точки не хватает, чтобы полность выделить объект, нужно кликнуть еще разок, либо выделить боксом.
Пока я двигал мышкой, prompt encoder и mask decoder крутились в реальном времени локально у меня на CPU.
Кстати, модель Segment Anything можно неплохо склеить в единый пайплайн с Instance деткекторами. Детктор будет выплевывать боксы, а SA будет выдавать маски по заданным боксам.
Или еще лучше. Для артистов: Вы текстом говорите, что поменять и как, затем Segment Anуthing выдает маску, а Stable Diffusion по маске генерит измененный регион в желаемом виде. Ждите скоро на просторах интернета.
Демка тут.
@ai_newz
Альтернативные интерфейсы для ChatGPT
Пытался найти сторонний вариант интерфейса для бесед с ChatGPT, так как стал пользоваться им каждый день. Свой интерфейс на LangChain писать лень, поэтому проделал небольшой ресерч и оформил это в развернутый пост.
Итог: нашел класный тул на Rust, который позволяет вызывать ChatGPT из терминала.
Напишите в комментах, если есть какие-то хорошие враперы над ChatGPT, которыми пользуетесь.
Читать пост.
@ai_newz
Пытался найти сторонний вариант интерфейса для бесед с ChatGPT, так как стал пользоваться им каждый день. Свой интерфейс на LangChain писать лень, поэтому проделал небольшой ресерч и оформил это в развернутый пост.
Итог: нашел класный тул на Rust, который позволяет вызывать ChatGPT из терминала.
Напишите в комментах, если есть какие-то хорошие враперы над ChatGPT, которыми пользуетесь.
Читать пост.
@ai_newz
Teletype
Альтернативные интерфейсы для ChatGPT
Вас тоже бесит, что на chat.openai.com нужно каждый день логинитсья заново? В последнее время я всегда держу ChatGPT открытой...