Ollama добавила визуальную модель Llama 3.2!

Фреймворк Ollama интегрировал мультимодальную Llama 3.2 Vision в две конфигурации.

Компактная версия 11B функционирует на видеокартах от 8GB VRAM, мощная 90B требует 64GB видеопамяти (чёрно завидуем Маководам!).

Аллилуйя!! Убежал тестировать.
11b-instruct-fp16 - 21GB
90b-instruct-q4_K_M 55GB
90b-instruct-fp16 177GB!!!

В общем, если у вас 24Гига - берите llava34b все-таки.
если меньше - llama 3.2-vision:11b

#Ollama #Llama #Vision
———
@tsingular

CogVideoX1.5: революция в генерации видео

THUDM выпустила обновлённую версию генеративной модели для создания видеоконтента из текста и изображений.

Улучшенная версия CogVideoX1.5-5B-SAT поддерживает формирование 10-секундных роликов с высоким разрешением.

Инструмент включает модули Text-to-Video и Image-to-Video с гибкими настройками параметров.

Оригинальные веса требуют 66+ видеопамяти, но умельцы уже нарезали пайплайны под ComfyUI и даже собрали что-то под 10 гигабайт.
5 минут на локальную генерацию вот примерно такого качества, но в документации пишут, что можно "вообще любое разрешение", причём не исходное, а именно в финальном видео!

В общем, Китай всех делает.
Думал брать подписку на какой-нибудь Минимакс, но уже, похоже не нужно.

В заставке - результат локальной генерации из статической картинки.
UPD: оказывается это под 1.1 старую модель был процесс. Новую ещё ждём.

GitHub
ComfyUI-CogVideoXWrapper

#CogVideo #THUDM #videoGeneration #Китай
———
@tsingular

Трамп обещает отменить ограничения на развитие ИИ

Дональд Трамп анонсировал план отмены указа Байдена о регулировании искусственного интеллекта.

Предполагается отмена требований к тестированию моделей, оценке рисков и предотвращению предвзятости в ИИ-системах.

Инициатива поддержана Илоном Маском.
Цель, - стимулирование инноваций через снижение регуляторной нагрузки в технологическом секторе.

Точно говорю, - Трамп будет последним президентом США из людей. Дальше,- ИИ. 🤖
При том, что Альтман в 2025м году AGI уже деплоит.

#Trump #Musk #Regulations #ExecutiveOrder
-------
@tsingular

Suno анонсировали в X версию 4.

Подписку не отменяем, похоже скоро трэки перестанут звучать неоднородно.
По демо-ролику качество очень крутое.

#Suno
———
@tsingular

Урок по созданию LLM-модели по шагам

Sebastian Raschka опубликовал пошаговое руководство по созданию ChatGPT-подобной модели с открытым исходным кодом.

Проект включает полный цикл разработки от базовых компонентов до дообучения.

Особенность реализации - возможность запуска на обычных ноутбуках без специализированного оборудования.

Репозиторий содержит инструменты предварительного обучения и компоненты для fine-tuning модели.

Основной фокус направлен на образовательные цели и глубокое понимание механизмов работы LLM.

Создание chatGPT скоро во всех школах на базовом уроке информатики! 🤖

#PyTorch #LLM #обучение
-------
@tsingular

https://www.youtube.com/watch?v=xXCBz_8hM9w

рекомендую найти 50 минут и послушать интервью Сэма Альтмана.
Если не знаете английский - субтитры помогут.
Очень интересные детали про то, как GPT зародился, развивался, как вопреки тому, что академики им говорили, -"не взлетит потому, что..", стартап все-таки добился результатов.
Где мы сейчас и куда и с какой скоростью движемся в плане ИИ.
Ну и если Сэм говорит, что AGI нас ждёт в 2025, значит он у них уже в предрелизном состоянии, это не просто прогноз.
А дальше до ASI около 1000 дней.
Просто вдумайтесь. Даже не важно это будет 1000 дней или 1500, - в пределах 4х-5 лет. ASI.
Это ИИ уровня самостоятельных организаций.
Представьте, например, Майкрософт, полностью состоящий из 100 000 GPU и 1 президента компании.
И это обсуждается всерьёз, это уже не просто прогноз, а план.

#futurology #Altman #OpenAI
———
@tsingular

Gemini теперь работает через с библиотеку OpenAI

Главная модель Google Gemini стала доступнее для разработчиков через OpenAI библиотеки.

Интеграция поддерживает Chat Completions API и Embeddings API.
Работает через REST API, а так же через библиотеки OpenAI под JS и Python.

Вот это зачёт. Гугл давно критиковали за сложность API. 🤝
Yandex и Сбер когда ? :)
Надо как-то дружелюбнее быть к разработчикам.

#Gemini #Google #API #OpenAI #dev
-------
@tsingular

Обнаружена очевидная и наглядная жертва ИИ.
Всего 4 месяца назад свеженазначенный CEO Chegg заявлял:
Over the last 16 years, Chegg has become one of the largest, most accessible, and impactful online education services for students around the world — и еще он рассказывал, как сервис будет внедрять ИИ.
Сервис действительно был знаменит в мире EdTech’а — в лучшие времена стоил около 15 млрд. долларов. Занимался поначалу сдачей напрокат дорогих учебников, но быстро стал a platform with pre-written answers to common homework questions за $20 в месяц. В сущности, ГДЗ — только для студентов скорее чем школьников.
Прикольно, что против него особо оне возражали преподаватели 🙂 Есть разные теории, почему.
Но с приходом ChatGPT и прочих стало странным платить $20 за то, что у чатов получается быстрее и лучше, за меньшие деньги или вовсе бесплатно. Бизнес-модель сдулась, а ее пересмотр с использованием ИИ уже запоздал. Сотрудники просили об этом еще в 2022, но начальство спохватилось только сейчас. Очень наглядная иллюстрация я цены промедления:))
https://gizmodo.com/chegg-is-on-its-last-legs-after-chatgpt-sent-its-stock-down-99-2000522585
(Для справки и для истории — восторги и оптимизм 4-месячной давности — https://gulfbusiness.com/chegg-ceo-nathan-shultz-on-ais-role-in-education/ Очень полезное чтение с учетом быстро наступившего будущего :))

Доброе утро :)

Появилось больше деталей по ASIC-чипу для трансформеров от Etched

Стартап Etched запустил первый специализированный ASIC-чип Sohu для трансформеров.
Производительность устройства - 500,000 токенов в секунду. (1 том Война и Мир - 710тыс знаков или примерно 230тыс токенов. 2 тома в секунду получается)

Один сервер с 8 ASIC чипами заменяет 160 GPU H100 от NVIDIA.

Ключевые характеристики: 144 ГБ памяти, поддержка моделей до 100 трлн параметров, открытый программный стек.
Встроены алгоритмы speculative decoding, beam search, MCTS и MoE.

Первый анонс был летом, - https://t.iss.one/tsingular/2002

акции NVIDIA могут подупасть, конечно, когда эта ракета взлетит.
Пока ранний доступ и сбор инвестиций.
Но Асики давно напрашивались. Будем майнить ИИ. 🤔

#Etched #ASIC #Sohu
-------
@tsingular

наткнулся на еще один каталог ИИ решний, - Future Tools

1300 решений в каталоге. Есть поиск и выбор по категориям.

#FutureTools #AITools #каталог
-------
@tsingular