В Вильнюсе народ вышел погулять в воскресный полдень. Голосуют что ли против кого-то?😏

Внезапно мем становится снова актуальным ))

SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation

Китайци подвезли СОТУ по монокулярному Pose and Shape estimation. То есть по одному кадру предсказывается 3D поза и форма человека. Покадрово можо применить к любому видео-потоку.

Тут как всегда зарешал масштаб модели и данных. Взяли трансоформер ViT-H на 662M параметров и тренировали на 32 датасетах с 4.5М фреймов, что как бы тоже дохрена для этой задачи.

ViT-H по меркам современного CV не такой уж и большой, но больше чем, все что пробовали на задаче Shape&Pose Estimation до этого, да и довольно шустрый. Скорость инференса даже почти риалтаймовая получилась - 17.5 FPS на Nvidia V100.

Код и веса на гитхабе
Сайт проекта
Статья
Demo на HF

@ai_newz

VastGaussian — SOTA по реконструкции огромных 3D сцен

Гауссовские сплаты конкретно заняли поляну Нерфов в 3D реконструкции. До этого момента были проблемы с использованием сплатов для больших сцен, но теперь и их решили. Получается рендеринг посто высочайшей детализации. Ещё и real-time! Смотрите видео.

Сайт проекта с деталями

@ai_newz

Сегодня наблюдал ситуацию, чел выпилил очередь на Redis + RQ и реализовал на триггерах в PostreSQL.

Бывает так открываешь календарь в понедельник и думаешь "Ёб твою мать". А потом понимаешь, что это прошлая неделя и становится чуточку легче.

OpenAI без страха, без уважения.

NYT: OpenAI расшифровала миллионы видео на YouTube для обучения модели GPT-4

– OpenAI перестало хватать авторитетных источников около 2022
– Ей потребовалось больше англоязычных текстов для обучения
– OpenAI создала сервис распознавания речи из видео Whisper
– Whisper расшифровывал речь из миллионов видео на YouTube
– При этом подобное решение противоречило правилам сервиса
– Все же OpenAI расшифровала 1+ млн часов видео на YouTube
– Затем тексты расшифровки загружались для модели GPT-4
– Об этом знали часть сотрудников Google, но не остановили ее
– Они боялись, что шумиха покажет, что Google тоже так делает
– Google также использовал видео на YouTube для своего ИИ
– Это потенциально нарушало авторские права их создателей
– Исследователи Цукерберга также думали про обход правил
– Они согласились собирать данные под авторским правом
– Переговоры про права заняли бы слишком много времени

@ftsec

Подъехала LLAMA-3

https://ai.meta.com/blog/meta-llama-3/

Паша Дуров анонсировал годные криптофичи в Telegram

- CEO Tether официально анонсировал запуск USDT на блокчейне TON
- В Telegram появится возможность покупать цифровые товары за криптовалюту.
- Telegram собирается токенизировать стикеры и эмоджи
- С сегодняшнего дня владельцы каналов начнут получать первые выплаты в TON с рекламы

Там Meta выкатили real-time text-to-image — мое уважение

Вакансия ML Engineer в Artifactory

Ищу крепкого Middle ML Engineer в проект по генерации анимаций. Фокус на 3D-персонажах в играх.

Работать предстоит непосредственно со мной над задачами:
- Изучение кода статей
- Ретаргетинг — перенос анимаций между скелетами различных персонажей
- Пайплайны подготовки данных и обучения моделей
- Интеграция результатов в прод
- Эксперименты с LLM для ускорения вышеперечисленного

ML:
- VQ-VAE
- Transformers
- Reinforcement Learning
- Diffusion Models

Стэк:
- PyTorch, SciPy, Numpy, Matplotlib
- ClearML, Google Cloud
- Flask, GraphQL
- PostgreSQL, Redis

Необязательно иметь опыт во всем, достаточно иметь хорошую базу и огонь в глазах.

Зарплата в евро или USDT. Можно парт-тайм.

За успешную рекомендацию шлю лучи добра и $200, либо играю с вами пару каток в дотку/кс 😏

Пишите в лс: @KPACAB4NK_PELLIAET_BOTTPOCbl

StoryDiffusion: генерация консистентных наборов изображений без дообучения

Если вам нужно сгенерировать последовательную историю из фотографий, чтобы везде чётко прослеживалась единая локация, а главные персонажи не меняли одежду и причёску от фото к фото, то StoryDiffusion — именно то, что вам нужно.

Идея гениальна в своей простоте — ничего даже учить не нужно, только заменить блок self-attention на версию, которая "смотрит" на соседние фотографии в батче. Оказалось, этого более чем достаточно, чтобы генерации стали согласованными между собой.

StoryDiffusion идеально подходит для создания комиксов и даже видео (нужно только интерполировать сгенерированные ключевые кадры, что авторы и делают). Код уже в открытом доступе! Должно работать почти с любыми обученными диффузионными моделями.

Статья, GitHub, HuggingFace

Получается не зря OpenAI перестали быть Open

The Information: Stability AI обсуждает продажу бизнеса, стартапу не хватает средств на развитие

– Стартап начал переговоры с потенциальными покупателями
– Stability AI стало не хватать средств на дальнейшее развитие
– За все время от инвесторов стартап привлек около $101 млн
– Среди инвесторов: Coatue Management и Lightspeed Venture
– Оценка Stability AI для раунда два года назад была $1 млрд
– Стартап так и не научился зарабатывать деньги на своем ИИ
– Конкуренция от OpenAI и Midjourney усложнила ситуацию
– Выручка за 2023 составила $8 млн, за 2022 была $1,5 млн
– Доход Stability AI по итогам Q1 2024 составил уже $5 млн
– Но это далеко от планируемых десятков миллионов за год
– При этом за тот же Q1 2024 стартап потерял $30+ млн
– Stability AI также должен облачным поставщикам $100 млн

@ftsec

Илья Суцкевер официально объявил об уходе из OpenAI.

Это бывший Chief Scientist, легендарный чувак, с которого началась компания в плане ресерча.

https://x.com/ilyasut/status/1790517455628198322