⚡⚡⚡Anthropic сегодня анонсировал новую линейку мультимодальных моделей Claude 3

https://www.anthropic.com/news/claude-3-family

По дефолту длина контекста 200K токенов, но может быть 1М для "особых случаев"

Всего 3 модели:
1) Haiku — самая быстрая и компактная
2) Sonnet — сбалансированная модель, для энтерпрайза
3) Opus — самая умная, human-like understanding

@complete_ai

❓А что если SORA - это в первую очередь не синтез видео по тексту, а синтез трёхмерных сцен, которые потом просто превращены в облёт камерой?

Небольшую заметку тут нашёл
https://arxiv.org/abs/2402.17403

Что думаете?

⚡⚡⚡Stability AI зарелизили модель синтеза 3D на базе своей же модели синтеза видео — Stable Video 3D

- умеет синтезировать orbital 3D по картинке объекта
- может генерировать произвольные пролёты камеры вокруг объектов (camera path conditioning)
- на выходе может создавать меши объектов

Итого сценарий: входная картинка -> видео (синтез новых положений объекта, novel view synthesis) -> 3D mesh (3D оптимизация)

Тех репорт
GitHub

@complete_ai

Моё знакомство с South HUB началось в 2022 году, когда коллеги из Сбера предложили выступить на новой конференции для CTO и рассказать о генеративном ИИ. Без особых раздумий я согласился, потому что очень хотелось нести в мир то, чем занимается команда, какие исследования мы проводим и в чём видим прикладное значение этого направления. Именно тогда я считаю, что начал открывать перед Kandinsky двери и знакомить всех с нашей технологией синтез изображений по тексту.

Второй опыт участия в конференции был в 2023 году, где я с коллегой проводил воркшоп по тому, как понять и где найти место для генеративного ИИ в своей сфере работы. Интересный опыт, который позволил понять, что хочет бизнес, в какие направления смотрят коллеги и где генеративные мультимедийные данные могут однозначно быть полезными и усилить креатив в компаниях. На тот момент, кстати говоря, у нас уже было пару успешных коллабораций с Кофеманией, генерацией юбилейной монеты к году дракона, а за плечами было изрядное количество пиар проектов для решения задач визуалзиации в разных отраслях.

Почему же я так тепло отношусь к этой линейке конференций? Это действительно крутое место для знакомства со смежными отраслями в IT, огромный потенциал для нетворкинга, мегакрутые знакомства и в целом автоматическое попадание в топ комьюнити инженерно-технического мира в РФ. С 2022 года благодаря знакомствам на South HUB я тесно сотрудничаю с ребятами из Skillbox, Yandex, Geekbrains и др. компаний, мы устраиваем митапы, записываем подкасты, делимся идеями в части построения и развития RnD процессов - за всё это я благодарен организаторам этоу крутой тусовки.

А ещё там бомбические локации для проведения конфы на Красной Поляне, мероприятия для развития духа и тела (спорт турнир по стритболу - это пушка). В общем, что хочу сказать - желаю всем испытывать такие тёплые воспоминания со всех мероприятий, где принимаете участие, а если считаете, что в вашем личном рейтинге пьедестал уже занят каким-то ивентов, съездите на South HUB и первое место ему обеспечено)

⚡️Сегодня выпустили обновление нашей мультимодальной модели OmniFusion 1.1

Модель умеет понимать изображения, описывать сцены и отвечать на вопросы по картинкам. В основе open-source модели лежит языковая модель Mistral-7B.

В остальном было проделано большое число экспериментов,в числе которых:
- сравнили различные визуальные энкодеры
- научились смешивать несколько энкодеров для усиления визуального контекста
- проверили влияние механики нарезки картинки на фрагменты с последующим их энкодингом

В итоге побили 7B аналогичные решения на ряде бенчмарков, побили также 13B модели на некоторых бенчах. Исследования продолжаются, чтобы выбить однозначную SoTA на всех задачах и приблизиться к GPT4-Vision.

Сегодня выпустили technical report на arXiv, который попал в Daily Papers на Hugging Face и уже занимает там сейчас первое место🏆

📍Project page
📍Статья на Хабре
📍GitHub

Буду крайне признателен, если поддержите лайками, звёздами и upvote по ссылкам выше - всей команде будет супер приятно🙏

@complete_ai