OpenAI только что релизнули старую версию GPT-3.5 на Hugging Face

В Америке сейчас Пасха, и у многих сотрудников отпуска и выходные. OpenAI, видимо в преддверии релиза GPT-5, выложили в открытый доступ веса GPT-3.5. Ждём подробностей от сообщества.

🤗 веса

На канале 3Blue1Brown вышло видео объясняющее что же такое GPT. Очень приятное.
Я выставил в настройках русские субтитры, и мне стало еще понятнее :)

https://www.youtube.com/watch?v=wjZofJX0v4M

Международный онлайн саммит про разработку в сфере ИИ

Лучшие практики для разработчиков, ресерчеров, дата сайентистов, техлидов и фаундеров – от ведущих мировых экспертов из индустрии ИИ.

Выступят спикеры из:
— Microsoft (команда PromptFlow)
— D-ID
— Aisera
— Spectrm
— Lightricks
— Wrike
и других компаний-лидеров, которые прямо сейчас создают будущее искусственного интеллекта.

На саммите обсудят темы:
— How to build scalable GenAI Apps using prompts
— Data-driven approaches to personalizing AI Agents
— Crafting AI agents with a natural user interface
— Building robust & scalable AI-powered chatbots;
— The reality of being an AI Founder in 2024
— How Later Stage Companies Adopted AI
— Creating your own corporate-secured "ChatGPT" with almost zero specific knowledge
— Fine-tuning strategies for adapting pre-trained AI Agents to specific use cases,
и многое другое!

Конференция пройдет в ОНЛАЙН формате 16➖17 апреля на английском языке 🌎

Участникам будут доступны презентации, материалы воркшопов и записи, а также доступ в нетворкинг-чат.

Скидка 1️⃣0️⃣ % по промо-коду — osHMmof

Регистрация через VPN

#реклама

Друзья, у меня не хватает сил писать прям посты, так что мы временно попробуем формат Just Links 🔗.

Начнем тут:

https://x.com/anthropicai/status/1775979799644934281?s=46&t=LyC3cTf6saYBOGwroEuLcg

​​Астрологи объявили взрывной рост объемов 3D-контента — ситуация стремительно набирает обороты. За конец марта опубликовано 13 статей про генерацию трехмерных объектов из текста и изображений.

SV3D: Stability AI показала новую модель для реконструкции изображения в 3D с высоким разрешением.
LATTE3D от NVIDIA: новый метод преобразования текста в 3D, позволяющий генерировать текстурированные сетки из текста всего за 400 мс.
Isotropic3D: генерация изображения в 3D на основе создания многоракурсных плоских изображений.
MVControl: преобразование текста в 3D с управлением по типу ControlNet (резкость, глубина и т. д.).
Make-Your-3D: преобразование изображения в 3D с возможностью управления генерацией с помощью текстовых подсказок.
MVEdit: поддерживает преобразование текста в 3D, изображения в 3D и 3D в 3D с генерацией текстур.
VFusion3D: преобразование изображения в 3D на базе предварительно обученных моделей видеодиффузии.
GVGEN: преобразование текста в 3D с объемным представлением.
GRM: эффективное преобразование текста в 3D и изображения в 3D за 100 мс.
FDGaussian: преобразование изображения в 3D с предварительной генерацией разных ракурсов в 2D.
Ultraman: преобразование изображения в 3D с упором на человеческие аватары.
Sculpt3D: и снова преобразование текста в 3D.
ComboVerse: преобразование картинок в 3D с комбинированием моделей и созданием сцен.
Не везде доступен код, так что сравнивать сложно, но первые результаты уже есть — пара божественных мезоамериканских нейролягушек.

Способность убеждать (ИИ -> человек) масштабируется вместе с размером LLM

Исследователи из Anthropic (создатели Claude), провели исследование, в котором показали что более большие языковые модели намного более способны к тому, что бы с помощью аргументов переубедить человека.

Более того, современные модели справляются с этим примерно так же хорошо, как человек.

Исследование проводили следующим образом:
1. Людям давали какое то утверждение и просили с ним согласиться по некоей бальной шкале (например от 0 до 10).
2. ИИ писал текст, который должен был склонить человека к тому, что бы согласиться с изначальным утверждением
3. Замеряли насколько поменялось мнение человека.

Подробнее в статье

🚨Не учебная тревога, Mistral только что выложили новую модель на торренты!

Файл называется mixtral-8x22b, что позволяет предположить модель MoE (Mixture of Experts) на 176B параметров (если активны все 8 экспертов). Модель весит 281 Гб.

Пока больше никаких подробностей и evals нету. Но в течение следующих суток все узнаем!

X

🥳 У меня сегодня (13 апреля) день рождения

Друзья, сегодня особенный день - мне исполняется 30 лет! И я безумно счастлив встречать этот юбилей, с друзьями и в одном из самых прекрасных мест на Земле - на волшебном острове Мауи (Гавайи)! 🌴🌺

Мы арендовали себе джип, и последние несколько дней катаемся по острову. Мне показалось, что это отличный способ отметить начало нового десятилетия моей жизни! 🚙⛰️

Знаете, я с каждым годом все больше убеждаюсь, что главное - это не только коллекционировать впечатления и расширять горизонты, но и делать это со своим племенем, с близкими по духу людьми. И сегодня, вступая в новую главу своей жизни, я обещаю себе никогда не переставать исследовать этот удивительный мир в компании дорогих мне людей! 🌎🤩

Друзья, я искренне желаю каждому из вас также найти свое вдохновение, свою страсть и наполнять каждый день яркими красками и незабываемыми моментами, где бы вы ни были! 💫 Цените каждое мгновение и помните, что лучшее всегда впереди! 😊

А как вы отмечали свои 30 лет? Делитесь своими историями в комментариях, буду рад почитать! 👇

Шепот на гавайском: языковые модели для улучшения распознавания речи

Знаете ли вы, что слово “wiki”, ставшее символом быстрого доступа к знаниям в интернете, имеет гавайские корни? Оно буквально значит “быстро”. Да, и “Aloha” уже часть мировой культуры. Но носителей гавайского языка становится все меньше, что делает его сохранение важной культурной задачей.

Авторы статьи проверили, можно ли улучшить точность распознавания речи на базе Whisper. Попробовали (не большую) гавайскую языковую модель (RNN с тремя слоями LSTM) для переоценки (rescoring) результатов Whisper.

Они применяли линейную комбинацию логарифмов вероятностей, предсказанных ASR (Whisper) и LM, взвешенных коэффициентом альфа. При применении веса альфа=0,25, результаты показали небольшое (22%->20%), но статистически значимое снижение ошибки распознавания.

Т.е использовать целенаправленно разработанные языковые модели для поддержки малых языков - эффективно. Авторы ожидаемо предлагают проверить трансформеры.

arXiv

Improving microbial phylogeny with citizen science within a mass-market video game

Наконец-то, статья, переплюнувшая статью Google Gemini по количеству контрибьюторов 😅

Если кратко - учёные, исследовавшие днк кишечной микрофлоры, запартнерились с gearbox и встроили в borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК.

В итоге в мини-игру поиграло более 4 млн человек, решив 135 миллионов задач. Несложно прикинуть, сколько бы стоила обработка такого объема данных наемными людьми.
Вот это я понимаю краудсорсинг.


Пейпер

🦾 С этого января все только и говорят, что о роботах.

Наткнулся на хорошую иллюстрацию, какие сейчас есть успешные гуманоидные роботы. Совершенно зря забыли про норвежских NEO, которые пошли по пути koselig (читается как кушле - уют, домашний очаг).

В реальности, я пока что видел только Optimus Gen-1 в салоне Теслы

Phi-3: LLM в телефоне

Друзья, вы только представьте - теперь ваш смартфон умеет нативно запускать языковые модели! Знакомьтесь, phi-3-mini - это языковая модель с 3.8 миллиардами параметров, которая запросто даст фору таким монстрам, как Mixtral 8x7B и GPT-3.5. Она набирает целых 69% на тесте MMLU и 8.38 на MT-bench.

Но как же ей это удается? Все дело в данных для обучения. Разработчики взяли датасет, на котором училась предыдущая модель phi-2, и довели его до ума. Они тщательно отфильтровали веб-данные и добавили синтетические примеры, чтобы модель могла учиться на огромном объеме информации, не распухая до неприличных размеров.

И это еще не все! Исследователи показали, что если увеличить размер модели до 7B или 14B параметров (phi-3-small и phi-3-medium) и обучить на еще большем датасете в 4.8T токенов, то результаты будут еще круче: phi-3-small достигает 75% на MMLU и 8.7 на MT-bench, а phi-3-medium - 78% и 8.9 соответственно. Вот это да!

Только представьте, какие возможности открываются с такими мощными языковыми моделями прямо в вашем смартфоне. Вы сможете болтать с ИИ на любые темы, генерировать креативные тексты и многое другое, где бы вы ни находились. Это просто фантастика!

Похоже, будущее уже здесь, и модели серии phi-3 - яркое тому подтверждение. Скоро каждый сможет носить в кармане свой персональный лингвистический суперкомпьютер. Это открывает невероятные перспективы для инноваций, продуктивности и просто веселья (и оставляет еще больше вопросов ко всяким hu.ma.ne) .

Кстати, а вы знаете какие-нибудь хорошо работающие методы фильтрации больших данных для обучения моделей? Поделитесь в комментариях, давайте обсудим! И все что касается методов weak supervision.

📚 Статья
🫥 Веса

Dall-E умеет генерировать картинки через OpenAI API

from openai import OpenAI
client = OpenAI()

response = client.images.generate(
  model="dall-e-3",
  prompt='''A cyberpunk detective standing on a rooftop at sunset, overlooking a bustling cityscape with flying cars weaving through skyscrapers adorned with neon signs and holographic advertisements, all captured in a vivid, ultra-detailed art style. Close up''',
  size="1792x1024",
  quality="hd",
  n=1,
)

image_url = response.data[0].url

Оказалось, что Dall-E уже поддерживается в API. Можно выбрать разрешение и качество изображения. Пока не очень понимаю как это можно использовать. Есть мысли по юзкейсам?

Ссылка на API