Нейродайджест за неделю (#44)

LLM
- Возможный потолок Scaling law. OpenAI меняет вектор развития.
- GPT-2 Small за 8 минут. Подъехали свежие оптимизации, теперь своя LLM обойдется всего лишь в 3 доллара.

Карьера
- Ревью с ICLR. Наша команда получила отличные рецензии!
- Как найти ментора? Есть неплохой вариант заплатить за это.

3D
- NeRF On-the-go. Делаем нерф на ходу в ужасных условиях.
- Трекаем тело по одной ego камере. В реальном времени, с лучшей точностью. Уже юзабельно в продуктах VR/AR.

Прочее
- Роботы EVE разъехались по домам. Первые тесты от "эксцентричного" Kai Cenat.
- Веса и код AlphaFold 3. Следующее поколение нобелевконосной модели для предсказания структуры стало "народным достоянием".
- SeedEdit. Очередной текстовый фотошоп. Ничего нового, но зато показывает, насколько важен хороший датасет.

> Читать дайджест #43

#дайджест
@ai_newz

Нейродайджест за неделю (#45)

LLM
- DeepSeek 2.5 – лучший в своем деле! Подъехали неожиданные результаты с Copilot Arena.
- Pixtral Large – Open source SOTA даже среди фронтирных моделей в мультимодалках, правда, и здесь не без подвоха.
- Phi1.6B + SigLIP 400M vision encoder – мини-моделька на коленке оказалась лучшей в своем классе, или о том, как случайно сделать стартап, подняв $4,5M.
- R1-Lite – опенсорс-аналог o1 от OpenAI. Пока слабенький, но главное, что мы теперь тоже научились в inference time scaling.
- Llama 3.1 405B – на скорости 1k токенов/сек. Гонки инференса продолжаются, Cerebras пока лидирует.
- Бойня на арене – Gemini топ-1, тюн под ELO арены и прочие грязные приемчики.

Генераторы всякого
- Cтримец про Movie Gen от коллег. Даже запись сохранилась.
- FLUX.1 Tools – BFL снабдили нас всем необходимым для полноценного пользования FLUX, остальное – на плечах опенсорса.

Про деньги
- Насильный манирейз от Amazon – сколько бы Anthropic ни отнекивались, все-таки взяли 4 миллиарда зеленых. И еще о других многомиллиардных сделках.

Мой ресерч
- Мой доклад про CV – видос лежит на YouTube, сделал обзор на новиночки в вижене за 2023-2024.
- Ищу Research интернов – требования серьезные, но, может, именно ты как раз проходишь.

Читать дайджест #44

#дайджест
@ai_newz

Нейродайджест за неделю (#46)

LLM
- Model Context Protocol — открытый протокол развязывает руки LLM для работы с внешними серверами, как LSP, но для нейронок.
- INTELLECT-1 — цифровые анархисты ликуют! Первая большая распределённая тренировка прошла успешно. Модель вышла не слишком мощной, но какой задел! Кожанка ликует, ведь может повториться история с майнингом.
- Веса INTELLECT-1 — техрепорт и подробности о результатах.
- AI Assistant API — нативно интегрирован в API RAG.
- SmolVLM — мизерная VLM, умещается в 6 GB RAM, выдаёт 80 токенов/сек на M1 Max, причём значительно лучше конкурентов.

Генеративные модели
- СЛИВ SORA — на обнимающее лицо залили доступ к Sora по API, Карл! Теперь у нас есть реальные тесты второй (после MovieGen) модельки.
- Black Forest Labs подняли $200M — при оценке в $1B, став единорогом за 4 месяца.
- Курс по диффузионным моделям от KAIST — здесь всё необходимое для старта + подборка постов на тему.

Прочее
- Маск возвращается в геймдев — впервые после истории, как он, будучи подростком, продал игру за $500, Маск заявил о планах xAI возглавить рынок AI-игр.

Читать дайджест #45

#дайджест
@ai_newz

Нейродайджест за неделю (#47)

12 стримов OpenAI
- ChatGPT Pro за 200 баксов — анлим на o1, o1-mini и Advanced Voice Mode + доступ к еще более долгодумающему (теперь это круто) o1 Pro.
- Паника перед стримами OpenAI — все судорожно релизят свои модели (Gemini-Exp-1206) и открывают бесплатный доступ (к Grok), чтобы успеть попасть в инфополе и подпортить релиз OpenAI.
- Файнтюнинг o1 — запуск в следующем году, можно записаться на бету.

LLM
- Nova — свежие мультимодальные LLM от Amazona, но подороже конкурентов.
- Миллион токенов за 9 центов — Inference API Lambda предлагает цены в два раза ниже самого дешевого предложения, которое было на рынке раньше. А Llama 3.1 405B в fp8 стоит всего 90 центов.
- Llama 3.3 — 70B обогнала в перфомансе старую 405B, но пока это всё, других моделей не будет до 4-й версии.

Железо
- Intel на грани — CEO ушел на пенсию, оставив убыточную компанию без единого успешного направления.
- Intel Battlemage — новое поколение GPU, теперь Intel в позиции догоняющего. Это не топ-карта, а скорее бюджетная серия с неплохим коэф. цена/качество. Ждем ответки NVIDIA.
- На чем тренят Anthropic? — разбор чипов Trainium от Amazon.
- Colossus — миллионный кластер Маска. Суперкомпьютер xAI растет до невиданных размеров.

Генеративные модели
- Hunyuan Video — еще одно детище Tencent, опенсорс 13B видео-генератор + небольшой разбор архитектуры.
- Genie 2 — игровая world model от DeepMind позволяет генерить игры всех мастей и размеров. Пока еще есть над чем работать, но нас ждет шикарный AI-геймплей в будущем.
- Aurora — xAI выпустили очень сносный генератор картинок без цензуры на лица, который можно запустить в их теперь условно бесплатном чате Grok 2. Уже его убрали.

Прочее
- HuggingFace — прошла халява: ввели ограничения на хранилище. Где теперь хранить датасеты — неясно. Говорят, его использовали как облачное хранилище для обычных файлов.
- Зачем ученым нужен AI — ретроспективный пост о развитии LLM и немного об интердисциплинарном ресерче.
- OpenAI в Цюрихе — «открытая» компания впервые открыла офис вне США, и это еще и прямо у меня под боком!


> Читать дайджест #46

#дайджест
@ai_newz

Нейродайджест за неделю (#48)
Новогодние подарки продолжают сыпаться, приобретая лавинный характер...

LLM
- DeepSeek 2.5 — хороший буст в качестве + завезли поиск, который ощущается лучше, чем у OpenAI.
- Canvas (2?) — тулзу внутри ChatGPT знатно прокачали и добавили несколько очень нужных Quality of Life улучшений.
- T-Lite и T-Pro в опенсорсе — отличные результаты! Хитрый финт с файнтюном и дополнительным предобучением дает свои плоды. По бенчмаркам модель занимает топ-1 на русском языке.
- Streaming API — Gemini теперь в реальном времени понимает одновременно и аудио, и видео: как с камеры, так и со стрима экрана.
- Advanced Voice Mode + Video — OpenAI сразу же отвечают, хотя функционал немного ограничен. Но зато модель умнее, чем Gemini Flash, которая используется в Streaming API.
- ChatGPT Projects — наконец-то файлы и чаты можно разложить по папкам и навести порядок во всем этом хаосе.

Генеративные модели
- Aurora — авторегрессионная txt2img модель от xAI. У команды свой уникальный путь со своими плюсами и минусами.
- Pika 2.0 — завезли IP-Adapter для видео. Работает хорошо, но пока не хватает «короля» над картинкой.

Sora
- Утечка SORA — незадолго до релиза произошел слив, прогрев? Еще появилась первая страничка SORA, а затем уже релиз.
- SORA в общем доступе! — теперь все пользователи могут генерировать свои 10-секундные видосики. Революции не случилось, так как за год многие конкуренты уже догнали OpenAI.
- Обзор на SORA от Marques Brownlee — крупнейший техноблогер ютуба выложил обзор на SORA за пару часов до официального анонса и релиза OpenAI.
- Тесты SORA — смотрим на ваши тесты в комментариях.

Прочее
- Месть или победа любой ценой? — история о том, как обиженный саботёр получил Best Paper Award.
- XLand-MiniGrid — среда для тренировки агентов на GPU. Аналог закрытого XLand от Google.

Техника
- Android XR — новая ОС Google для AR/VR-девайсов. Google готовят базу для всех умных очков.

Читать дайджест #47

#дайджест
@ai_newz

Нейродайджест за неделю (#49)

OpenAI
- Анлим Sora — теперь даже базовым подписчикам доступна безлимитная генерация видео в "медленной очереди", но лишь на праздники. Нужен не европейский VPN.
- Search GPT — минорный апдейт поиска от все тех же OpenAI (со стрима).
- OpenAI API — добавили o1, понизили цены и ещё пару плюшек.
- Информатор по делу об авторском праве мёртв — бедного парня нашли у себя дома, СМИ обвиняют OpenAI.
- +1-800-242-8478 — звоним ChatGPT и... пишем в WhatsApp. Мем.
- Thinking от Google — конкуренты OpenAI наступают на пятки со своими "думающими" модельками.
- o3 и o3-mini — модель на порядок превосходит предшественника o1. Правда, для прохождения бенчмарков нужно всего лишь $1,5 млн.
- Капча против AGI — убер-машина решает такие задачки, тратя пару тысяч $$$ за штуку. А как быстро вы сможете их решить?

Все, стримы OpenAI закончились😮‍💨

LLM
- Devin — AI-джун за $500 в месяц. Спорный стартап, пока неясно, как будет выигрывать конкуренцию у тех же OpenAI.
- Три опенсорс модели для русского языка — LLM, текстовый эмбеддинг и speech2text.
- Бесплатный GitHub Copilot — 2000 дополнений кода на месяц в VS Code.

Другие генеративные модели
- Veo 2 — Google подготовились к анонсам OpenAI лучше, чем сами OpenAI. Их text2video моделька по тестам (и теперь уже по зрительским симпатиям) опережает недавно вышедшую и теперь безлимитно доступную даже в базовой подписке Sora.
- ElevenLabs Flash 2.5 — научились генерить голоса в реальном времени, довольно правдоподобно, но это, конечно, не Voice Mod.
- Pika 2.0 бесплатно — кажется, поезд уже ушёл. Но не расстраивайтесь, Pika, как всегда, облажались и не завезли компьюта на такое количество народа. Так что, если вам повезло получить хотя бы пару видео, считайте себя счастливчиком.


> Читать дайджест #48

#дайджест
@ai_newz

Нейродайджест за неделю (#50)
Рождество дает о себе знать, предновогодняя серия стримов OpenAI прошла. Все ресерчеры и инженеры разбежались по домам, кроме героев ниже:

LLM
- QVQ - 72B – Reasoner от Qwen. По мультимодальным бенчам обходит 4o, но до o1 ещё не дотягивает. А это ведь лишь цветочки - результаты нескольких месяцев работы с небольшими бюджетами, которые весь 2025 будут активно масштабировать.
- DeepSeek V3 – лучший в опенсорсе. Этот уже на равных конкурирует с SOTA не-reasoning моделями в стандартных бенчмарках, но при этом инференс в 10 раз дешевле. Посттрейн оставляет желать лучшего, но на то опенсорс и опенсорс, что скоро будут допиленные версии модели от комьюнити.
- О локальных LLM – ChatGPT лег, а мы обмениваемся своими любимыми модельками и локальными сетапами.

Прочее
- Unitree B2-W – робопёс на колёсах делает сальто и летает сквозь пересечённую местность.
- Локальный txt2video на мобиле! – взяли SD 1.5 VAE-декодер и жёстко заоптимизировали. Для стикеров пойдет.
- Книги на Новый год – или что подарить ML-щику.
- О PhD – мемчик.

> Читать дайджест #49

#дайджест
@ai_newz