Я понял, что меня раздражает в вайб-кодинге. В какой-то момент я теряю контроль над происходящим и начинаю тратить времени больше на то, чтобы понять, что происходит, чем если бы писал фичу сам. При этом просто тупо принимать все предложения от нейронки, по заветам Andrej Karpathy, не получается, потому что постоянно вылезают разные баги и приходится откатываться на предыдущие коммиты.

Пока, честно говоря, не завидую я вайб-кодерам. Это больно. Но с идеями, структурой и реализацией простых компонентов помогает, конечно, здорово.

Да, мне нравится эта личность :)

Исследователи Яндекса разработали и выложили в опенсорс один из крупнейших в мире датасетов в области рекомендательных систем YaMBDa (YAndex Music Billion-interactions DAtaset), в котором содержится около 5 миллиардов событий. Я помню, когда занимался изучением рекомендательных систем, какие-то хорошие большие датасеты было найти сложно, все открытые были уже довольно заезженные и устаревшие. А мы ведь знаем, что наличие хороших данных — это чуть ли не главная составляющая хорошей модели.

Такой шаг от крупной коммерческой компании — это хорошая помощь исследователям, а, возможно, и небольшим сервисам, которым не придётся сначала долгие годы собирать свою собственную статистику, чтобы только затем приступить к обучению своих моделей. Можно экспериментировать на большом и качественном датасете, корректируя пайплайны под свою специфику.

Данные, разумеется, обезличенные и узнать какую музыку слушает ваша симпатичная коллега из него не выйдет, но, вот, хорошенько проанализировать и учесть это при разработке каких-то своих сервисов получится из-за высокого качества датасета. В нём содержатся прослушивания, лайки, дизлайки, а также некоторые характеристики треков.

Причём 5 миллиардов, конечно, может оказаться довольно большим числом для тех, у кого ресурсы ограниченные, поэтому у датасета есть три версии — самая маленькая на 50 миллионов событий, средняя на 500 и, сам по себе, полный набор. У всех событий есть временные метки, то есть можно и тренды смотреть, и сезонность, и другие зависимости во времени. Это как хорошая документация к каждому действию, чего не хватает многим подобным датасетам.

Аж, захотелось РекСисом позаниматься 🙂

В прошлом году я присутствовал на Practical ML Conf от Яндекса - конференции, посвящённой технологиям, которые уже сейчас приносят пользу бизнесу, и, надо сказать, это было очень полезное участие. Во-первых, уровень докладов заставлял мозги напрягаться, а не как часто бывает: "А, это мы уже знаем..., а, здесь ничего нового..., а, это мы уже проходили..., нафиг я сюда пришёл?.. А, полотенце!". Потому что с докладами выступали специалисты мирового уровня, вот, прямо сейчас создающие реальность. А во-вторых, привёз оттуда много новых знакомств, часть из которых вылилась в классные подкасты!

И когда ко мне обратились с предложением написать про готовящуюся конференцию в этом году, я, признаться, немного обалдел от того, что уже почти год прошёл и готовится очередная. А так как мне понравилось - я с радостью согласился рассказать, что прямо сейчас можно заявить свой доклад на Practical ML Conf по темам CV, NLP, Speech, RecSys, MLOps и вообще по Data Science, в целом. Темы пройдут через Программный комитет, который оценит их по четырём параметрам: полезность, новизна, сложность и практичность. А дальше эксперты помогут вам качественно подготовиться к докладу. И с дизайном презентации, и со структурой доклада. А подачу вообще можно будет отрепетировать с тренером по публичным выступлениям. О вас и вашем докладе расскажут в информационных каналах Яндекса, ну, и само собой вы автоматически (без отбора) попадёте на PML Conf и сможете взять с собой ещё кого-то одного, кого пожелаете. По-моему, неплохая возможность заявить о себе на конференции такого масштаба!

Заявку на участие с докладом можно подать до 23 июня.

"Вам же остаётся чуть-чуть допилить"
Каждый раз, когда слышу это — мне хочется найти киянку (молоток такой из твёрдого дерева, если кто не знает) и долбануть им… куда придётся. Ведь я знаю: нужно будет делать всё заново, плюс разбираться в визуальной сборке.

Здравый, хотя и несколько эмоциональный, взгляд инженера на попытки бездумного внедрения хайповых технологий. Периодически приходится консультировать команды, в которых сделано что-то "на коленке" частично с зеро-ноу-лоу-вайб-кодом и потом всё переписывать приходится под нормальную архитектуру, потому что хрен разберёшься как там всё работает и откуда ногу неожиданно прострелить может.

Хорошая рекомендательная система - это та, которая рекомендует тебе что-то, что нужно и, соответственно, не рекомендует то, что не нужно. К счастью прошли те времена, когда ты уже купил холодильник, а тебе следующую пару недель рекомендуют ещё холодильники. Мы всё больше погружаемся в довольно комфортный мир, в котором сложные умные системы помогают нам конкретизировать свои мысли и действия.

У меня, тут, недавно был интересный опыт - я нашёл свой старый самый первый "смартфон" Eten Glofish (который покупал ещё во второй половине нулевых) и даже умудрился его запустить. Там сенсорный, но ещё резистивный экран, который можно тыкать стилусом. Ну, я понабирал на нём текст и... это было очень больно. Чтобы писалась та буква, которая нужна, нужно очень точно в неё попасть. Тот небрежный стиль, которым мы привыкли сейчас на смартфонах своими большими пальцами попадать в маленькие символы клавиатуры, оказывается, совершенно не наша заслуга. Просто смартфоны сейчас стали настолько "смарт", что в абсолютном большинстве случаев хорошо угадывают, куда именно мы хотели нажать. Тоже, по сути, рекомендательная система. Контраст с технологиями нулевых очень заметный.

Так вот, наверное, скоро вокруг нас будут материализовываться вещи, потребности в которых мы не будем успевать осознавать. Это знаете, как знаменитые эксперименты, в которых приборы угадывают, что хотел сделать человек ещё до того, как сам человек осознаёт своё желание. И мы привыкнем к такому положению вещей так же, как привыкли к тому, что смартфоны угадывают, что мы хотим написать. И это будет ещё более комфортный мир, потому что технологические гиганты продолжают работать над совершенствованием систем рекомендаций.

Это к вопросу о новости, что исследователи Яндекса разработали рекомендательные системы нового поколения — на основе генеративных моделей. Пишут, что новые алгоритмы лучше учитывают контекст и находят неочевидные взаимосвязи в действиях пользователей, повышая тем самым точность и качество рекомендаций. Сейчас данный подход уже интегрирован в Яндекс Музыку (куда ж ещё лучше то? Я уже давно поклонник их музыкальных рекомендаций) и некоторые другие сервисы. А под капотом, угадайте, что? Правильно, снова трансформеры!

Вообще, когда я слышу про подобные внедрения, меня всегда впечатляет не сам факт того, что рекомендации хорошо работают, - на больших данных, как мы прекрасно убеждаемся, можно обучать очень качественные модели, - а то, что все эти генеративные нейросети работают относительно медленно и чтобы обслуживать большое количество пользователей, требуются нетривиальные инженерные подходы. В этом смысле Яндексу удаётся держаться среди лидеров рекомендаций, типа, Гугла или Нетфликса. Очень круто, как по мне.

Приветствую, друзья! Поговорим про агентов?

В гостях подкаста Максим Шапошников - инженер и исследователь в области искусственного интеллекта. Последние три года работает Applied Scientist-ом в одной из FAANG-компаний, занимается обучением мультимодальных LLM. Кто такие агенты? При чём здесь Уилл Смитт? Что могут агенты и чего они не могут? Что такое умные конвейеры? Что делать, если LLM зациклило? Кто будет разгребать тонны вайбокода? Почему не только людям проще написать код с нуля, чем поддерживать уже написанный? Кто такие мыслящие агенты? Каким должен быть браузер для агента? Когда всё же агенты начнут заменять людей? Если агенту дать полную свободу действий, не случится ли Скайнет? Почему даже антропик запускает своих агентов в докере на виртуальных машинах? Как завести себе несколько личных полезных агентов? Почему тебе не нужны крутые фреймворки для написания агентов, если ты программист? Обо всём этом в выпуске!

https://mlpodcast.mave.digital/ep-73

Максим Шапошников. Кто такие мыслящие агенты и почему они нас ещё не заменили?

Масим Шапошников - гость вчерашнего подкаста, прислал подборку материалов по агентным системам. Много интересного!

Как-то всё чаще сталкиваюсь с тем, что мне пригождаются мои backend-навыки больше, чем знания ML. В целом, ничего удивительного, если компания не занимается фундаментальными исследованиями на переднем крае технологий, то ей чистый ML нафиг не нужен. Ей нужна обвязка вокруг готовых API готовых моделей. Определили точки роста, определили какие модели лучше взять потестить, потестили, если потенциал есть - берём подходящую под бизнес-требования готовую модель - строим вокруг неё обвязку. ЭМЭЛя, как такового, здесь минимум. А, вот, очереди, базы данных, поисковые движки, Docker, Кубер, балансировщики, FastAPI, какой-нибудь, а давайте ещё бота своего запустим, вот, это всё выходит на первый план.

Как настроить систему, чтобы она держала нагрузку, как настроить A/B-тестирование через feature-флаги, да банально как настроить нормальный пайплайн релизов. Короче, если вы ищете работу в ML - огромным вашим конкурентным преимуществом будет опыт в backend и DevOps. Рынок хочет готовых решений как можно быстрее, специалисты по ML, которые представляют как их ML-решения встроить в бизнес - на вес золота.

В одном из проектов, в котором я участвую, требуется усиление в команду. Не сказать, что сильно жёсткие требования, так что если ищете, чем позаниматься, да ещё и удалённо - пишите!

🚀 Python Backend-разработчика в AI-проект

Мы создаём сервис в сфере AI генеративного контента. На данный момент лучшее продуктовое решение в мире на стадии релиза. Ищем талантливого разработчика, нужно усиление на бекенд: микросервисы, брокер сообщений NATS, Postgres, S3-хранилище.

🔧 Чем предстоит заниматься
• Разрабатывать функционал микросервисов gateway / master-service / загрузка, предобработка изображений (FastAPI + FastStream)

• Переводить шину Kafka → NATS JetStream, описывать контракты (FastStream / nats-py).

• Обеспечивать взаимодействие с AWS S3 Object Storage (aioboto3): загрузка выгрузка изображений (превью, оригиналы, presigned URL), а также больших файлов вплоть до 2 ГБ.

• Проектировать базу (PostgreSQL 15, SQLAlchemy 2, alembic), ускорять запросы.

• Писать unit / integration / e2e тесты (pytest-asyncio, Testcontainers).

• Участвовать в код-ревью, проводить интеграционное тестирование в staging окружении.

🛠 Наш стек
FastAPI · uv · PostgreSQL 15 · SQLAlchemy 2 · alembic · NATS JetStream (FastStream / nats-py) · aioboto3 · Docker · Python3.12 · Kubernetes

👌 Кого ищем
• 3+ лет Python (async/await, в том числе асинхронный код) в проде.
• Отлично знаешь NATS (либо хорошее знание RabbitMQ, желание изучить NATS на том же уровне)
• Уверенно работаешь с AWS S3 / Yandex Object Storage и библиотекой aioboto3
• Опыт с FastAPI, SQLAlchemy 2, alembic, PostgreSQL; понимание ACID, транзакций, JOIN запросы
• Покрываешь свой код юнит тестами, знаешь Docker и базовые CI/CD (GitLab CI)

💡 Что предлагаем
• Полностью удалённую работу и гибкий график.
• Интересные задачи в области AI без рутины
• Конкурентную зарплату, которая пересматривается по результатам.
• Команду, где ценят инициативу и дают влиять на архитектуру.

⚡️ Как откликнуться
• Пришли ссылку на GitHub/Gitlab с примерами кода (FastAPI / очереди / S3).
• Пару строк о том, как внедрял NATS или RabbitMQ + S3.

Вилка: 150-300к в мес по результатам собеседования

Просьба ответить на несколько вопросов в анкете:

https://forms.gle/FgvF3vvJtLDw17JN8

А также присылайте ваше резюме и пишите : @robot_university

Теорема Теслера: Искусственный Интеллект - это то, что ещё не создано.



ауф

От аналитики до AI — онлайн-магистратура УрФУ

Спрогнозировать погоду, диагностировать болезни по снимкам или создать умную рекомендательную систему — для ML-инженеров нет ничего невозможного. Онлайн-магистратура УрФУ и Нетологии «Инженерия машинного обучения» поможет освоить востребованную профессию.

За 2 года обучения вы:
— Освоите создание ML-моделей и автоматизацию процессов;
— Научитесь работать с Big Data, проектировать архитектуру для хранения данных и настраивать ETL-процессы;
— Получите практический опыт на реальных проектах, сможете участвовать в Kaggle-соревнованиях и хакатонах;
— Пройдёте полный цикл разработки систем ИИ — от математических основ до продакшена;
— Получите два диплома: государственного образца от УрФУ и дополнительный от Нетологии.

Гибкий онлайн-формат обучения позволит совмещать учёбу с работой, а карьеру строить уже во время магистратуры.
👉 Подробнее о магистратуре - https://netolo.gy/egv7

Реклама. ООО "Нетология". ИНН 7726464125 Erid:2VSb5ybWWB3

Внезапно осознал, что мне приятна лесть нейросеток - весь такой славный неотразимый кодер, у которого всё, ну, просто идеально и нужна буквально пара штрихов, чтобы код начал испускать благодать. Но в этом же кроется опасность - пропадает тонус и критичность по отношению к своему коду.

В итоге завёл себе две личности. Одна считает меня совершенством, а вторая - никчёмным криворуким говнокодером. Периодически сталкиваю их, чтобы они договорились и вынесли общий вердикт. Чаще побеждает токсичная 🙂 Слава богу. Есть куда расти.

Слышали такую шутку, что самый точный индикатор погоды - это кирпич? Типа, если мокрый, то идёт дождь, если отбрасывает тень, то ясно и т.п. Так вот, оказывается, это шутка лишь отчасти. В этом выпуске разговариваем с Петром Вытовтовым - руководителем ML в Яндекс Погоде о... правильно, погоде! И о том, как машинное обучение помогает её предсказывать. Зачем смотреть прогноз погоды строителям? Почему прогнозы погоды могут радикально меняться в течение дня? Как управлять хаосом? Как связаны задачи предсказания погоды и задачи предсказания следующего кадра в видео? Нужно ли быть метеорологом, чтобы обучать ML-модели, предсказывающие погоду? Что такое климатическая норма и почему отклонения от неё - это тоже норма? Можно ли превратить мобильный телефон в метеорадар? Какие есть готовые датасеты, чтобы натренировать свои погодные модели? Обо всём этом в выпуске!

https://mlpodcast.mave.digital/ep-74

Пётр Вытовтов. Как предсказать погоду и почему иногда ведро работает лучше машинного обучения

Ссылки, релевантные выпуску

Курсы по ML в погоде:

- ML in Weather & Climate
- Artificial Intelligence (AI) for Earth Monitoring

Статьи по глобальному прогнозу:

- Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast
- GraphCast: Learning skillful medium-range global weather forecasting
- A Foundation Model for the Earth System

Статьи по наукасту:

- SEVIR : A Storm Event Imagery Dataset for Deep Learning Applications in Radar and Satellite Meteorology
- Deep Learning for Day Forecasts from Sparse Observations

Посты на Хабре:

- Как мы отказались от нейросетей, а затем вернули их в прогноз осадков Яндекс.Погоды
- Встречаем Meteum 2.0 — первую технологию метеопрогноза, алгоритмы которой обучаются на сообщениях пользователей
- Встречаем OmniCast — технологию, которая повысит точность прогноза температуры с помощью пользовательских метеостанций

У Евгения Разинкова стартует третья часть второго потока школы - трансформеры! Судя по описанию, лично для меня, это самая интересная часть. Во-первых, трансформеры - сердце современного ИИ, а, во-вторых, MLOps - набор практик, который, в принципе, позволяет нейросетям жить в интернете и помогать в решении наших задач. Качество материалов Евгения, в моём личном рейтинге, одно из самых высоких. Я у него многому научился. Евгений в режиме средней сложности даёт всю математику, которая стоит за ML. А без математики, на мой взгляд, не будет хорошей интуиции.

Коллеги, всем привет!

Во втором потоке школы у нас начинается третья часть – трансформеры. В эту часть входит детальный разбор архитектуры Transformer, как для NLP, так и для компьютерного зрения.

Если вы комфортно себя чувствуете в PyTorch, имеете опыт обучения глубоких нейронных сетей, но трансформеры прошли мимо вас, вы можете присоединиться ко второму потоку сейчас.

У нас осталось 3 месяца практических вебинаров, где мы будем вместе реализовывать и обучать трансформеры на чистом PyTorch. Сразу предупрежу, что практические задания достаточно сложные и не подходят для новичков.

В рамках Capstone Project вы сможете запрограммировать небольшую языковую модель, обучить ее с нуля и задеплоить с веб-интерфейсом (docker + FastAPI + Streamlit).

У вас также будет доступ к курсу MLOps, где мы разбираем управление жизненным циклом модели.

При помесячной оплате это стоит 22 000 р. в месяц (3 месяца), при единовременной – 58 000 р. Если вы доходите до конца школы, у вас будет бесплатный доступ к материалам как минимум еще в течение 6 месяцев.

Регистрация здесь: razinkov.ai/school
Если у вас есть какие-то вопросы, вы можете связаться с нами через телеграм: https://t.iss.one/school_razinkov_ai