Я обещал написать про бота, и добрался только сейчас, потому что этот пет проект вырвался из клетки и чуть меня не сожрал. Было интересно, неожиданный end-to-end опыт от идеи до багфиксов на проде за жалкие три дня.

Все затевалось как локальная шутка для корешей и очередной подход к вайбкодингу, было сделано за пару часов, вброшено в пару чатов и оставлено без внимания. Но в итоге случилась некоторая виральность, и я потратил половину выходных, занимаясь пожаротушением.

Во-первых, парсить телеграм-каналы через bot API нельзя, и потому я парсил через телеграм-клиент, используя собственный основной аккаунт. Когда набежала толпа пользователей, я быстро попал в софт бан, и начал искать обходные пути. Рынок серых аккаунтов оказался недружелюбным, да и банились они примерно за 10 минут, даже если купить премиум и не наглеть с частотой запросов. Даже удивительно: спам-боты в комментариях прекрасно живут, а довольно безобидное чтение каналов оказалось жестко ограничено. В итоге помог рабоче-крестьянский подход - скрапить веб-версию.

Во-вторых, в попытках выстроить систему рейт лимитеров, я накостылял слишком много велосипедов, и их впоследствии пришлось расчищать. Например, из-за кривого набора лимитеров запросы в LLM уходили батчами, и частично отваливались из-за лимита уже на стороне Gemini. Я дебагал практически "на продакшене" с живыми пользователями, которые периодически справедливо жаловались, что ничего не работает. Как следствие, много ранних пользователей так и остались без ответа. К счастью, у меня остались логи в базе данных, и потому я смогу всем написать и предложить попробовать снова сейчас, когда проблемы со стабильностью решены.

В-третьих, к слове о базе данных, я впервые всерьез попробовал Neon (ссылка накинет 5 баксов на аккаунт) для своего проекта и остался очень доволен - все просто работало безо всякой возни, причем на обычном бесплатном аккаунте, это сэкономило мне кучу времени и сил. Всем рекомендую, коллегам респект!

В-четвертых, я впервые что-то сделал end-to-end на расте, и моя жизнь не будет прежней. Писать на нем руками, конечно, сложнее и дольше (skill issue, признаю), чем на каком-нибудь питоне, но если 90+% кода написано агентом, то эта проблема в целом уходит. Зато качество изменилось всерьез: если что-то компилировалось без ворнингов, то оно обычно просто работало. В питоне пришлось бы потратить на порядок больше усилий на тестирование и бесконечные фиксы. Короче, думаю, что всерьез перейду на Rust для одноразовых проектов на выброс. Отдельный кайф наблюдать, как что-то помещается в <40 мегабайт памяти.

В-пятых, аудитория оказалась совершенно за пределами моего пузыря. Я изначально делал это все для корешей-задротов, которые в основном пишут лонгриды про AI, а в итоге набежало очень много людей, у которых, например, контент - это исключительно картинки. Камон, для этого есть инстаграм! И, конечно, на таких каналах ничего не работает.

Статистика: 7500+ юзеров, 200+ плательщиков. Заработано в звездах на ~10% больше, чем потрачено на Gemini API (то есть если бы это был настоящий бизнес, экономика бы едва сошлась; не будь лимитов и платных фичей - я бы наверняка офигел от затрат). Какой-то моментум есть, можно попробовать пилить новые фичи и вообще развивать эту штуку. Для самых любопытных выложил исходники - с нуля я бы сейчас делал слегка иначе (например, надо было использовать каналы, с самого начала делать персистентность для in flight тасков), ну да как есть.

Как обещали, расшифровка выпуска #Типичный_айтишник с Борисом!

—Расскажи кто ты и чем занимаешься?
Я Борис Цейтлин, ML engineer, до недавнего времени staff ML engineer в eBay, автор и преподаватель учебных программ по DS.

—Расскажи про свой карьерный путь?
Если вежливо называть меня, то я generalist, у меня очень разносторонний опыт. Если менее вежливо — «галопом по Европам».
В IT я попал потому, что в подростковом возрасте много играл в компьютерные игры: это перетекло в попытки сделать моды для игр, а потом и закодить что-то. В общем, я один из тех программистов, которые когда-то мечтали разрабатывать игры, а в итоге разрабатывают нейронки.
Начиналось всё с веб-разработки, а потом я попал в научную роту МЧС, где столкнулся с DS и понял, что в этой сфере потолок развития выше.
На срочной службе в армии мы занимались прогнозированием пожаров в Москве для МЧС. Конечно, на службе пришлось и клумбы пополоть, но и за компом посидеть удалось. Там я понял, что мой предыдущий подход к программированию не работает в машинном обучении и мне стало интересно разобраться глубже. А потом понеслось — магистратура Вышки, преподавание разных курсов по ML. И работа в индустрии.

—Research или продакшн?
Я начинал в индустрии, поэтому у меня сильная склонность к ней. И не было такого опыта, что вся моя деятельность — только писать статьи. Статьи были в research команде Толоки, но все равно там мы делали ресерч с прицелом на дальнейшее внедрение. Мне кажется, что классно быть на стыке двух этих сфер. Заниматься ресерчем, но не работать в стол. Если нужны деньги — идти в продукт или в прикладной ресерч. Хочется двигать науку — идти в науку. Обычно перед людьми, которые прямо хотят в науку, выбор в принципе не стоит.

—А что в твоей работе тебе больше всего не нравится?
В моем корпоративном опыте работы часто возникали ситуации, когда тебе понятно, что делать, но теперь нужно убедить пять менеджеров, что это действительно нужно делать. В нашей деятельности чем выше масштаб того, что ты делаешь, тем больше возникает усилий по коммуникации. Кто-то от этого кайфует, но я — нет.

—Один из твоих известных проектов — гайд по поиску работы в ML. В последнее время появился тренд на накрутку опыта, чтобы найти работу. Как такой тренд повлияет на рынок труда?
Мои друзья, которые активно собеседуют, рассказывают, что часто сталкиваются с соискателями, которые легко проходят hr-скрининг, но проваливаются на техническом интервью. Ещё их заваливают тестовыми, выполненными через чат-гпт. Из успешных кейсов борьбы: вот тебе задача, пользуйся, чем хочешь, но выполни ее за фиксированное время и запиши экран. Это хороший вариант, но рынок ещё не нашёл нового решения, а старые очевидно не работают.

—Расскажи прикольную историю c работы
Это произошло в стартапе, занимающимся выращиванием растений. На тот момент у ребят была одна из самых больших вертикальных ферм в Европе, и на этом объекте обкатывалось всё.
Мы занимались CV, делали первый подход к ML. Мы активно начали, собирали по 60к фото растений за день. Там же на ферме были расположены и сервера. Однажды я проснулся, зашел в slack и увидел, что фабрика сгорела. Теперь когда на собеседовании спросят о сложной ситуации на работе, могу рассказать про сгоревшую фабрику. Бэкапы мы делали, но часть данных всё равно потеряли — они сгорели. Ну и ML стало временно негде применять в этой компании. Зато технический долг сгорел в прямом смысле этих слов.

—Как достичь успешного успеха?
Успешный успех — вопрос цены. Нужно определить цену и её заплатить. Например, если ты хочешь быть CEO единорога — будь готов работать 24/7 и будь готов к тому, что может не получиться.

А если хотите узнать больше про то, зачем стоит идти в преподавание, какие сейчас тренды в найме, и что было дальше со сгоревшей фермой — слушайте полную версию записи.

Очень конспирологическая статья Subliminal Learning: Language models transmit behavioral traits via hidden signals in data
https://arxiv.org/abs/2507.14805

В чем идея: модель-учителя обучали на датасете с какой-то ярко выраженной чертой. Например, прививая ей особенно сильную любовь к совам. Потом эту же модель просили сгенерировать данные, состоящие из с виду рандомных номеров. Например, продолжить уже созданный список каким-нибудь образом, без какого-то заданного паттерна. На этом числовом датасете потом учат student model

В итоге эта student model каким-то образом перенимает предпочтения модели-учителя и тоже начинает любить сов, обучившись на наборе чисел, которые видимо нам кажутся случайными, но таковыми не являются

Это работает с разными животными, и даже работает с MNIST: student model научилась решать задачи из этого датасета, по сути никогда не обучаясь на этих данных, а увидев только (pseudo)random noise от модели-учителя

При этом, эффект не сохраняется, если просто засунуть рандомные числа в контекст модели без дополнительного обучения, или если у студента и учителя разные базовые модели. Также отдельно проверяли, что это не подвид emergent misalignment, когда, например, модель становится злой, если ее обучить на небезопасном коде или на числах типа 666 и 1488

Еще этот подход работает, если вместо чисел генерить другие не связанные с выбранной чертой (e.g. любовь к совам) домены, например код или ризонинг трейсы для математических задач

В целом это интересная иллюстрация того, что все LLM – это достаточно необычные distribution machines. Но боюсь представить сколько шизо-теорий на этом теперь можно построить

🚀 Уважаемые коллеги, кому интересна математика и машинное обучение, приглашаем Вас принять участие в неформальном научном проекте.

Мы разрабатываем новые методы и опен-соурс библиотеку CayleyPy, которая на основе МЛ/РЛ методов позволяет решить математические задачи, которые были не доступны ранее. Как пример наша система уже по всем параметрам на порядки превсходит аналогичные методы в системе компьютерной алгебры GAP (де-факто стандарт) - использующую алгоритмы доработанные самим Д. Кнутом.

Если у Вас есть желание поучаствовать в проекте, есть знание Питона и несколько свободных часов в неделю - то присоединяйтесь к нам - при активной работе - Вы будете соавтором научных публикаций. (Напишите @alexander_v_c - к.ф.-м.н. Александр Червов).

Краткая суть задачи может быть описана несколькими способами - нахождение пути на графе размером 10^20-10^200 (из-за размера обычные методы не применимы - только МЛ/РЛ). Решение пазла типа кубика Рубика, задача сортировки, математически - разложение элемента группы по образующим - все это в реальности одна и та же задача. Задача близка к прошедшему конкурсу Каггл Санта 2023. Более общо - это задача планирования - типичная для реинфорсмент ленинг - спланировать действия так чтобы кумулятивный эффект давал лучший результат - управлением манипулятором робота, системы АльфаГо, АльфаТензор, успех DeepSeek - это задачи - тесно связанные с тем, что мы делаем.

А зачем это нужно биологам ? А чтобы превращать людей в мышей ))) (А капусту в репу). Так назвал свои статьи известный биоинформатик П.Певзнер - оказывается эволюционная дистанция - соответствует дистанции на определенных графах - и наша цель улучшить ее оценку через МЛ/РЛ. Зачем нужно нужно в сетях - задержка сигнала (latency) сети определяется диаметром сети - оценка диаметра графов - одна из наших целей. В теории квантовых вычислений тоже нужны подобные графы и приложения этим не ограничены. И, кроме того, а знаете чем знаменит Билл Гейтс ?)) Он отлично сортировал блины ! Наша задача - побить его - через МЛ/РЛ)))

В нашем коллективе есть профессора математики, Каггл градмастеры, и легендарные иностранные специалисты - Tomas Rokicki , Herbert Kociemba - Вам будет у кого поучиться.

Подробнее о проекте вы можете узнать в наших статьях https://arxiv.org/abs/2502.18663 https://arxiv.org/abs/2502.13266 и в нашей группе https://t.iss.one/sberlogasci/1 и ⭐ СТАВЬТЕ СТАРС ⭐ (звездочки) на наш гитхаб: https://github.com/cayleypy/cayleypy