Не смотрел доклад, не разработчик!

Есть много конференций для разработчиков. Там по каждой конфе можно офигеть от кол-ва информации. И вот мы ходим, слушаем с умным видом, но как часто применяем эти решения?

Привожу пример. Смотрел доклад со смарт даты про Спарк. Там команда джимми нейтронов сделала ML модель, которая учится подбирать оптимальные параметры под Spark приложения. По-простому работает так:

1. Спарк запускается с каким-то средними значениями ресурсов.
2. Если джоба не падает, то уменьшаем еще раз, пока джоба не начнет падать. Это значит, что мы нашли идеальные настройки спарка для этих вычислений.

И таким образом, моделька учиться на запусках и подбирает самые оптимальные настройки. И там всякие метрики, дашборды можно показывать, что сократили кол-во затрат и ляля тополя. Бизнес в восторге.

Вот супер крутое решение. Только кол-во людей, кто реально это применит на практике — стремиться к нулю. Тогда зачем слушать этот доклад? (ЦКАТИНА, ТЫ ЧТО ХОЧЕШЬ ПОСПОРИТЬ? А?)

В большинстве команд, на мой взгляд, решение будет состоять из простого увеличения timeout или sla. Типа пусть работает дольше, главное, чтобы работало. И не надо писать никакие сложные модели, обучать их и так далее. У нас че, времени полно на это? А? Але, камон эврибади

А если вы работаете в компании, где очень долго можно получать доступы бигтехе, где нельзя в принципе внедрить сразу какую-то библиотеку, фреймворк или решение, то смысл теряется вовсе. Потому что надо сначала отправить заявку на создание заявки о наличии у вас некой мысли в голове, которая по метрикам должна увеличить.. господи, да остановись уже!

Кстати, если вы реально не знали, но в таких компаниях, ЛИЧНО Я получал доступы 2 месяца. И все это время, пока нет доступов, ты просто крутишь казик на стримах и лутаешь по 100к usd живешь жизнь в ожидании.

Вернемся к конференциям.
Для большинства — они никогда в жизни и не применят таких кейсов. БОльшая часть людей работает просто на работе без амбиций и у них нет задачи покорять этот мир крутыми решениями. Дайте им задачу и вовремя платите зарплату. Остальное не важно. В целом понимаю такой подход. Желательно еще и вообще не работать, а получать бабки на счет.

Лично я в свое время сильно упарывался по конфам. Знаю, что в питоне пустой словарь весит НЕ НОЛЬ! Для чего мне это знать? Не для чего. Можно среди друзей хвастаться, причем сразу после слов про двадцатые диски на бмв.

Единственный момент, когда я смотрю доклады с конференций — это когда ищу решение проблемы. Вот это реально круто. Т.е. мы решаем проблемы по мере их поступления. Просто так идти и искать контент на досуг, я больше не делаю...

Крутим казик API Wordstat!

Расскажу про реальную задачу на работе. Сразу скажу, что это не хай лоад перфоманс дата сайенс задача. Поэтому, если ты заряженный спец или спецуха, то наши с тобой пути расходятся. Дело не в тебе, дело во мне. Я больше не люблю тебя.. Твоя мама была права.

Как дают задачу?
Возьми этот CSV файлик, там фразы и слова, которые люди ищут в поиске Яндекса. Надо пройтись по всем запросам и собрать инфу из Яндекс Вордстата, сколько раз люди ищут это и конечный результат-отчет загрузить в Clickhouse. Например "Как заработать на беху купешку" вчера искали 3 раза, а "Я хочу ничего не делать и кататься на бехе" искали 4530 раз.

И с чего начать?!
Конечно же с чата гпт. Ведь ИИ уже заменил программистов и теперь я вообще ничего не делаю и просто пью коктейль на берегу океана. Было бы круто, но не совсем так. Код надо писать почти с нуля, причем сразу в общем виде, чтобы его можно было переиспользовать на следующих задачах. Поэтому сразу прикидываю архитектурно, как это может выглядеть:

1. API - выгружаю при помощи python и сохраняю в S3, как есть без трансформации
2. Забираю из S3 и кладу в Clickhouse с помощью Spark (тут уже сделаю преобразования)
3. Пишу DAG в Airflow с двумя тасками (и хочу сделать ручной запуск со своим конфигом)

В целом изи. Че тут писать. Но есть некоторые нюансы. В ТЗ мне указали, что нужны недельные данные. Это значит, что при обращении к АПИ без уважения мне надо тянуть диапазон дат (НЕДЕЛЮ). Ну вы скажите, ок, запускай каждый понедельник и тяни данные за прошлую неделю. И ТУТ ТОЖЕ НЕ ПОЛУЧИТСЯ.

Яндекс Вордстат отдает данные минимум за ТРИ недели. Поэтому либо каждый третий понедельник запускать, либо думать по-другому. Я выбрал второе (Хотя думать я не привык) Буду запускать каждый понедельник, чтобы не сидеть без данных несколько недель. А скаченные данные сохранять в папки с названием api_wordstat_2025-10-20_2025-11-09. Ну т.е. у меня будут сохраняться папки с диапазоном в три недели. И пусть данные в S3 перескаются — это все потом фиксанет Clickhouse (причем без меня сам).

Ок, вроде первый пункт готов. Но НЕТ! А откуда мне и как забирать сами фразы-то для API? Поэтому я загрузил CSV с фразами в Clickhouse и написал класс на python с подключением через clickhouse_connect к CH. Почему класс? А чтобы потом его можно переиспользовать для других задач. Там методы на чтение, запись и кастомного запроса. Помните, что у меня изначально не было проекта. Писал все с нуля.

Итак. Я подключился к CH, забрал фразы, отправил их в API, получил ответ, сложил в S3. А что насчет фраз, которые содержат всякие невалидные символы, типа —> % ~§ и так далее? Тут я сделал логику, что в случае нахождения плохих запросов, записывать их в отдельную таблицу Clickhouse вместе с текстом ошибки (Помните мой ранее написанный класс на питоне? Вот вот). Тем самым я не роняю расчет, а просто логирую это недоразумение и иду дальше. Это кстати работает, если даже у меня соединения внезапно пропало. Все логируется и можно отследить.

А ну еще. Есть у меня логика всяких там retry. Типа если один раз не получилось именно подключиться, то сделай паузу, потом еще одну, но чуть подольше и только потом иди дальше.
ОКЭЙ. Дальше пишем класс для загрузки из S3 в CH. Там у меня три метода. Вы спросите: "ТАК НЕЛЬЗЯ ЦКАТИНА". Короче, я заметил, что если просто спарком читать данные из клика, то он все записывает на один executor, поэтому написал отдельный метод, который читает хитрым способом несколькими частями и размазывает по всему спарку. Не буду вдаваться в подробностями. Мб в роадмап загружу пример.

Че по ДАГу жи есть?
Сделал три таски
• compute_dates определяет диапазон (по умолчанию — последние 3 недели),
• api_to_s3 грузит данные из api в s3 через python
• s3_to_ch загружает готовые parquet-файлы в ClickHouse.
• Между тасками у меня XCom, где я передаю даты из первой таски, чтобы брать конкретные названия папок для Spark

Че по дублям. У меня же там накладываются недели друг на друга, когда берешь данные. А мне пофигу, я настроил ReplacingMergeTree в кликхаусе. Он и дедублицирует. Хотите еще?

AI - ВСЁ! Заменил программистов

Такие заголовки обычно пишут новостные каналы, чтобы поднять охваты и вызвать эмоции у людей.

Как будто ИИ прям в один день взял и заменил всех. Сколько разрабов пользуются сейчас уже ChatGPT. Это происходит плавно. Сначала мы копировали свой код в чат, потом перешли на IDE, где можно работать со всем проектом. Вероятно следующий шаг — это AI агенты. Кстати, я уже начал смотреть в эту сторону и даже сделал небольшого бота со своим контекстом. Т.е. агент знает, кто он и зачем, плюс теперь у него есть все логины и пароли к БД и хранилищам. AI скоро начнет видеть контекст всей архитектуры.

А теперь вопрос. А кто умеет настраивать его? Вот вам и ответ. Нужны будут спецы, кто шарит теперь не как написать код, а как настроить агентов, которые будут писать код. Мы поднимаемся, как бы, на более верхнеуровневую разработку. Уже нет смысла думать, о синтаксисе или вспоминать методы для функций. Все это уже зашито в ИИ.

Очевидно, что те, кто ничем из этого пользуется, возможно придется не легко. Но как быстро будет внедряться AI, большой вопрос. Банки себе такую скорость разработки позволить не могут. Куча нюансов по безопасности, этики, контроля, наличия ресурсов для этих задач в конце концов.

В последнее время я стараюсь найти непохищенные материалы, касаемо AI. И вот наткнулся на воркшоп как раз, который будет 23 ноября на тему «Современный AI в IT-индустрии и науке».

Лично мне интересно послушать о том, как использовать AI в образовательных целях. Например твой AI агент может знать всю твою Базу Знаний и лишний раз экономить твое время, отвечая на вопросы людей, типа как подключаться к Clickhouse. Или как читать Спарком данные из PostgreSQL.

А еще! Вот есть куча сфер жизни, где еще нет AI, но его можно было бы внедрить. Вообще рассматриваю это как направления для бизнес ниш. Т.е. быть тем самым, кто внедряет и настраивает LLM модели в бизнес. Причем с заделом на AI агентов.

Тем, кому интересно, можно зарегестрироваться, там бесплатно - вот тут

Сегодня дата инженер, завтра слесарь, послезавтра инвестор

Че думаем?

Новое техношоу о фейлах на дата-платформах

Все упало, все сломалось, бизнес в панике. Для дата-инженеров это обычный вторник, а для шоу «Дропнуто» — повод снять свежий выпуск.

«Дропнуто» превращает фейлы дата-платформ в истории, которые полезно услышать каждому, кто работает с данными. В центре каждого эпизода — один герой и одна яркая история фейла, развернутое обсуждение архитектуры и процессов, а также немного самоиронии.

Анонсы и ссылки на прямые эфиры появятся в телеграм-боте проекта.

Подписывайтесь, чтобы узнавать о премьерах первыми

Есть AI — а если найду?!

Интересная мысль. В будущем ребята видят два пути развития искусственного интеллекта. Первый путь — когда он доступен всем и децентрализован. Условно как биткоин или любая криптовалюта: AI работает как единый компьютер, распределённый по всему миру среди всех персональных устройств. Благодаря этому доступ к искусственному интеллекту есть у каждого жителя планеты, а стоимость его обслуживания минимальна, потому что каждый вносит свой вклад в развитие и поддержание системы.

Второй путь — когда искусственный интеллект находится в руках нескольких крупных компаний, которые могут устанавливать любую цену за пользование, любые условия, любые пакеты. Если у тебя есть доступ к такому инструменту, ты автоматически становишься более высокоранговым, статусным, «премиальным». Разработчики, инженеры, программисты и специалисты, которые не смогут воспользоваться AI — потому что не могут его купить, поднять самостоятельно или у них нет доступа к open-source, — окажутся в числе отстающих.

Интересно, куда всё в итоге придёт. Но я предполагаю, что open-source всё-таки будет жить, потому что количество энтузиастов и амбициозных людей всё ещё велико. И весь этот опен сорс — на мой взгляд проявление творческих людей, которым невозможно сидеть дома и бездельничать. Наверняка придумают свои мини дата центры и будут там крутить свои ЛЛМки…

Мы внедрили AI! И он нас заменил!

Конечно, я всегда пишу заголовки, чтобы вы кликнули. Я мог бы написать:
RAG + chromadb + LLM (интересное решение для телеграм бота)

Крутяк. И ровно 4000 человек пролистывает эту чушь, потому что вообще непонятно для кого. И только два человека, шарящие за РАГ и языковые модели открывают этот пост.

Рассказываю. Вот нас спрашивают, когда буткемп, где ссылка на бусти, когда курс? А где подписаться? А есть ссылка на роадмап..
Особенно хотелось закрыть вопрос с ближайшими потоками. И вот какая пришла у меня идея. Хотелось бота, который знает все о наших продуктах, сайтах, расписаниях и ценах.. и чтобы все в одном месте. Но писать каждый раз новые кнопки, подключения к БД нет желания и времени.

И что я придумал?
Я взял и написал AI телеграм бота. Если что, ничего волшебного там нет. И сейчас я вам покажу откуда готовилось нападение решение и как оно работает.
Быстрый экскурс в LLM. Это переводится, как большая языковая модель. Все, что он делает — это круто умеет ставить слова друг за другом, подражая человеческой речи. Такой Т9 на максималках. Поэтому я скорее называю это LLM бота, а не AI. Просто AI на хайпе и не написать это — я просто не могу! Давайте я Сам решу, сам решууу!
Так вот теперь можно написать боту @roadmappers_bot сообщение, как человеку и он проконсультирует вас по всем нашим продуктам, выдаст все ссылки и ответит на вопросы касательно roadmappers.ru. На вопросы не по теме, он ответит, что не располагает информацией и предложит написать нам в лс.

Как это работает?
Значит создаем телеграм бота. Тут все просто, дальше пишем код, который будет обращаться к LLM модели. Они бывают разные: платные, бесплатные по АПИ, бесплатные локально.. Я пробовал ВСЁ!

Платный. Это например OpenAI или DeepSeek. Второй дешевле. Закидываешь ОМЕРИКАНСКИЕ ДОЛЛАРЫ в личный кабинет и платишь за использования их API. Как закинуть баксы в ДипСик — ищите в гугле. Там первая ссылка выдает отличный сайт, где вам все ваши бабки закинут на ваш Личный кабинет. Уже давно все за вас придумали.

Бесплатно. Можно по API ходить в OpenRouter к любой выбранной модели. Но работает нестабильно. Также можно скачать к себе локально модель через Ollama или Docker Model Runner, но работает медленно и тоже нестабильно. Нужно явно GPU.

Поигравшись с разными вариантами я понял, что готов потратить, ВНИМАНИЕ, 2 ДОЛЛАРА на API ключ в DeepSeek.
АПИшка работает отлично, ответ быстрый, ошибок пока не было обнаружено.

А теперь как это работает?
Вопросы к LLM отсылаются, как обычный post запрос в API. Т.е. мы буквально отправляем АПИ ТОКЕН + строку с нашим вопросом. Также можно добавить туда промпт. Например "Отвечай, как будто ты менеджер по продажам. Вот наши продукты: ....."
И по-началу я в этот промпт закидывал огромную строку с описанием всех продуктов. Но это не масштабируется. Каждый раз отправлять огромный контекст не пойдет. Что если я хочу скормить весь роадмап? Тут она либо долго будет обрабатывать, либо вообще упадет по памяти. Везде есть лимиты.

И че делать?
Математика 5-ый класс. ВЕКТОРА. Мы берем всю нашу полезную информацию (базу знаний) и векторизуем (текст переводим в числа), загружая все в векторную базу данных. Че? Зачем?

Когда мы спрашиваем бота, он векторизует наш вопрос, идет в БД и ищет совпадения (мы же перевели строки в числа) и отбирает наиболее похожие. Например берет первые 3 варианта или 5. Это все можно настроить. В итоге в саму API летит ваш вопрос + несколько релевантных ответов, вместо всей кучи. В итоге ЛЛМка просто принимает этот текст и пересобирает в более читаемый и клевый вид. Да, там можно еще добавить, чтобы Трансформер собирал в конкретном стиле + добавить ограничения, на случай, если вопрос не связан с базой знаний.

Поняли, что ничего не поняли?
Подробнее о том, как это работает и как настраивается я расскажу в бусти Роадмаперы. А где ссылка?

Спросите ее у бота. Вообще порекомендую пообщаться с ним. Он вам расскажет и по буткемпам и ценам и по потокам.
@roadmappers_bot

Подписывайтесь и вместе поразгоняем, где можно использовать таких чат ботов!

Как сейчас залетать в IT?

Услышал историю на третьем потоке BootCamp о том, как человек получил оффер (Да, к нам на буткемп иногда приходят уже действующие ДЕшники)

Итак быстро рассказываю:
Человеку около 35 лет, никак не был связан с IT. Прям даже близко. Из обучения у него Skypro — Python Backend.

Поучился там и выложил какое-то пустое резюме, его тут же схватил Астон (это типа аутстафф, который перепродает вас на проекты других компаний). В целом об Астоне разные мнения и очень сильно разнятся. Но сейчас не об этом.

Примечание: В Астоне может быть договор, в случае которого, вы не можете уволиться раньше некоторого времени и придется выплачивать неустойку до 500к. У всех ли он или нет сейчас, не могу сказать. Но такие моменты встречались. Договор подписываете вы, поэтому будьте внимательны, если вас такие условия не устроят.

Человек 3 месяца у них учился. Да, у них есть бесплатная программа обучения. Если что я ее видел. Я БЫ ВАМ НЕ РЕКОМЕНДОВАЛ (Мнение чисто субъективное). Там очень много всего намешано просто в один котел и на все уровни знаний. Видимо, чтобы вы все это выучили и вас перепродали уже дальше, как сеньора. Зарплату при этом сеньорную никто естественно вам платить не будет. Ок, едем дальше.

После 3-ех месяцев обучения человеку начали искать проект. Но, как я понял, так и не нашли и в итоге он с 6-ю месяцами вышел на рынок. В резюме написал Астон и докрутил уже до 1 года. Учитывая, что сейчас 2025 год и вроде, как один год фильтруется HR, но человеку прям повезло и его позвали в одну крупную ритейл компанию. Название оставим за скобками.

Деньги
Выходит 150к + премия. Это позиция джуна. Испытательный срок человек прошел. Уже идет 4-5-ый месяц реальной работы.

Из плюсов — но одновременно и минусов — здесь используется современный стек: Airflow, S3, ClickHouse, Spark, Trino, dbt, Kafka. Он крутой, но при этом в команде по сути один дата-инженер и один дата-аналитик, а значительная часть системы написана на кастомном фреймворке.

Для старта карьеры это может быть слишком сложно: разобраться в архитектуре и внутренностях будет сложно, и это легко может привести к выгоранию. Поэтому, по моему мнению, на такой позиции стоит постараться выжать максимум: пройтись по каждому уголку фреймворка, сохранить себе какие-то наработки, но параллельно выходить на рынок и искать команду с сеньорами на борту.

Это нужно хотя бы для того, чтобы увидеть, как пишут код заряженные чуваки и чувихи. На первых этапах карьеры вообще нормально «попрыгать» по компаниям: это расширяет кругозор, прокачивает насмотренность и понимание разных подходов. Главное — не стремиться сразу в бигтех. Там часто медленные процессы и узкая специализация, из-за ты мало чему научишься и потом будет сложно продать свой опыт на собесах.. Либо нужно будет прокачивать опыт самому.. типа на нашем InfraSharing (@roadmappers_bot)

Когда ИИ заменит нас?

Есть точная дата: это 17 июля. Это мне в вотсапе сказала мамина подруга, у которой двоюродный брат работает в МЧС младшим помощником старшего дворника.

А если без шуток, то в четверг. Ладно, на самом деле, думаю, что заменит тех, кто ИИ вообще не пользуется. Рассказываю.

Нам нужно было написать доп функционал для телеграм бота для BootCamp (кстати записаться можно через @roadmappers_bot), чтобы тот запрашивал у пользователя GitHub и добавлял его в репозиторий буткемпа.

При этом надо, чтобы он отработал, как ссылку, так и просто никнейм. И там еще куча нюансов, типа нельзя удалить пользователя из репозитория, если он не принял приглашение и нужно делать листинг из приглашений и прочее прочее.

Короче. Я написал небольшое ТЗ для chatGPT. Попросил конкретно написать класс для подключения к API GitHub и несколько методов. При этом из примера кода, я отправил bash команды, которые заранее протестировал.

В итоге чат мне выдал неплохой код на 100 строчек. Уже со всеми валидациями, регулярками и статик методами. Короче, я реально сэкономил кучу времени на написание кода. Дальше надо было только поправить логирование и адаптировать выводы функций для телеграм бота.

Получилось быстрое кастомное решение с очень небольшим и конкретным функционалом. Мне не нужна целая библиотека. Мне достаточно сегодня 100 строчек для этого.

При этом подход чисто логический. Я написал конкретный функционал. А чат выдал решение с уже всеми проверками и краевыми случаями, типа проверки на существование пользователя или валидации данных.

Тоже самое я делаю, когда пишу код дл подключения к БД, для типовых трансформаций и так далее. Очень много кода чат пишет просто отлично. Смысла вручную что-то изобретать не вижу.

Даже например найти слово в коллекции. Можно искать в списке (это дольше), а можно в множестве. И если пишешь сам, то можешь написать по привычке список, так как set ну не часто видишь и используешь. А чат тебе дает иногда изящные подходы. Тут конечно сейчас набегут душнилы, которые пишут на ассемблере и с пеной у рта начнут говорить, ЧТО ТАК НЕЛЬЗЯ! Но я жду, когда уже их наконец заменит нейросетка.. будут на своих перфокартах где-нибудь на помойке писать код. И вообще эти программисты уже совсем в край офигели. Столько зарабатывать!

В общем и целом, написание кода ускоряется в разы, но и задачи становится больше и масштабнее. Как я уже говорил, вчера одно приложение писало 100 программистов. Сегодня его пишет 10 программистов, а завтра один программист будет писать 100 приложений.

Работы на самом деле может стать еще больше и нам всем придется адаптироваться. А те, кто будет тупить и тормозить, ну можно стать фермером. Кстати, если что, BootCamp по открытию своей фермы тоже будет. Первый поток на следующий день, когда ИИ заменит программистов.

Roadmappers | Studio

Сайт-помощник в изучении IT. Штука исключительно тестовая
https://roadmappers-studio.ru.tuna.am

Что умеет?
- Генерировать задачи
- Генерировать кейсы
- Карточки по теории

Что есть?
- 3 уровня сложности
- Самые ходовые языки программирования
- Самые популярные IT направления
- Кастомный запрос под свою тему

Под капотом LLM.
Раздел LiveCoding пока в разработке.

Пришла идея, реализовал. Если найдется какой-то отклик, можно будет замутить дальше. Если нет, может на уровне канала останется, как приколюха с LLM

Сам я на 2 недели в отпуск, поэтому ничего про ДЕ думать не буду