Я – Дата Инженер
4.33K subscribers
343 photos
33 videos
12 files
242 links
💻 Как войти в IT?
💵 Как стать Data Engineer
🗄 Что такое Big Data и кто ей управляет?
_____________________________
Автор @halltape
Все вопросы по рекламе @k_shredinger
Download Telegram
Как сейчас залетать в IT?

Услышал историю на третьем потоке BootCamp о том, как человек получил оффер (Да, к нам на буткемп иногда приходят уже действующие ДЕшники)

Итак быстро рассказываю:
Человеку около 35 лет, никак не был связан с IT. Прям даже близко. Из обучения у него Skypro — Python Backend.

Поучился там и выложил какое-то пустое резюме, его тут же схватил Астон (это типа аутстафф, который перепродает вас на проекты других компаний). В целом об Астоне разные мнения и очень сильно разнятся. Но сейчас не об этом.

Примечание: В Астоне может быть договор, в случае которого, вы не можете уволиться раньше некоторого времени и придется выплачивать неустойку до 500к. У всех ли он или нет сейчас, не могу сказать. Но такие моменты встречались. Договор подписываете вы, поэтому будьте внимательны, если вас такие условия не устроят.

Человек 3 месяца у них учился. Да, у них есть бесплатная программа обучения. Если что я ее видел. Я БЫ ВАМ НЕ РЕКОМЕНДОВАЛ (Мнение чисто субъективное). Там очень много всего намешано просто в один котел и на все уровни знаний. Видимо, чтобы вы все это выучили и вас перепродали уже дальше, как сеньора. Зарплату при этом сеньорную никто естественно вам платить не будет. Ок, едем дальше.

После 3-ех месяцев обучения человеку начали искать проект. Но, как я понял, так и не нашли и в итоге он с 6-ю месяцами вышел на рынок. В резюме написал Астон и докрутил уже до 1 года. Учитывая, что сейчас 2025 год и вроде, как один год фильтруется HR, но человеку прям повезло и его позвали в одну крупную ритейл компанию. Название оставим за скобками.

Деньги
Выходит 150к + премия. Это позиция джуна. Испытательный срок человек прошел. Уже идет 4-5-ый месяц реальной работы.

Из плюсов — но одновременно и минусов — здесь используется современный стек: Airflow, S3, ClickHouse, Spark, Trino, dbt, Kafka. Он крутой, но при этом в команде по сути один дата-инженер и один дата-аналитик, а значительная часть системы написана на кастомном фреймворке.

Для старта карьеры это может быть слишком сложно: разобраться в архитектуре и внутренностях будет сложно, и это легко может привести к выгоранию. Поэтому, по моему мнению, на такой позиции стоит постараться выжать максимум: пройтись по каждому уголку фреймворка, сохранить себе какие-то наработки, но параллельно выходить на рынок и искать команду с сеньорами на борту.

Это нужно хотя бы для того, чтобы увидеть, как пишут код заряженные чуваки и чувихи. На первых этапах карьеры вообще нормально «попрыгать» по компаниям: это расширяет кругозор, прокачивает насмотренность и понимание разных подходов. Главное — не стремиться сразу в бигтех. Там часто медленные процессы и узкая специализация, из-за ты мало чему научишься и потом будет сложно продать свой опыт на собесах.. Либо нужно будет прокачивать опыт самому.. типа на нашем InfraSharing (@roadmappers_bot)
🔥18👍85😁1
Когда ИИ заменит нас?

Есть точная дата: это 17 июля. Это мне в вотсапе сказала мамина подруга, у которой двоюродный брат работает в МЧС младшим помощником старшего дворника.

А если без шуток, то в четверг. Ладно, на самом деле, думаю, что заменит тех, кто ИИ вообще не пользуется. Рассказываю.

Нам нужно было написать доп функционал для телеграм бота для BootCamp (кстати записаться можно через @roadmappers_bot), чтобы тот запрашивал у пользователя GitHub и добавлял его в репозиторий буткемпа.

При этом надо, чтобы он отработал, как ссылку, так и просто никнейм. И там еще куча нюансов, типа нельзя удалить пользователя из репозитория, если он не принял приглашение и нужно делать листинг из приглашений и прочее прочее.

Короче. Я написал небольшое ТЗ для chatGPT. Попросил конкретно написать класс для подключения к API GitHub и несколько методов. При этом из примера кода, я отправил bash команды, которые заранее протестировал.

В итоге чат мне выдал неплохой код на 100 строчек. Уже со всеми валидациями, регулярками и статик методами. Короче, я реально сэкономил кучу времени на написание кода. Дальше надо было только поправить логирование и адаптировать выводы функций для телеграм бота.

Получилось быстрое кастомное решение с очень небольшим и конкретным функционалом. Мне не нужна целая библиотека. Мне достаточно сегодня 100 строчек для этого.

При этом подход чисто логический. Я написал конкретный функционал. А чат выдал решение с уже всеми проверками и краевыми случаями, типа проверки на существование пользователя или валидации данных.

Тоже самое я делаю, когда пишу код дл подключения к БД, для типовых трансформаций и так далее. Очень много кода чат пишет просто отлично. Смысла вручную что-то изобретать не вижу.

Даже например найти слово в коллекции. Можно искать в списке (это дольше), а можно в множестве. И если пишешь сам, то можешь написать по привычке список, так как set ну не часто видишь и используешь. А чат тебе дает иногда изящные подходы. Тут конечно сейчас набегут душнилы, которые пишут на ассемблере и с пеной у рта начнут говорить, ЧТО ТАК НЕЛЬЗЯ! Но я жду, когда уже их наконец заменит нейросетка.. будут на своих перфокартах где-нибудь на помойке писать код. И вообще эти программисты уже совсем в край офигели. Столько зарабатывать!

В общем и целом, написание кода ускоряется в разы, но и задачи становится больше и масштабнее. Как я уже говорил, вчера одно приложение писало 100 программистов. Сегодня его пишет 10 программистов, а завтра один программист будет писать 100 приложений.

Работы на самом деле может стать еще больше и нам всем придется адаптироваться. А те, кто будет тупить и тормозить, ну можно стать фермером. Кстати, если что, BootCamp по открытию своей фермы тоже будет. Первый поток на следующий день, когда ИИ заменит программистов.
9🔥7👍6
LiveCoding от Roadmappers!

Ребят, сейчас крайне быстро и по делу.
Вчера ко мне пришла идея сделать генератор задач по всем языкам программирования.

Я быстро навайбкодил. Задачи генерирует под капотом LLM. Можно выбрать уровень сложности + дописать в поле дополнительные параметры, например "Оконные функции и CROSS JOIN" или "Декораторы, ООП, логирование"

Генератор выдает вам задачу, ее можно скопировать и запускать у себя в VSCode.

Зачем я это сделал?
У нас на BootCamp есть мок собесы и нам нужны задачи для этих собесов. Чтобы не брать старые и не повторяться, нужно сгенерить новые. На самом деле это НИЧЕМ НЕ ОТЛИЧАЕТСЯ ОТ ТОГО, чтобы просто у чата ГПТ попросить. Но чату надо все таки написать промпт, потом у него галюцинации пойдут, он уведет вас куда-то не туда.. А тут ОДНА КНОПКА — просто нажимаешь и все работает.

Выдает ли генератор сразу решение?
Сначала выдавал, но я убрал это. Изначально сервис как бы для себя писал, но что, если народ тоже захочет попользоваться и поучиться. Возможно решение выдавать по отдельной кнопке. Пока не знаю. Тут нужна ваша помощь.

Че хочу?
1. Хочу генератор пет проектов. Кидаю ему свою легенду, опыт, мысли. Пусть он мне собирает пет проект задачу.
2. У меня там есть LiveCode, где можно писать код, типа как в YandexCode (но пока нет подсветки синтаксиса...альфа версия ок?)
3. Карточки обучения. Как в дуолингво. Прочитали статью, потом еще одну, и уже забыли первую. А так возможно можно себя держать в тонусе по теории
4. Прожарка резюме (идея не нова, но можно попробовать)
5. ССЫЛКИ НА НАШИ РОАДМАПЫ И БУТКЕМПЫ И КУРСЫ (например вы порешали задачки, потом поняли, что надо подтягивать скилы и залетели на наши мощнейшие курсы и буткемпы)
6. Сделать какой-то простой запускатор кода (тут под вопросом. Но кажется могло бы быть прикольным)

Зачем, когда есть уже 10000000 решений?
Потому что у нас это выглядит стильно, как майбах и мы хотим продавать столько курсов и буткемпов, чтобы потом выкупить SpaceX Илона Маска и занять место на мировой арене компаний. Других причин ТУТ И НЕ МОЖЕТ БЫТЬ

Коротко, однако, получилось))

Короче , кому интересно, накидайте идей, плиз. У меня сильно творческая натура, я не могу не делать такие штуки. Предлагаю, использовать этот юношеский заряд энергии и вытягивать из меня максимум!
12🔥11👍7
Roadmappers | Studio

Сайт-помощник в изучении IT. Штука исключительно тестовая
https://roadmappers-studio.ru.tuna.am

Что умеет?
- Генерировать задачи
- Генерировать кейсы
- Карточки по теории

Что есть?
- 3 уровня сложности
- Самые ходовые языки программирования
- Самые популярные IT направления
- Кастомный запрос под свою тему

Под капотом LLM.
Раздел LiveCoding пока в разработке.

Пришла идея, реализовал. Если найдется какой-то отклик, можно будет замутить дальше. Если нет, может на уровне канала останется, как приколюха с LLM

Сам я на 2 недели в отпуск, поэтому ничего про ДЕ думать не буду
🔥22👍84
Друзья, вопрос!

Во-первых, давайте перечислим всех людей, кто мне завидует. Ладно, это шутка. Не обижайтесь. И по мне стреляли и я упал в лужу и лежал там…

У кого есть опыт работы вот в таких вот теплых местах?

Например вы сидите на балконе и работаете за компьютером? Или с таким климатом только бездельничать?

Я точно знаю, что какая-то часть людей либо переехали, либо уезжают на зимовку в теплый край. Причем необязательно на БАЛИ, ага ок, РЕАЛЬНО, остров меня принял, я дышу маткой. Возможно Сочи, например.

Интересно именно работа ДЕшников или аналитиков, где надо иногда реально сосредоточиться и прям вникать в код. Насколько теплая, жаркая погода на это влияет?

Кто где живет? Почему не хотите вернуться, цкатины в офис? Вместе со всеми ездить в метро на работу в 8 утра? А? Запретить улыбаться!

Я сейчас в отпуске, комп не брал. Но очень интересно, насколько это ок?

И я не про переезд навсегда. А например про зимовку. Ну или на год, два. Никакой политики, исключительно про отсутствие холода и наличии огромного кол-ва зеленого цвета в листьях.
14🔥11👏4😁3
Плоти Налоги!

Пишет мне рекрутер. Сколько хотите зарабатывать?
Я: 350к на руки!

HR: ок, а сколько в гросс?

Я: Ну сами посчитайте, я не знаю.

HR: Але, дядя, включи мозг, ЦКАТИНА! Прогрессивная шкала налогов

Я: Ой, я забыл, у меня лапки, мне надо посчитать.


НДС, утильсбор, прогрессивная шкала налогов. Тех людей, у которых не было денег это коснется косвенно. Как говорится, продукты марки «каждый день» как покупали, так и покупают. А вот если вы уже богач, то скоро опять станете бедным. Недолго песенка играла. Это все мои эмоции.

Для тех, кто до сих пор не понимает, о чем речь. У нас теперь прогрессивная шкала налогов. Чем больше зарабатываешь, тем больший процент налогов платишь государству. Вот источник

Пока что я впервые встретился с таким вопросом по налогам. HR мне объяснил, что надо глянуть в НДФЛ и посмотреть процент налога. И от него уже считать ГРОСС (Гросс — значит до вычета налогов). Безусловно, для вас ничего не поменяется. Налог платит за вас работодатель, поэтому ему надо знать сколько вы уже заработали за этот год.

Как сказано на сайте ФНС, налог сверху накидывается постепенно, а не сразу. Т.е. если у вас зарплата 500к, но вы в этом году еще нифига не работали, то для вас будет считаться пока 13 процентов. И как только вы перепрыгните 2.5млн дохода, тогда и будет повышение.

Кстати, если у вас параллельно открыто ИП или СЗ, то доход с них не распространяется на трудовой доход по ТК РФ. Поэтому выдохните. Хотя бы тут ок.

И сколько компаниям теперь за нас платить?

Ставка 15% — для части годового дохода выше 2,4 млн руб. и до 5 млн руб. включительно (в среднем выше 200 тыс. руб. и до 416,7 тыс. руб. включительно в месяц).

Ставка 18% — для части годового дохода выше 5 млн руб. и до 20 млн руб. включительно (в среднем выше 416,7 тыс. руб. и до 1,670 тыс. руб. включительно в месяц).

Ставка 20% — для части годового дохода выше 20 млн руб. и до 50 млн руб. включительно (в среднем выше 1,670 тыс. руб. и до 4,170 тыс. руб. включительно в месяц).

Ставка 22% — для части дохода выше 50 млн руб. в год, или выше 4,170 тыс. руб. в месяц.

У кого есть какие мысли на этот счет?
👍7😱64🔥2😁1
Когда поток BootCamp?

🔴 Ребят, мы на этой неделе (ПЯТНИЦА 19 ДЕКАБРЯ 20:00 МСК) проведем стрим по BootCamp. Расскажем, как ведутся потоки, что нового, покажем весь процесс внутри и возможно даже уговорим одного из буткемповцев поделиться мнением!

Как записаться на ближайший поток?

Сразу скажу, что на 4-ый поток (Январь-Февраль) у нас записано много людей и, вероятнее всего, не все поместятся, но попытать удачу все равно стоит! Кто-то откажется или заболеет и прочее.

Записаться можно через ➡️ @roadmappers_bot

Как оплатить, если я записан(а)?
Мы сами свяжемся с вами, кто записан в ЯндексФорме и дадим ссылку на оплату.

Также мы подключили оплату в Банке, поэтому теперь доступно два вида:
1. по СБП (Система Быстрых Платежей)
2. Долями (это типа рассрочка-кредит)

Сервис Долями мы подключили потому, что некоторым людям было бы удобнее платить частями.

Если у меня зарубежная карта?
В этих случаях лучше писать нам в лс
@halltape @ShustDE

Есть ли обновления в BootCamp?
Да! Мы добавили распределенный Greenplum и dbt. Теперь это стало еще ближе к работе. Мы уже буквально без пяти минут аутсорс и можем хантить вас к себе на работу) Кто знает, кто знает...

Также у нас добавлен Confluence и Metabase. Вся документация по буткемпу, подключениям описано в конфе. А Metabase нужен для тех, кому мало просто витрины и хочется БОЛЬШЕГО!

Более того, у нас постоянно дополняются разные учебные материалы, поэтому всем новым потокам это также будет доступно. Инфы просто куча уже по всем направлениям и она вся практическая!

🔴 Общий стрим по BootCamp
ПЯТНИЦА 19 ДЕКАБРЯ 20:00 МСК
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍87
This media is not supported in your browser
VIEW IN TELEGRAM
🔴 Завтра 19 декабря 20:00 МСК СТРИМ!

Стрим будет в Yandex Телемост

➡️ ссылка на стрим

О чем стрим?
Расскажем про BootCamp! Стартует уже 4 поток!
Покажем, как у нас все устроено, инструменты, пайплайны, а также ответим на вопросы.

Ребят, у нас уже много заявок на Буткемп Январь, но рекомендую все равно записаться в @roadmappers_bot, если еще не записались.
Может повести и мы возьмем и вас!

Запись стрима будет
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15😁75👍4
This media is not supported in your browser
VIEW IN TELEGRAM
🔴 20:00 МСК СТРИМ!

Стрим будет в Yandex Телемост

ссылка на стрим

Заходим! Рассказываем и показываем про наш BootCamp
Please open Telegram to view this post
VIEW IN TELEGRAM
😁14🔥82👍2
Запись стрима уже на Youtube!

Всем спасибо, кто был на стриме!

➡️ YOUTUBE

Наш чат для общение и там же можете задать вопрос
Please open Telegram to view this post
VIEW IN TELEGRAM
👍74🔥2
XLTable - OLAP Cервер для нового стека данных
Работайте с ClickHouse, BigQuery, Snowflake из сводной таблицы Excel.

Предоставьте пользователям возможность самостоятельно работать с данными, с помощью знакомого инструмента.

📈Ключевые возможности XLTable:
• Аналог MS OLAP (SSAS) для больших данных
• Интеграция с MS Excel по протоколу XMLA
• Поддержка ClickHouse, BigQuery, Snowflake
• Скоро: YDB, Greenplum
• Множество групп мер, иерархий и измерений в одном кубе
• Гибкие настройки кэширования
• Развёртывание внутри вашей инфраструктуры или в облаке

🔒Безопасность:
• Интеграция с LDAP
• Разграничение доступа на уровне мер, измерений и их членов

⚙️Производительность:
• Безлимитное количество мер и измерений
• Работа из Excel c миллиардами строк данных
• Все расчеты производятся на уровне ClickHouse
• Отличные возможности для масштабирования

Хочешь получить бесплатную пробную версию на 30 дней?

👉🏻Напиши «OLAP» - покажем демо и поможем с настройкой

Контакт: https://t.iss.one/vorobiova_anastasia
Сайт с информацией о продукте: https://xltable.com/
🔥118😁2👍1👏1
Ребят, кто еще думает про то, залетать в BootCamp или нет.

Вот @roadmappers_bot

Он на кнопках. Выбираете продукт, оплачиваете и сразу попадает в чат. Доступы будут в период проведения потока. Бот вам все скажет.

Можно по СБП, можно Долями оплатить

До 5 января скидка на все потоки(январский и мартовский). 55к стоит за два месяца.

Дальше будет повышение цены после 5 января.


P.s. для тех, у кого иностранные карты, пишите мне в лс @halltape.
5👏5🔥3
Офер в марте-апреле!

Давайте прикинем. Пройти курс по python и SQL месяца за 2-3. Это плавно, не спеша, спокойно, без фанатизма. Дальше заходим в BootCamp на 2 месяца и по окончанию выходим на рынок. Еще 2-3 месяца даем себе на собеседования.

В итоге например начали учиться в ноябре 2025 и уже в апреле выходим на работу! Какие еще отговорки человек может придумать, кроме ВТОРЖЕНИЯ ИНОПЛАНЕТЯН.

На самом деле есть еще одна отговорка — это то, что осталось 5 мест на Январский BootCamp! Год еще на закончился, а мы уже почти набрали поток. Так вот, я вам рекомендую поспешить, потому что 5 января стоимость автоматически вырастет до 75к! Кстати вместе со стоимостью увеличится и набор инструментов. Мы добавили кластерный Greenplum! +1 инструмент для DE теперь доступен в BootCamp.

И если вы не успеете попасть на этот поток, то ваш выход на работу смещается автоматически еще дальше. В BootCamp мы вас будем пинать, чтобы вы быстрее выкатывали свои резюме на рынок и шли собеседоваться.

Оплатить можно, почти любым способом:
1. по СБП
2. Долями
3. С иностранной карты (но стоимость будет выше)

Где оплатить?
🔴 @roadmappers_bot
После оплаты бот сразу выдаст приглашение в чат!

Когда начнется Январский поток?
12 января

А можно ли на Мартовский поток?
Да! Кстати у нас там 10 человек уже оплатило, поэтому сильно не затягивайте. А то пропустите и его.

А где узнать больше?
Видео про BootCamp
YOUTUBE

Наш чат для общение и там же можете задать вопрос
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥106👍4😁3
Как я написал свой AI?

Я не знал, как правильно назвать заголовок для поста, потому что, написав LLM + RAG вызвало бы много вопросов. А че это? А?

Короче, я захотел написать бота, который помогал бы нам отвечать на вопросы людей по поводу bootcamp, роадмаперс, ценах, расписаниях и так далее. И, как вы понимаете, бот должен держать контекст у себя в голове + отвечать, как человек.

➡️ Кстати о том, как он работает я буду рассказывать и показывать у нас в Роадмаперах! (Скидка 30% до 15 января)

А зачем и почему?
Потому что мы заколебались отвечать на одни и те же вопросы по 100 000 раз. Это реально тяжело. Вас много, мы одни.

И что ты придумал?
Все очень просто. Берем python, дальше добавляем подключение к API DeepSeek и все это оборачиваем в aiogram (библиотека для телеграм).

Но тут сразу вопрос: ОКЭЙ, ЭТО ПРОСТО ЧАТ ГПТ, В ЧЕМ РАЗНИЦА?

Фишка в том, что если вы хотите, чтобы бот выдавал вам только конкретную информацию о вашем магазине, компании, личном расписании на бальные танцы или документации, то НАДО ВАШУ ЛЛМ ОГРАНИЧИТЬ!

Т.е. написать такой текст в промпт, чтобы нейронка отдавала в конкретном стиле и очень конкретную инфу. Это можно сделать при передаче промпта в API по умолчанию. Ну т.е. например вы отправили сообщение в телеграм бота, а вместе с ним внутри в бекенде отправляется заготовленный промпт со всей информацией. И ЛЛМка просто перестраивает вам текст из полученных данных.

И в чем сложность?
Если боту каждый раз отправлять огромный кусок информации, то он в один момент перестанет это тянуть + могут начаться галюцинации + он будет тормозить. Короче говоря, каждый раз отправлять Войну и Мир не выйдет, а хотелось бы, чтобы он ее знал.

Как это решается?
Если кто не понял, то в Роадмаперах! (Скидка 30% до 15 января) я прям покажу код. Он открыт и научу каждого собирать себе помощника.
В кратце, нам нужен json или файл markdown, в котором будет вся информация. Я кстати загружал даже целый Roadmap. Потом эту информацию надо векторизовать и сложить в векторную БД. И уже из нее искать похожие на вопрос кусочки и отправлять в LLM.

Кто не понял, я еще раз повторю, я лично покажу, как это включать, запускать и так далее в Роадмаперах

🍟 Роадмаперах! (Скидка 30% до 15 января)
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥7👍5