Ищу матёрого SRE (Infrastructure, DevOps) человека, чтобы он менторил меня в его штуках, а я его взамен менторил в вопросе управления собой и командой

Перешлите знакомым, плиз, если есть у вас такой

Накинули дизайн для PET PROJECT

Недавно в нашем сообществе Роадмаперы, на которое вы можете спокойно подписаться, мы сделали прикольную тему:

1. Берем резюме с нерелевантным опытом
2. Правим его под DE
3. Собираем онлайн в Miro систем дизайн пет проекта

Т.е. конкретно адаптируем прошлый опыт под архитектуру DE. Ее можно потом будет спокойно собрать самостоятельно или на нашем BootCamp.

Причем можно посмотреть, что довольно много заморочек в самом пет проекте. Т.е. мы вчера дошли вплоть до того, что выбирали, какой движок будет использоваться в Clickhouse в будущем. Т.е. помимо просто разгона, мы еще думаем о том, как бы мы об этом рассказывали на собесе.

Это очень помогает понять, для чего используется тот или иной инструмент. И где стоит использовать pandas, spark, а где можно обойтись и просто python.

Крайне рекомендую подписаться. Будем делать такие штуки еще.

Не сокращение, а оптимизация!

Тоже читаю новостные каналы и мне пересылают разные новости про IT рынок. Да и в чате постоянно вижу (кстати без привязки к году и времени года). О том, что рынок ВСЕ — было и в 2023 году. Я буквально читал те же сообщения, что и сейчас. Люди скидывали скрины с огромным кол-вом откликов и писали, что ВСЕ! АЙТИ ЗАКРЫТО! БОЛЬШЕ УЖЕ НИКУДА НЕ ВОЗЬМУТ!

Это, как говорить, что Российской экономике осталось 3 месяца. Мы все сильно преувеличиваем и драмматизируем. Я, кстати, тоже люблю так пострадать.. Поэтому не парьтесь. Главное, чтобы среди ваших знакомых были более хладнокровные люди, которые покажут, что все ок. Адаптируемся...

К чему я. Например рынок IT, как и всегда, плохой. Или ИИ наконец-то заменит всех айтишников. ЧТО ДЕЛАТЬ!? НА ЗАВОД!?
Всем рекомендую следующие варианты:

- Иметь фин подушку на 6 месяцев (лучше год)
- Работать по ТК РФ (вас труднее уволить) и всегда можно запросить 2-3 оклада
- Держаться в тонусе и иногда собеситься

Насчет замены ИИ. Это все еще просто экологичные отмазки, чтобы не говорить, что у компании идут не самые лучшие времена и надо сокращать штат. ЧатГПТ, агенты конечно крутая тема, но все еще тупорылая и не может смотреть в архитектурный контекст. Я бы очень хотел отдать тупую работу именно под ИИ, но его надо либо писать свой под компанию (безопасность же), либо научиться внедрять и возможно дообучать. Короче, ИИ шикарно экономит время на написание кода, но не выполняет задачу от А до Я.

Даже если ИИ заменит прогеров в июне 2026 года, то почему бы сейчас не выучиться на IT, вкатиться и до этого момента не заработать деньги? В чем проблема. Можете, конечно, сразу на завод устроиться, махнуть рукой: "Ааа, эт все мне не надо, все равно скоро заменят!" и получать свои копейки. Потом окажется, что новость была очередным бредом сумашедшего и ваши друзья так и продолжат собирать кэш, а вы будете сидеть без денег. Крутой план. Куй железо, пока горячо. Мы с вами действуем по обстоятельствам. Решаем проблемы по мере их поступления. Кому, как не нам знать о быстро меняющейся истории.

Резюме пишем строго под спрос рынка. Если сейчас требуется python, sql, S3, Spark, GP, CH — значит мы разбираемся в этих технологиях и пишем их в резюме. Говорить, где читать или учить я не буду.. И так в каждом посте об этом роадмапе. Возраст убираем, Город ставим Москва. А по опыту ставим ту цифру, на которую мы готовы взять ответственность по задачам. Либо вы адаптируетесь под рынок и условия. Например вы же адаптируетесь под высокую ставку ЦБ. Под цены, под утильсбор. А сейчас еще и НДС для ИП порог спустили. Готовьтесь. Скоро все цены полетят опять наверх. И ваша зарплата полетит также наверх? Или может её кто-то вам компенсирует? Кажется, что НИ ХУ ..

Ну значит и под это надо подстраиваться. Нет толку, что вы будете единственный такой — не такой. Вас система просто пережует и выкинет без денег. В целом можете просто на кухне или в приватных чатах повозмущаться, как это обычно мы все делаем. Но в жизни придется адаптироваться.

Если чувствуете, что скоро увольнение, значит выходим на рынок. Если загоняют в офис под любыми предлогами, выходим на рынок.
У всего, что есть начало, есть и конец, Нео.

Как я накосячил в ДАТАБЕЙЗ!

Короче дело простое. Приехал на работу в офис.. А это была то ли пятница, то ли еще чего, но на поработать не тянуло. Да еще и в офисе никто не о чем не разговаривал. Все будто уткнулись в свои экраны и кодили. Стояла тишина. Прям тихо. Я слышал, как дует ветер в Китае. Настолько тихо. Ладно, я прикалываюсь.

Вообщем, на тот момент у меня была задача запускать процессы на Spark. Я же все таки Дата Инженер. А запускаются они, используя базу PostgreSQL в качестве метаданных. Там у нас написаны были названия табличек, путь в s3, девичья фамилия бабушки тим лида и так далее. И поскольку я высококвалифицрованный специалист, то мне нужно было сразу на проде поправить парочку строчек. Там просто перенести из одной строчки значение в другую строчку. Как вы понимаете, делал я это не через UPDATE запрос, а прям в таблице. Че там делов то.. Еще запрос буду писать. Тут три секунды.

Да, в 99% я так уже делал и все прокатывало, но в тот день все было иначе. Толи пол кривой, толи температура воздуха выше нормы, короче я начал засыпать от этой рутинной задачи. А это еще было после обеда, а еще все молчат. Я начинаю плавно засыпать за компом. А руки все делают: cmd+C cmd+V (да я работаю на модном макбуке pro 100Тб золотой deluxe edition). И в итоге путаю вместо cmd+C я нажимаю cmd+A и потом cmd+V, и у меня вставляется одно значение вообще во все ячейки таблицы. Очень круто! Дата Дривен подход!

И че делать? Естественно, я сразу побежал к маме просить помощи. Потом пришел батя, а за ним старший брат, у которого черный пояс по карате и дал этому PostgreSQL по **. Но на самом деле нет.

Мне пришлось пойти к тим лиду и попросить позвонить моей маме, нет. Короче мы зашли на сервер и скачали часовой бекап. Ну, просто снимок данных за час назад. И просто заменили испорченный кусок данных.

В целом, я понял, что ходить в офис — это к беде. Что после обеда надо спать, а там уже и рабочий день закончится.

Ну ладно, вы держитесь здесь, вам всего доброго, хорошего настроения и здоровья!

А еще я напоминаю, что мы уже начали разворачивать InfraSharing для тех, кому хочется просто потыкать инструменты или погонять свои Пет проекты. Например вы Аналитик, ДЕ или просто все и так во всем разобрались сами, но неохота настраивать Пет проект.. поэтому все подробности тут и запись тоже!!

https://t.iss.one/halltape_data/700

Спасибо всем за голосование!

Я в восторге. Переобулся на зиму.

Не смотрел доклад, не разработчик!

Есть много конференций для разработчиков. Там по каждой конфе можно офигеть от кол-ва информации. И вот мы ходим, слушаем с умным видом, но как часто применяем эти решения?

Привожу пример. Смотрел доклад со смарт даты про Спарк. Там команда джимми нейтронов сделала ML модель, которая учится подбирать оптимальные параметры под Spark приложения. По-простому работает так:

1. Спарк запускается с каким-то средними значениями ресурсов.
2. Если джоба не падает, то уменьшаем еще раз, пока джоба не начнет падать. Это значит, что мы нашли идеальные настройки спарка для этих вычислений.

И таким образом, моделька учиться на запусках и подбирает самые оптимальные настройки. И там всякие метрики, дашборды можно показывать, что сократили кол-во затрат и ляля тополя. Бизнес в восторге.

Вот супер крутое решение. Только кол-во людей, кто реально это применит на практике — стремиться к нулю. Тогда зачем слушать этот доклад? (ЦКАТИНА, ТЫ ЧТО ХОЧЕШЬ ПОСПОРИТЬ? А?)

В большинстве команд, на мой взгляд, решение будет состоять из простого увеличения timeout или sla. Типа пусть работает дольше, главное, чтобы работало. И не надо писать никакие сложные модели, обучать их и так далее. У нас че, времени полно на это? А? Але, камон эврибади

А если вы работаете в компании, где очень долго можно получать доступы бигтехе, где нельзя в принципе внедрить сразу какую-то библиотеку, фреймворк или решение, то смысл теряется вовсе. Потому что надо сначала отправить заявку на создание заявки о наличии у вас некой мысли в голове, которая по метрикам должна увеличить.. господи, да остановись уже!

Кстати, если вы реально не знали, но в таких компаниях, ЛИЧНО Я получал доступы 2 месяца. И все это время, пока нет доступов, ты просто крутишь казик на стримах и лутаешь по 100к usd живешь жизнь в ожидании.

Вернемся к конференциям.
Для большинства — они никогда в жизни и не применят таких кейсов. БОльшая часть людей работает просто на работе без амбиций и у них нет задачи покорять этот мир крутыми решениями. Дайте им задачу и вовремя платите зарплату. Остальное не важно. В целом понимаю такой подход. Желательно еще и вообще не работать, а получать бабки на счет.

Лично я в свое время сильно упарывался по конфам. Знаю, что в питоне пустой словарь весит НЕ НОЛЬ! Для чего мне это знать? Не для чего. Можно среди друзей хвастаться, причем сразу после слов про двадцатые диски на бмв.

Единственный момент, когда я смотрю доклады с конференций — это когда ищу решение проблемы. Вот это реально круто. Т.е. мы решаем проблемы по мере их поступления. Просто так идти и искать контент на досуг, я больше не делаю...