Немного девоповской базы: IaC 👨💻
Когда-то давно (когда я начинал работать в IT), инфраструктура была чем-то вроде искусства. Если сервер упал, ты звонишь "тому парню", который знает магические заклинания для его поднятия. Сейчас же, благодаря Infrastructure as Code (IaC), всё стало куда более цивильным. Но не обманывай себя: даже в 2025 году многие компании всё ещё топчутся на месте, не понимая, как выжать максимум из этой технологии.
Что такое IaC
IaC — это не просто автоматизация. Это способ управлять инфраструктурой так же, как ты управляешь кодом. Вместо того чтобы вручную крутить настройки, ты пишешь конфигурационные файлы, которые потом волшебным образом превращаются в работающие сервера, базы данных и сети. Это удобно, это эффективно, и это спасает от бессонных ночей.
Но вот в чём подвох: большинство компаний использует IaC, как дорогой тостер, чтобы жарить хлеб. Да, они пишут Terraform-скрипты, но при этом половина их облачной инфраструктуры всё ещё "живет своей жизнью". Никакой магии, только хаос. Я лично был тем самым человеком который пытался прод "отзеркалить" через конфиги - та еще задача.
Почему это всё ещё сложно? 😓
Во-первых, мультиоблачные среды. В 2024 году 80% компаний использовали несколько облаков, и это звучит круто, пока ты не осознаешь, что управлять ими — это как пытаться одновременно дрессировать кошек и собак. Во-вторых, безопасность. Все говорят про безопасность, но как только доходит до IaC, она оказывается где-то на втором плане. Ну и, конечно, старое доброе "а давай просто напишем это вручную, быстрее же будет". Если у кого-то где-то горит, то ты быстрее хочешь залатать в админке GCP чем возиться с конфигом.
И, как вишенка на этом торте, даже такие гиганты как Terraform начинают терять позиции. Появляются OpenTofu и Pulumi, которые обещают сделать всё проще, но в итоге добавляют ещё больше выбора, а значит, и больше головной боли.
Как внедрить IaC у себя (и не сойти с ума)
1. Выбери инструмент: Terraform, Pulumi, OpenTofu — выбирай, что ближе по душе. Главное — начни с чего-то одного.
2. Начни с простого: не пытайся сразу автоматизировать всю инфраструктуру. Выбери один проект или сервис.
3. Обучи команду: без этого всё развалится. Если кто-то не понимает, как работает IaC, он станет слабым звеном. Это как Scrum (или как его назвали в Avito: Scrum, but ...), где вы вроде по манифесту, но на практике пропускаете пару скрам элементов что приводит к полной неработоспособности всего фреймворка.
4. Внедри CI/CD для IaC: автоматизация не должна быть ручной. Настрой пайплайны, чтобы проверять и применять изменения.
5. Следи за дрейфом: инфраструктура имеет свойство "уползать" от того, что ты написал в коде. Используй инструменты для мониторинга.
Кароче, если ты ещё не начал использовать IaC, самое время. А если начал, но не видишь результатов, может, стоит пересмотреть подход? В конце концов, лучше поздно, чем никогда.
Когда-то давно (когда я начинал работать в IT), инфраструктура была чем-то вроде искусства. Если сервер упал, ты звонишь "тому парню", который знает магические заклинания для его поднятия. Сейчас же, благодаря Infrastructure as Code (IaC), всё стало куда более цивильным. Но не обманывай себя: даже в 2025 году многие компании всё ещё топчутся на месте, не понимая, как выжать максимум из этой технологии.
Что такое IaC
IaC — это не просто автоматизация. Это способ управлять инфраструктурой так же, как ты управляешь кодом. Вместо того чтобы вручную крутить настройки, ты пишешь конфигурационные файлы, которые потом волшебным образом превращаются в работающие сервера, базы данных и сети. Это удобно, это эффективно, и это спасает от бессонных ночей.
Но вот в чём подвох: большинство компаний использует IaC, как дорогой тостер, чтобы жарить хлеб. Да, они пишут Terraform-скрипты, но при этом половина их облачной инфраструктуры всё ещё "живет своей жизнью". Никакой магии, только хаос. Я лично был тем самым человеком который пытался прод "отзеркалить" через конфиги - та еще задача.
Почему это всё ещё сложно? 😓
Во-первых, мультиоблачные среды. В 2024 году 80% компаний использовали несколько облаков, и это звучит круто, пока ты не осознаешь, что управлять ими — это как пытаться одновременно дрессировать кошек и собак. Во-вторых, безопасность. Все говорят про безопасность, но как только доходит до IaC, она оказывается где-то на втором плане. Ну и, конечно, старое доброе "а давай просто напишем это вручную, быстрее же будет". Если у кого-то где-то горит, то ты быстрее хочешь залатать в админке GCP чем возиться с конфигом.
И, как вишенка на этом торте, даже такие гиганты как Terraform начинают терять позиции. Появляются OpenTofu и Pulumi, которые обещают сделать всё проще, но в итоге добавляют ещё больше выбора, а значит, и больше головной боли.
Как внедрить IaC у себя (и не сойти с ума)
1. Выбери инструмент: Terraform, Pulumi, OpenTofu — выбирай, что ближе по душе. Главное — начни с чего-то одного.
2. Начни с простого: не пытайся сразу автоматизировать всю инфраструктуру. Выбери один проект или сервис.
3. Обучи команду: без этого всё развалится. Если кто-то не понимает, как работает IaC, он станет слабым звеном. Это как Scrum (или как его назвали в Avito: Scrum, but ...), где вы вроде по манифесту, но на практике пропускаете пару скрам элементов что приводит к полной неработоспособности всего фреймворка.
4. Внедри CI/CD для IaC: автоматизация не должна быть ручной. Настрой пайплайны, чтобы проверять и применять изменения.
5. Следи за дрейфом: инфраструктура имеет свойство "уползать" от того, что ты написал в коде. Используй инструменты для мониторинга.
Кароче, если ты ещё не начал использовать IaC, самое время. А если начал, но не видишь результатов, может, стоит пересмотреть подход? В конце концов, лучше поздно, чем никогда.
👍3
PearsonVUE срань говна или как я стресанул не на шутку 💩
Хотел бы поделиться своим опытом с PearsonVUE.
Сегодня у меня был запланирован экзамен AI-900 на 11 часов утра. Я начал подготовку системы примерно в 10:20 на своем рабочем ноутбуке, и он прошел все проверки, а затем, после того как я подтвердил свою личность и рабочее место, появился чат с проктором. Они сказали, что всё в порядке, и запустили экзамен. Как только экзамен был запущен, мой компьютер завис, и никакое управление macOS не было доступно (табуляция, Forcw Quit, App Control). Он полностью завис.
Хорошо. Я перезагрузил компьютер, прошел тот же путь, и в тот момент, когда система начала проверять мое интернет-соединение, она показала ошибку: "The streaming connection requires that Wowza.com can be reached as well as a stable connection of at least 1mb upload and download speeds". Затем система явно сказала (у меня просто нет сообщения об ошибке), что я должен обратиться к системному администратору, чтобы разрешить соединения *443, *8080 с их веб-сайтом и отключить все антивирусные решения. Ну, абсурдность этой ситуации была уже высока, потому что... я не могу отключить никакие функции MDE на enrolled device. Ok.
Тогда я решил использовать другой ноутбук, который у меня есть и на котором на данный момент не установлено никакого ПО или антивируса. Я снова прошел регистрацию и начал общаться с проктором, объяснив всю ситуацию. Он продолжал говорить, что всё в порядке, и он всё исправит. Как только он запустил экзамен, система немедленно зависла, но, к счастью, у меня был проктор в голосовом чате. Мой другой компьютер снова завис. Я попросил его позвонить мне на мобильный телефон, но... нельзя использовать мобильные телефоны на экзамене!
Затем система пыталась запустить мой экзамен снова и зависла, а потом через 10 минут разморозилась и сообщила, что они не смогли запустить экзамен (несмотря на то, что все предварительные проверки были зелеными). Проктор сказал, что этот экзамен будет отменен, и я могу запланировать другой экзамен. Я сказал ему, что это не имеет смысла, потому что я увижу ту же проблему в следующий раз. Он сказал, что не может помочь, и отключился.
Время, которое прошло от начала подготовки до отключения проктора: 2 часа. Уровень стресса, который показало мое кольцо Oura, был выше крыши. Это не первый раз, когда я сталкиваюсь с проблемами PearsonVUE. Просто кошмар.
Спасибо за чтение...
Хотел бы поделиться своим опытом с PearsonVUE.
Сегодня у меня был запланирован экзамен AI-900 на 11 часов утра. Я начал подготовку системы примерно в 10:20 на своем рабочем ноутбуке, и он прошел все проверки, а затем, после того как я подтвердил свою личность и рабочее место, появился чат с проктором. Они сказали, что всё в порядке, и запустили экзамен. Как только экзамен был запущен, мой компьютер завис, и никакое управление macOS не было доступно (табуляция, Forcw Quit, App Control). Он полностью завис.
Хорошо. Я перезагрузил компьютер, прошел тот же путь, и в тот момент, когда система начала проверять мое интернет-соединение, она показала ошибку: "The streaming connection requires that Wowza.com can be reached as well as a stable connection of at least 1mb upload and download speeds". Затем система явно сказала (у меня просто нет сообщения об ошибке), что я должен обратиться к системному администратору, чтобы разрешить соединения *443, *8080 с их веб-сайтом и отключить все антивирусные решения. Ну, абсурдность этой ситуации была уже высока, потому что... я не могу отключить никакие функции MDE на enrolled device. Ok.
Тогда я решил использовать другой ноутбук, который у меня есть и на котором на данный момент не установлено никакого ПО или антивируса. Я снова прошел регистрацию и начал общаться с проктором, объяснив всю ситуацию. Он продолжал говорить, что всё в порядке, и он всё исправит. Как только он запустил экзамен, система немедленно зависла, но, к счастью, у меня был проктор в голосовом чате. Мой другой компьютер снова завис. Я попросил его позвонить мне на мобильный телефон, но... нельзя использовать мобильные телефоны на экзамене!
Затем система пыталась запустить мой экзамен снова и зависла, а потом через 10 минут разморозилась и сообщила, что они не смогли запустить экзамен (несмотря на то, что все предварительные проверки были зелеными). Проктор сказал, что этот экзамен будет отменен, и я могу запланировать другой экзамен. Я сказал ему, что это не имеет смысла, потому что я увижу ту же проблему в следующий раз. Он сказал, что не может помочь, и отключился.
Время, которое прошло от начала подготовки до отключения проктора: 2 часа. Уровень стресса, который показало мое кольцо Oura, был выше крыши. Это не первый раз, когда я сталкиваюсь с проблемами PearsonVUE. Просто кошмар.
Спасибо за чтение...
👍3🌚1
LangChain Hub: Открыл классный хаб для работы с LLM 🐝
Вяло читаю книгу про RAG [Unlocking Data with Generative AI and RAG: Enhance generative AI systems by integrating internal data with large language models using RAG] наткнулся на очень прикольную тулу - LangChain Hub. Поделюсь своими впечатлениями об этом инструменте, который нормально упростил мою работу с языковыми моделями. Завариваем чай, погружаемся в мир LLM-приложений и читаем про новую (ну, для меня) платформу.
Что такое LangChain Hub?
LangChain Hub – это централизованная платформа для хранения, совместного использования и версионирования компонентов LangChain. Проще говоря, это репозиторий готовых решений для создания приложений на основе языковых моделей. Зачем все это? Ну например, разработчики могут обмениваться промптами, цепочками и другими компонентами.
Представь, что у тебя есть библиотека готовых решений, которые можно легко интегрировать в свои проекты – именно это и предлагает LangChain Hub.
Популярные юзкейсы📝
Возможности LangChain Hub очень недурные:
1. Управление промптами: хранение, версионирование и легкое повторное использование промптов. Идеально для команды.
2. Готовые цепочки: доступ к проверенным цепочкам обработки информации, которые решают конкретные задачи – от извлечения информации до генерации контента.
3. Инструменты для агентов: различные инструменты, которые расширяют возможности LLM-агентов (поиск, математические вычисления, API-интеграции).
4. Системы RAG: готовые компоненты для создания систем Retrieval Augmented Generation.
5. Оценка и бенчмаркинг: инструменты для сравнения эффективности различных моделей и подходов.
Что я лично использую 👨💻
Признаюсь, пока я только начинаю осваивать потенциал LangChain Hub, и больше всего меня зацепили Agents – это такие компоненты, которые могут самостоятельно решать задачи, выбирая нужные инструменты.
Агенты в LangChain Hub – это как мини-ассистенты, специализирующиеся на конкретных задачах. Они могут:
- Собирать и анализировать информацию
- Автоматизировать рутинные процессы
- Взаимодействовать с внешними API
- Принимать решения на основе контекста
Пока что System Prompt Generator – мой фаворит.
Из всех инструментов особенно полюбился ohkgi/superb_system_instruction_prompt. Это отличный инструмент, который помогает создавать эффективные системные промпты для различных LLM. Ты знаешь, что качественный системный промпт – это основа эффективной работы с AI. Он задает тон, стиль, ограничения и возможности модели. System Prompt Generator помогает:
1. Структурировать инструкции: создавать четкие, непротиворечивые указания для модели
2. Оптимизировать контекст: формулировать промпты так, чтобы модель получала именно ту информацию, которая нужна
3. Настраивать поведение: точно определять, как модель должна взаимодействовать с пользователем
4. Снижать галлюцинации: минимизировать вероятность генерации недостоверной информации
Этот инструмент существенно сократил время на разработку и тестирование промптов, помогая найти оптимальные формулировки. superb_system_instruction_prompt это один из нескольких крутых промт инжениринг агентов, их там много - можно поискать и другие.
Интеграция с Azure OpenAI 🤖
Огромный плюс LangChain Hub – возможность использовать свой Azure OpenAI API ключ. Для тех у кого он есть и кто не знает куда его засунуть - это самое оно.
Подытожим
Если ты только начинаешь свой путь в мире LLM, рекомендую начать с изучения агентов и System Prompt Generator – эти инструменты дают быстрые результаты и помогают лучше понять, как эффективно взаимодействовать с языковыми моделями.
#LangChain #LLM #AITools #PromptEngineering #AzureOpenAI
Вяло читаю книгу про RAG [Unlocking Data with Generative AI and RAG: Enhance generative AI systems by integrating internal data with large language models using RAG] наткнулся на очень прикольную тулу - LangChain Hub. Поделюсь своими впечатлениями об этом инструменте, который нормально упростил мою работу с языковыми моделями. Завариваем чай, погружаемся в мир LLM-приложений и читаем про новую (ну, для меня) платформу.
Что такое LangChain Hub?
LangChain Hub – это централизованная платформа для хранения, совместного использования и версионирования компонентов LangChain. Проще говоря, это репозиторий готовых решений для создания приложений на основе языковых моделей. Зачем все это? Ну например, разработчики могут обмениваться промптами, цепочками и другими компонентами.
Представь, что у тебя есть библиотека готовых решений, которые можно легко интегрировать в свои проекты – именно это и предлагает LangChain Hub.
Популярные юзкейсы📝
Возможности LangChain Hub очень недурные:
1. Управление промптами: хранение, версионирование и легкое повторное использование промптов. Идеально для команды.
2. Готовые цепочки: доступ к проверенным цепочкам обработки информации, которые решают конкретные задачи – от извлечения информации до генерации контента.
3. Инструменты для агентов: различные инструменты, которые расширяют возможности LLM-агентов (поиск, математические вычисления, API-интеграции).
4. Системы RAG: готовые компоненты для создания систем Retrieval Augmented Generation.
5. Оценка и бенчмаркинг: инструменты для сравнения эффективности различных моделей и подходов.
Что я лично использую 👨💻
Признаюсь, пока я только начинаю осваивать потенциал LangChain Hub, и больше всего меня зацепили Agents – это такие компоненты, которые могут самостоятельно решать задачи, выбирая нужные инструменты.
Агенты в LangChain Hub – это как мини-ассистенты, специализирующиеся на конкретных задачах. Они могут:
- Собирать и анализировать информацию
- Автоматизировать рутинные процессы
- Взаимодействовать с внешними API
- Принимать решения на основе контекста
Пока что System Prompt Generator – мой фаворит.
Из всех инструментов особенно полюбился ohkgi/superb_system_instruction_prompt. Это отличный инструмент, который помогает создавать эффективные системные промпты для различных LLM. Ты знаешь, что качественный системный промпт – это основа эффективной работы с AI. Он задает тон, стиль, ограничения и возможности модели. System Prompt Generator помогает:
1. Структурировать инструкции: создавать четкие, непротиворечивые указания для модели
2. Оптимизировать контекст: формулировать промпты так, чтобы модель получала именно ту информацию, которая нужна
3. Настраивать поведение: точно определять, как модель должна взаимодействовать с пользователем
4. Снижать галлюцинации: минимизировать вероятность генерации недостоверной информации
Этот инструмент существенно сократил время на разработку и тестирование промптов, помогая найти оптимальные формулировки. superb_system_instruction_prompt это один из нескольких крутых промт инжениринг агентов, их там много - можно поискать и другие.
Интеграция с Azure OpenAI 🤖
Огромный плюс LangChain Hub – возможность использовать свой Azure OpenAI API ключ. Для тех у кого он есть и кто не знает куда его засунуть - это самое оно.
Подытожим
Если ты только начинаешь свой путь в мире LLM, рекомендую начать с изучения агентов и System Prompt Generator – эти инструменты дают быстрые результаты и помогают лучше понять, как эффективно взаимодействовать с языковыми моделями.
#LangChain #LLM #AITools #PromptEngineering #AzureOpenAI
Packt
Unlocking Data with Generative AI and RAG | Data | eBook
Enhance generative AI systems by integrating internal data with large language models using RAG. 2 customer reviews. Instant delivery. Top rated Data products.
👍3
AI и Factorio, кмк созданы друг для друга
Я прошел Factorio в свое время, и когда я прочитал что туда принесли АИ чтобы они ее прошли https://the-decoder.com/factorio-joins-growing-list-of-video-games-doubling-as-ai-benchmarking-tools/ это для меня выглядило очень натурально. По сути, Factorio — это не просто игра, где ты превращаешь планету в промышленный кошмар, а ещё и тестовая площадка для искусственного интеллекта. На ютубе люди сидят проходят факторио с экселями и макросами чтобы все расчитать. Теперь агенты учатся планировать, строить и оптимизировать производство, играя в ту же самую игру, которая заставляла тех чуваков с ютуба пересчитывать конвейеры в три часа ночи.
Всё началось с того, что исследователи решили использовать Factorio как инструмент для оценки возможностей языковых моделей. Игра со своей сложной системой ресурсов и бесконечными вариациями фабрик оказалась идеальной для проверки того, насколько хорошо АИ может планировать, решать задачи и управлять ограниченными ресурсами. Но, как оказалось, даже самые продвинутые модели, типа Claude 3.5 Sonnet и GPT-4o, не так уж и умело справляются с задачами, которые для нас, простых смертных, иногда кажутся "чисто по фану".
Factorio Learning Environment — это специальная среда, где машины учатся строить фабрики. Есть два режима: "Lab-Play" с чёткими задачами и ограниченными ресурсами (например, построить завод из двух машин) и "Open Play", где задача проста — построить самый большой завод. Всё взаимодействие происходит через Python API, так что AI буквально пишет код, чтобы строить, соединять компоненты и следить за производственным процессом. Ну, или пытается это сделать, пока не запутается в своих же алгоритмах.
Ирония в том, что машины, которые мы учим строить заводы, часто сами нуждаются в "дебаге". Пространственное мышление, долгосрочное планирование и исправление ошибок — это там, где AI всё ещё спотыкается. Например, вместо того чтобы аккуратно расположить машины, чтобы минимизировать расстояния между ними, AI иногда создаёт такие "художественные" схемы, хотя вообще непонятно зачем. А ещё они обожают зацикливаться на мелочах, забывая о глобальной картине. Знакомо, правда?
Но не всё так плохо. Claude 3.5 Sonnet показал лучшие результаты, решив 15 из 24 задач в "Lab-Play" и набрав 2456 очков в "Open Play". Для сравнения, GPT-4o отстал на добрую тысячу очков. Однако даже у победителя остались проблемы: например, с переходом на более сложные технологии или оптимизацией ресурсов.
Если ты хочешь прикинуться роботом, можешь сам заглянуть в Factorio и попытаться построить идеальную фабрику. А если ты ещё и программист, то API Factorio Learning Environment — это способ поэкспериментировать с кодом и посмотреть, как AI справляется с твоими задачами.
В итоге, Factorio — это не просто игра, а целый мир, где пересекаются развлечения и наука. Наверное, скоро на серверах, кожанные будут соперничать с AI ...
Я прошел Factorio в свое время, и когда я прочитал что туда принесли АИ чтобы они ее прошли https://the-decoder.com/factorio-joins-growing-list-of-video-games-doubling-as-ai-benchmarking-tools/ это для меня выглядило очень натурально. По сути, Factorio — это не просто игра, где ты превращаешь планету в промышленный кошмар, а ещё и тестовая площадка для искусственного интеллекта. На ютубе люди сидят проходят факторио с экселями и макросами чтобы все расчитать. Теперь агенты учатся планировать, строить и оптимизировать производство, играя в ту же самую игру, которая заставляла тех чуваков с ютуба пересчитывать конвейеры в три часа ночи.
Всё началось с того, что исследователи решили использовать Factorio как инструмент для оценки возможностей языковых моделей. Игра со своей сложной системой ресурсов и бесконечными вариациями фабрик оказалась идеальной для проверки того, насколько хорошо АИ может планировать, решать задачи и управлять ограниченными ресурсами. Но, как оказалось, даже самые продвинутые модели, типа Claude 3.5 Sonnet и GPT-4o, не так уж и умело справляются с задачами, которые для нас, простых смертных, иногда кажутся "чисто по фану".
Factorio Learning Environment — это специальная среда, где машины учатся строить фабрики. Есть два режима: "Lab-Play" с чёткими задачами и ограниченными ресурсами (например, построить завод из двух машин) и "Open Play", где задача проста — построить самый большой завод. Всё взаимодействие происходит через Python API, так что AI буквально пишет код, чтобы строить, соединять компоненты и следить за производственным процессом. Ну, или пытается это сделать, пока не запутается в своих же алгоритмах.
Ирония в том, что машины, которые мы учим строить заводы, часто сами нуждаются в "дебаге". Пространственное мышление, долгосрочное планирование и исправление ошибок — это там, где AI всё ещё спотыкается. Например, вместо того чтобы аккуратно расположить машины, чтобы минимизировать расстояния между ними, AI иногда создаёт такие "художественные" схемы, хотя вообще непонятно зачем. А ещё они обожают зацикливаться на мелочах, забывая о глобальной картине. Знакомо, правда?
Но не всё так плохо. Claude 3.5 Sonnet показал лучшие результаты, решив 15 из 24 задач в "Lab-Play" и набрав 2456 очков в "Open Play". Для сравнения, GPT-4o отстал на добрую тысячу очков. Однако даже у победителя остались проблемы: например, с переходом на более сложные технологии или оптимизацией ресурсов.
Если ты хочешь прикинуться роботом, можешь сам заглянуть в Factorio и попытаться построить идеальную фабрику. А если ты ещё и программист, то API Factorio Learning Environment — это способ поэкспериментировать с кодом и посмотреть, как AI справляется с твоими задачами.
В итоге, Factorio — это не просто игра, а целый мир, где пересекаются развлечения и наука. Наверное, скоро на серверах, кожанные будут соперничать с AI ...
THE DECODER
Factorio joins growing list of video games doubling as AI benchmarking tools
Factorio, a complex computer game focused on construction and resource management, has become researchers' latest tool for evaluating AI capabilities. The game tests language models' ability to plan and build intricate systems while managing multiple resources…
👍2
System Design github repo 🕌
Проходил сис дизайн интервью в прошлый понедельник, а сегодня наткнулся на такой репозиторий: https://github.com/ByteByteGoHq/system-design-101?tab=readme-ov-file. Это просто библия для прохождения сис дизайна. По мне так отличное чтиво в мире сложных архитектурных решений. Здесь есть всё: от сравнений REST API и GraphQL до объяснений, почему Nginx называют reverse proxy. А если хочешь узнать, как работает Google Authenticator или почему Redis такой быстрый, то тут вообще велком.
Что здесь есть? (спойлер: ВСЁ) 🌍
- Архитектурные паттерны: Хочешь понять, что такое MVC, MVP, MVVM или даже VIPER? Легко.
- CI/CD: Хочешь почувствовать себя инженером Netflix? Добро пожаловать.
- Кэширование: Почему Redis так быстр? Как кэшировать данные правильно? Ответы здесь.
- Базы данных: Визуализация SQL-запросов, CAP-теорема и даже "8 структур данных, которые управляют вашими базами".
- Микросервисы: Лучшие практики, Kafka, и типичная архитектура микросервисов.
- Реальные кейсы: Хочешь понять, как Discord хранит триллионы сообщений или как YouTube справляется с потоковым видео? Этот репозиторий расскажет.
Документация понятным языком 😌
Здесь всё объясняется простыми словами, а визуализации помогут понять даже самые сложные концепции. Например, диаграммы HTTP-протоколов или сравнение Webhook и polling — это просто шедевры.
Что мне еще понравилось,это то что многие репозитории и статьи сосредотачиваются на одной теме — типа БД, DevOps или микросервисы. Но "System Design 101" — это будто шведский стол для инженеров: тут есть всё и сразу, причём подано так, что хочется взять добавки. Конечно, есть и другие хорошие источники (например, книги Фаулера или блоги Google), но этот репозиторий выигрывает своей компактностью и доступностью.
Добавляй в закладки и начни своё путешествие к званию мастера системного дизайна. Кароче, с таким багажом получаешь +10 к харизме на собеседованиях и +20 к навыкам архитектуры. Проверить это можно только одним способом — скачал, отсобесился, забрал офер на 500к.
Проходил сис дизайн интервью в прошлый понедельник, а сегодня наткнулся на такой репозиторий: https://github.com/ByteByteGoHq/system-design-101?tab=readme-ov-file. Это просто библия для прохождения сис дизайна. По мне так отличное чтиво в мире сложных архитектурных решений. Здесь есть всё: от сравнений REST API и GraphQL до объяснений, почему Nginx называют reverse proxy. А если хочешь узнать, как работает Google Authenticator или почему Redis такой быстрый, то тут вообще велком.
Что здесь есть? (спойлер: ВСЁ) 🌍
- Архитектурные паттерны: Хочешь понять, что такое MVC, MVP, MVVM или даже VIPER? Легко.
- CI/CD: Хочешь почувствовать себя инженером Netflix? Добро пожаловать.
- Кэширование: Почему Redis так быстр? Как кэшировать данные правильно? Ответы здесь.
- Базы данных: Визуализация SQL-запросов, CAP-теорема и даже "8 структур данных, которые управляют вашими базами".
- Микросервисы: Лучшие практики, Kafka, и типичная архитектура микросервисов.
- Реальные кейсы: Хочешь понять, как Discord хранит триллионы сообщений или как YouTube справляется с потоковым видео? Этот репозиторий расскажет.
Документация понятным языком 😌
Здесь всё объясняется простыми словами, а визуализации помогут понять даже самые сложные концепции. Например, диаграммы HTTP-протоколов или сравнение Webhook и polling — это просто шедевры.
Что мне еще понравилось,это то что многие репозитории и статьи сосредотачиваются на одной теме — типа БД, DevOps или микросервисы. Но "System Design 101" — это будто шведский стол для инженеров: тут есть всё и сразу, причём подано так, что хочется взять добавки. Конечно, есть и другие хорошие источники (например, книги Фаулера или блоги Google), но этот репозиторий выигрывает своей компактностью и доступностью.
Добавляй в закладки и начни своё путешествие к званию мастера системного дизайна. Кароче, с таким багажом получаешь +10 к харизме на собеседованиях и +20 к навыкам архитектуры. Проверить это можно только одним способом — скачал, отсобесился, забрал офер на 500к.
GitHub
GitHub - ByteByteGoHq/system-design-101: Explain complex systems using visuals and simple terms. Help you prepare for system design…
Explain complex systems using visuals and simple terms. Help you prepare for system design interviews. - ByteByteGoHq/system-design-101
❤2👍2
Запрыгивай в последний вагон AI-поезда: AI-агенты 🤖
Сейчас уже чатботы, LLM и RAG стали супер попсой которые использует каждая домохозяйка. Хочу поговорить про последний девелопмент в мире АИ, и это будут агенты. На самом деле, с большим опозданием, но пускай будет.
AI-агенты — это не просто умные чатботы. Они не только выполняют задачи, но и принимают решения. Представь себе мир, где Microsoft 365 Copilot или Google Gemini помогают не просто писать письма, а буквально управляют рабочими процессами. И всё это благодаря LCNC-платформам, которые позволяют бизнес-пользователям (да, даже тем, кто считает Excel вершиной технологий) создавать и настраивать эти системы.
К тому же, AI-агенты уже активно используются в облачных платформах, таких как AWS Bedrock, Azure AI Studio и Vertex AI. Они интегрируются с данными компании, автоматизируют процессы и, обещают сделать твою жизнь проще. Хотя, если честно, иногда кажется, что они просто хотят заменить нас.
Как мог бы выглядит день из жизни с AI-агентом 🍄
Просыпаешьсф утром, а твой AI-агент уже приготовил кофе. Ну, ладно, кофе он пока не умеет, но зато он уже проанализировал все рабочие задачи, отправил емейл клиенту и даже напомнил, что пора позвонить маме. Залогинился на работу, а агент уже разрулил половину тасок, в другую половину закрыл несколькими PR.
А что за LCNC 👨💻
На самом деле, на бекенде всей этой магии стоит LCNC (low code/no code). Без него AI-агенты не были бы такими умными. Это форма плагина которая позволяют подключать агентов к различным базам данных, системам и даже строить их с нуля. Можно сказать что это плагин для встройки во всевозможные системы.
Риски ✳️
Как и любой инструмент, AI-агенты не безупречны. Вот несколько проблем, которые они могут принести:
- Shadow AI: Представь себе, что коллега создал AI-агента, который случайно удалил половину базы данных. Тут мало отличия от человека конечно, но надо учитывать.
- Переполненные права доступа: AI-агенты могут получить доступ ко всему, что им не следует видеть. Именно процесс ограничения является самым трудоемким, т.к. не сразу все edge кейсы можно уловить.
- Взлом: AI можно взломать с помощью хитроумных инструкций (ну вы видели в тиктоке про крутые промпты).
Так что, если хочешь почувствовать себя частью элиты, юзай AI-агента (например из Copilot, настраивается через Copilot Studio, https://copilotstudio.preview.microsoft.com), настрой его через LCNC и наслаждайся. А если что-то пойдет не так, всегда можешь сказать, что "это был эксперимент."
Сейчас уже чатботы, LLM и RAG стали супер попсой которые использует каждая домохозяйка. Хочу поговорить про последний девелопмент в мире АИ, и это будут агенты. На самом деле, с большим опозданием, но пускай будет.
AI-агенты — это не просто умные чатботы. Они не только выполняют задачи, но и принимают решения. Представь себе мир, где Microsoft 365 Copilot или Google Gemini помогают не просто писать письма, а буквально управляют рабочими процессами. И всё это благодаря LCNC-платформам, которые позволяют бизнес-пользователям (да, даже тем, кто считает Excel вершиной технологий) создавать и настраивать эти системы.
К тому же, AI-агенты уже активно используются в облачных платформах, таких как AWS Bedrock, Azure AI Studio и Vertex AI. Они интегрируются с данными компании, автоматизируют процессы и, обещают сделать твою жизнь проще. Хотя, если честно, иногда кажется, что они просто хотят заменить нас.
Как мог бы выглядит день из жизни с AI-агентом 🍄
Просыпаешьсф утром, а твой AI-агент уже приготовил кофе. Ну, ладно, кофе он пока не умеет, но зато он уже проанализировал все рабочие задачи, отправил емейл клиенту и даже напомнил, что пора позвонить маме. Залогинился на работу, а агент уже разрулил половину тасок, в другую половину закрыл несколькими PR.
А что за LCNC 👨💻
На самом деле, на бекенде всей этой магии стоит LCNC (low code/no code). Без него AI-агенты не были бы такими умными. Это форма плагина которая позволяют подключать агентов к различным базам данных, системам и даже строить их с нуля. Можно сказать что это плагин для встройки во всевозможные системы.
Риски ✳️
Как и любой инструмент, AI-агенты не безупречны. Вот несколько проблем, которые они могут принести:
- Shadow AI: Представь себе, что коллега создал AI-агента, который случайно удалил половину базы данных. Тут мало отличия от человека конечно, но надо учитывать.
- Переполненные права доступа: AI-агенты могут получить доступ ко всему, что им не следует видеть. Именно процесс ограничения является самым трудоемким, т.к. не сразу все edge кейсы можно уловить.
- Взлом: AI можно взломать с помощью хитроумных инструкций (ну вы видели в тиктоке про крутые промпты).
Так что, если хочешь почувствовать себя частью элиты, юзай AI-агента (например из Copilot, настраивается через Copilot Studio, https://copilotstudio.preview.microsoft.com), настрой его через LCNC и наслаждайся. А если что-то пойдет не так, всегда можешь сказать, что "это был эксперимент."
👍2
Еще один классный GitHub-репозиторий, который спасет DevOps интервью
Вот он:
- https://github.com/Swfuse/devops-interview
Настоящая кладезь знаний для тех, кто хочет пройти собеседование и выйти из него героем (или хотя бы без нервного тика).
Тут 4 подраздела:
1. Техническое интервью: Здесь собраны вопросы от "Какой ваш любимый инструмент CI/CD?" до "Как вы настраиваете кластер Kubernetes, если у вас ничего и нет".
2. Интервью с HR: Потому что "расскажите о себе" — это не просто вопрос, а мини-испытание на уровень вашей харизмы.
3. Референсы и ссылки: Полезные материалы, которые помогут не выглядеть растерянным, когда спросят про Ansible или Terraform.
4. Топ вопросов: Субъективный рейтинг популярных вопросов. Хочешь знать, сколько боли приносит вопрос про сети? Здесь все по-честному.
Вот он:
- https://github.com/Swfuse/devops-interview
Настоящая кладезь знаний для тех, кто хочет пройти собеседование и выйти из него героем (или хотя бы без нервного тика).
Тут 4 подраздела:
1. Техническое интервью: Здесь собраны вопросы от "Какой ваш любимый инструмент CI/CD?" до "Как вы настраиваете кластер Kubernetes, если у вас ничего и нет".
2. Интервью с HR: Потому что "расскажите о себе" — это не просто вопрос, а мини-испытание на уровень вашей харизмы.
3. Референсы и ссылки: Полезные материалы, которые помогут не выглядеть растерянным, когда спросят про Ansible или Terraform.
4. Топ вопросов: Субъективный рейтинг популярных вопросов. Хочешь знать, сколько боли приносит вопрос про сети? Здесь все по-честному.
GitHub
GitHub - Swfuse/devops-interview: Сборник вопросов и ответов на собеседования на должность системного администратора, девопса
Сборник вопросов и ответов на собеседования на должность системного администратора, девопса - Swfuse/devops-interview
👍3
Интересный сервис — Self.so — превращает PDF (например, резюме или портфолио) в аккуратную сайт-визитку буквально за пару кликов. Он сам вытаскивает ключевую информацию из документа и красиво оформляет её на одной странице.
Очень удобно, особенно если ты человек-оркестр и совмещаешь несколько профессий. Больше не нужно пропускать web-site поле когда аплаишься на позицию :)
Очень удобно, особенно если ты человек-оркестр и совмещаешь несколько профессий. Больше не нужно пропускать web-site поле когда аплаишься на позицию :)
www.self.so
Self.so - Resume to Website
LinkedIn to Website in one click! Powered by Together AI and Llama 3.3
👍2❤1🍓1🆒1
Вот такой сервис который сравнивает IT зарплаты из всего русского сегмента.
Как я понял, он пылесосит все открытые источники типа hh и сливает все в приятный репорт.
https://public.tableau.com/shared/3KN2X2YXN?:display_count=n&:origin=viz_share_link&:showVizHome=no
По-моему выглядит очень хорошо и полезно. Готовимся.
Как я понял, он пылесосит все открытые источники типа hh и сливает все в приятный репорт.
https://public.tableau.com/shared/3KN2X2YXN?:display_count=n&:origin=viz_share_link&:showVizHome=no
По-моему выглядит очень хорошо и полезно. Готовимся.
🚀 12ое интервью в Yandex Cloud (да, я настырный): Technical Deep Dive: Как я рассказывал про миграцию 100 EC2 instances и Web Tools Service в GCP/GKE 🚀
Давно не было постов, а уже столько воды утекло… Сегодня я прошел (и, надеюсь, успешно) один из самых интересных этапов собеседований — Technical Deep Dive. Это не просто ответы на вопросы, а полноценное погружение в реальный проект, где нужно рассказать "что, почему и как" ты сделал. И вот я, с горящими глазами, рассказывал про свою Cloud-одиссею: проект, где я перебрасывал ~100 Windows VM и целый Web Tools Service из AWS в GCP. Интервьюер был в роли искушенного архитектора (ловец булщита, спрашиватель правильных вопросов), а я — в роли дирижера своего оркестра (не кубер).
Старт из "Legacy Land": AWS-реальность
Начали, конечно, с исходной точки. Я объяснял, что у нас была сотня Windows-машин на EC2, все интегрированы с онпрем Active Directory. Для бэкапов – 10 независимых инсталляций Veeam B&R, развернутых через Terraform. Сами бэкапы летели в S3, но не напрямую – а через хитроумный NFS Gateway. Вот тут я и рассказывал, что этот "шлюз" – это отдельная VM, которая сама монтирует S3 через NFS, а потом экспортирует эти шары для Veeam. Спрашивали, зачем так сложно? Объяснял: это позволяет централизовать доступ, упростить сетевую безопасность и даже потенциально кешировать данные.
Потом перешли к Web Tools Service – он сидел на отдельной Linux VM, с Docker Compose, InfluxDB и локальным хранилищем. Вроде просто, но масштабируемость и отказоустойчивость там хромали. Так там еще и пароли в plain text хранили. 💁♂️
"Миграционный марафон": От бэкапа до развертывания
Дальше я описывал сам процесс переезда. Это была не просто "кнопка мигрировать" (которая появилась 3 года назад в GCP, а проект сам пятилетний), а тщательно спланированная многоступенчатая операция:
1. Преднастройка Veeam: С помощью Ansible я подготавливал каждый из 10 Veeam серверов, настраивая NFS-маунты и репозитории. Почему 10? Потому что, 10 тачек это фри тир, и компания не выделилиа денег на лицензии. Пришлось обходить и бэкапить 10 машин через 10 серверов бесплатно. 🤭
2. Бэкапы в S3: Python-скрипт запускал бэкапы каждой VM в S3.
3. Конвертация дисков: Raw-образы дисков (да, те самые, что в S3) конвертировались с помощью Python инапасах многопоточности дает вам нашс неслабо отличится. Потому что все умею питон накатать, а вот про многопоточность это уже к девелоперам.
4. Загрузка в GCS: И, конечно, финальный аккорд — загрузка готовых образов в Google Cloud Storage.
"GCP Promised Land": Встречайте новый мир!
Кульминация — описание целевой архитектуры в GCP. Главная фишка: мы перешли на Managed Kubernetes (GKE). Я объяснял все плюсы: никакой возни с мастер-нодами, автомасштабирование кластера (Cluster Autoscaler) и подов (HPA), бесшовная интеграция с GCR и Google Load Balancer. Это огромный операционный выигрыш!
Давно не было постов, а уже столько воды утекло… Сегодня я прошел (и, надеюсь, успешно) один из самых интересных этапов собеседований — Technical Deep Dive. Это не просто ответы на вопросы, а полноценное погружение в реальный проект, где нужно рассказать "что, почему и как" ты сделал. И вот я, с горящими глазами, рассказывал про свою Cloud-одиссею: проект, где я перебрасывал ~100 Windows VM и целый Web Tools Service из AWS в GCP. Интервьюер был в роли искушенного архитектора (ловец булщита, спрашиватель правильных вопросов), а я — в роли дирижера своего оркестра (не кубер).
Старт из "Legacy Land": AWS-реальность
Начали, конечно, с исходной точки. Я объяснял, что у нас была сотня Windows-машин на EC2, все интегрированы с онпрем Active Directory. Для бэкапов – 10 независимых инсталляций Veeam B&R, развернутых через Terraform. Сами бэкапы летели в S3, но не напрямую – а через хитроумный NFS Gateway. Вот тут я и рассказывал, что этот "шлюз" – это отдельная VM, которая сама монтирует S3 через NFS, а потом экспортирует эти шары для Veeam. Спрашивали, зачем так сложно? Объяснял: это позволяет централизовать доступ, упростить сетевую безопасность и даже потенциально кешировать данные.
Потом перешли к Web Tools Service – он сидел на отдельной Linux VM, с Docker Compose, InfluxDB и локальным хранилищем. Вроде просто, но масштабируемость и отказоустойчивость там хромали. Так там еще и пароли в plain text хранили. 💁♂️
"Миграционный марафон": От бэкапа до развертывания
Дальше я описывал сам процесс переезда. Это была не просто "кнопка мигрировать" (которая появилась 3 года назад в GCP, а проект сам пятилетний), а тщательно спланированная многоступенчатая операция:
1. Преднастройка Veeam: С помощью Ansible я подготавливал каждый из 10 Veeam серверов, настраивая NFS-маунты и репозитории. Почему 10? Потому что, 10 тачек это фри тир, и компания не выделилиа денег на лицензии. Пришлось обходить и бэкапить 10 машин через 10 серверов бесплатно. 🤭
2. Бэкапы в S3: Python-скрипт запускал бэкапы каждой VM в S3.
3. Конвертация дисков: Raw-образы дисков (да, те самые, что в S3) конвертировались с помощью Python и
qemu-img в многопоточном режиме. Мотайте на ус: именно добавления разговор о 4. Загрузка в GCS: И, конечно, финальный аккорд — загрузка готовых образов в Google Cloud Storage.
"GCP Promised Land": Встречайте новый мир!
Кульминация — описание целевой архитектуры в GCP. Главная фишка: мы перешли на Managed Kubernetes (GKE). Я объяснял все плюсы: никакой возни с мастер-нодами, автомасштабирование кластера (Cluster Autoscaler) и подов (HPA), бесшовная интеграция с GCR и Google Load Balancer. Это огромный операционный выигрыш!
👍2
Глубокое погружение в Технологии (те самые Deep Dives) 🙇
- Kubernetes-зоопарк для Tools Service: Здесь я показывал YAML-файлы. Рассказывал, как Django App (с 2 репликами для HA) взаимодействует с MySQL on K8s (который живет в том же кластере!) через внутренний DNS (
- Эволюция безопасности паролей: Конечно, интервьюер не мог пройти мимо моего предыдущего шага: от plain text до MySQL с хэшированием паролей. Я подчеркивал, насколько это улучшило безопасность, и тут же переходил к следующим шагам: внедрению 2FA и переходу на внешний Identity Provider (IdP) для централизованной аутентификации.
- CI/CD и Workload Identity Federation (WIF): Здесь я с гордостью демонстрировал свой GitHub Actions workflow. Объяснял, как я собираю Docker-образ Django и пушу его в GCR, не используя ни единого долгоживущего ключа сервисного аккаунта! Вся магия – в Workload Identity Federation: GitHub выпускает OIDC-токен, Google Cloud ему доверяет (через Identity Provider, настроенный в IAM), и мы получаем короткоживущие временные креды. Отдельно подчеркивал
- Terragrunt — мой лучший друг для Terraform: Конечно, раз такой масштабный проект, то и Terraform не мог быть "ванильным". Я объяснял, как Terragrunt помог мне управлять сложными зависимостями, генерировать
Итог Deep Dive 📑
Было очень много вопросов по каждому пункту, сценарии "а если...?", "как ты это отлаживал?", "что было самым сложным?". Это был настоящий диалог, где проверялось не только знание синтаксиса, но и глубокое понимание архитектурных решений, их обоснование и умение траблшутить.
Такое интервью – это и челлендж и огромный кайф, когда ты можешь подробно рассказать о проекте, в который вложил душу. С нетерпением жду следующего этапа (13ого?).
- Kubernetes-зоопарк для Tools Service: Здесь я показывал YAML-файлы. Рассказывал, как Django App (с 2 репликами для HA) взаимодействует с MySQL on K8s (который живет в том же кластере!) через внутренний DNS (
mysql-service.default.svc.cluster.local). Мы подробно обсудили Deployment, Service, PersistentVolumeClaim для MySQL. Отдельно – как работает стек мониторинга: InfluxDB для метрик и Grafana для визуализации. Объяснял, как Grafana провизится через ConfigMap, чтобы автоматически находить InfluxDB.- Эволюция безопасности паролей: Конечно, интервьюер не мог пройти мимо моего предыдущего шага: от plain text до MySQL с хэшированием паролей. Я подчеркивал, насколько это улучшило безопасность, и тут же переходил к следующим шагам: внедрению 2FA и переходу на внешний Identity Provider (IdP) для централизованной аутентификации.
- CI/CD и Workload Identity Federation (WIF): Здесь я с гордостью демонстрировал свой GitHub Actions workflow. Объяснял, как я собираю Docker-образ Django и пушу его в GCR, не используя ни единого долгоживущего ключа сервисного аккаунта! Вся магия – в Workload Identity Federation: GitHub выпускает OIDC-токен, Google Cloud ему доверяет (через Identity Provider, настроенный в IAM), и мы получаем короткоживущие временные креды. Отдельно подчеркивал
permissions: id-token: 'write' в workflow.- Terragrunt — мой лучший друг для Terraform: Конечно, раз такой масштабный проект, то и Terraform не мог быть "ванильным". Я объяснял, как Terragrunt помог мне управлять сложными зависимостями, генерировать
provider.tf на лету (да, даже с оверрайдами!), и держать код инфраструктуры сухим и чистым.Итог Deep Dive 📑
Было очень много вопросов по каждому пункту, сценарии "а если...?", "как ты это отлаживал?", "что было самым сложным?". Это был настоящий диалог, где проверялось не только знание синтаксиса, но и глубокое понимание архитектурных решений, их обоснование и умение траблшутить.
Такое интервью – это и челлендж и огромный кайф, когда ты можешь подробно рассказать о проекте, в который вложил душу. С нетерпением жду следующего этапа (13ого?).
👍2❤1
Наткнулся на занятную штуку: https://anthropic.skilljar.com/ — обучалка от Anthropic, которые делают Claude.
И вот что странно — куча бесплатных курсов. Всё про LLM, prompt engineering и общение с ИИ. Причём не абы как, а по уму: коротко, ясно, без маркетинговой воды. Если тебе интересно, как вообще работает MCP или агент помощник — очень рекомендую. Там и теория, и практика, и нормальный язык. Не занудно.
И да, пока всё это бесплатно. Без регистрации в три этапа и «спецпредложений до конца дня». Просто заходишь и учишься.
Пока не спрятали за подписку — советую сохранить и пройти что-то из интересного.
И вот что странно — куча бесплатных курсов. Всё про LLM, prompt engineering и общение с ИИ. Причём не абы как, а по уму: коротко, ясно, без маркетинговой воды. Если тебе интересно, как вообще работает MCP или агент помощник — очень рекомендую. Там и теория, и практика, и нормальный язык. Не занудно.
И да, пока всё это бесплатно. Без регистрации в три этапа и «спецпредложений до конца дня». Просто заходишь и учишься.
Пока не спрятали за подписку — советую сохранить и пройти что-то из интересного.
Anthropic Courses
Learn to build with Claude AI
through Anthropic's comprehensive courses and training programs.
through Anthropic's comprehensive courses and training programs.
❤1
Если твоему пет-проджекту нужны выписки из Библии, то есть публичный API откуда можно это дело дернуть: https://docs.api.bible/.
А тут еще есть тыща других публичных апишек. Вроде есть что посмотреть.
https://publicapis.dev/
А тут еще есть тыща других публичных апишек. Вроде есть что посмотреть.
https://publicapis.dev/
👏1😈1