Измеряем «пульс» Kafka-консьюмера для автоматического перезапуска с помощью livenessProbe ❤️
Во многих наших инструментах мы используем Kafka для обработки потоков данных. В связке с Kubernetes это очень удобно и эффективно. За исключением моментов, когда Kafka-консьюмер зависает без ошибок или падений, но перестав обрабатывать сообщения. Отследить такое сложно, но можно.
Например, проблему можно решить с помощью livenessProbe, но в случае Kafka-консьюмеров единого способа для этого нет, что усложняет задачу. Сергей Коник нашел наиболее оптимальное решение этой задачи с помощью паттерна HeartBeat и Python. Благодаря периодической проверке «пульса» консьюмера мы можем быстро обнаружить зависание и автоматически перезагрузить контейнер с консьюмером.
О том, как пошагово реализовать такой механизм Сергей рассказал в новой статье. Заходите почитать!
#шерим
Во многих наших инструментах мы используем Kafka для обработки потоков данных. В связке с Kubernetes это очень удобно и эффективно. За исключением моментов, когда Kafka-консьюмер зависает без ошибок или падений, но перестав обрабатывать сообщения. Отследить такое сложно, но можно.
Например, проблему можно решить с помощью livenessProbe, но в случае Kafka-консьюмеров единого способа для этого нет, что усложняет задачу. Сергей Коник нашел наиболее оптимальное решение этой задачи с помощью паттерна HeartBeat и Python. Благодаря периодической проверке «пульса» консьюмера мы можем быстро обнаружить зависание и автоматически перезагрузить контейнер с консьюмером.
О том, как пошагово реализовать такой механизм Сергей рассказал в новой статье. Заходите почитать!
#шерим
Please open Telegram to view this post
VIEW IN TELEGRAM
Ребята, а накидайте ваших любимых фонов для созвонов
Давайте соберем платиновую коллекцию, чтобы к понедельнику всем быть готовыми на планерках🤓
Давайте соберем платиновую коллекцию, чтобы к понедельнику всем быть готовыми на планерках
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁13
Мы создали «Инкубатор специалистов качества данных и аналитиков» 🎓
Так мы назвали свой авторский курс для начинающих специалистов по данным. И несмотря на сложность в создании собственного курса с нуля, это того стоило. В карточках расскажем подробнее.
Так мы назвали свой авторский курс для начинающих специалистов по данным. И несмотря на сложность в создании собственного курса с нуля, это того стоило. В карточках расскажем подробнее.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🦄4
Почему мы выбрали Tangl для визуализации аналитики
В своей работе мы используем кучу различных инструментов, а еще больше — тестируем для использования. Для работы с BIM-данными мы остановили свой выбор на отечественной платформе Tangl. За два года команда разработчиков показала, что они могут гибко адаптировать свои решения под потребности заказчика. Поэтому и для визуализации данных мы решили использовать их компонент.
Разработка компонента заняла около 4 месяцев и нескольких итераций по улучшению функциональности и оптимизации производительности. За это время решение обросло множеством возможностей и теперь позволяет эффективно визуализировать и анализировать данные по охране труда на строительных объектах с использованием трехмерных моделей, обрабатывая одновременно до 20 моделей в корпоративном облаке заказчика.
В будущем мы планируем не только расширение его применения для других аналитических задач компании, но и адаптацию под отечественные BI-системы, которые постепенно внедряются в работу девелопера.
#строим
В своей работе мы используем кучу различных инструментов, а еще больше — тестируем для использования. Для работы с BIM-данными мы остановили свой выбор на отечественной платформе Tangl. За два года команда разработчиков показала, что они могут гибко адаптировать свои решения под потребности заказчика. Поэтому и для визуализации данных мы решили использовать их компонент.
Разработка компонента заняла около 4 месяцев и нескольких итераций по улучшению функциональности и оптимизации производительности. За это время решение обросло множеством возможностей и теперь позволяет эффективно визуализировать и анализировать данные по охране труда на строительных объектах с использованием трехмерных моделей, обрабатывая одновременно до 20 моделей в корпоративном облаке заказчика.
В будущем мы планируем не только расширение его применения для других аналитических задач компании, но и адаптацию под отечественные BI-системы, которые постепенно внедряются в работу девелопера.
#строим
👻3❤2👍2
С международным днем бэкапа! ⚙️
31 марта ежегодно отмечается международный день резервного копирования. Мы желаем вам никогда не сталкиваться с потерей данных и надежных легко восстанавливаемых бэкапов! 🤝
В честь праздника мы предлагаем вам проверить свои резервные копии и сделать свежую на всякий случай. А ещё вместе вспомнить известные случаи потери данных, которые повлияли на наш мир.
31 марта ежегодно отмечается международный день резервного копирования. Мы желаем вам никогда не сталкиваться с потерей данных и надежных легко восстанавливаемых бэкапов! 🤝
В честь праздника мы предлагаем вам проверить свои резервные копии и сделать свежую на всякий случай. А ещё вместе вспомнить известные случаи потери данных, которые повлияли на наш мир.
❤6🙏3👻3