Тема сбора|каких|зачем логов это не иссекаемый источник для статей и докладов. Всегда можно из хорошего доклада вырвать и унести себе понравившийся костылик.

Немного потока сознания:

Я вот исходя из доклада задумался над ускорением bulk процессора elasticsearch.

Обновляться до 7.3 желания я не испытал, по нескольким причинам:

- субъективно, чем мажорнее версия, тем больше elastic жрет ресурсов, а profit не ощутим -верните мне мой 5.3

- мы собираем elastic в кластер с помощью https://github.com/vvanholl/elasticsearch-consul-discovery и автор поддержку 7+ судя по пул реквестам притащить не торопится

- плагин для консула не умеет в ipv6 only сети, мы научили его, но автор морозится https://github.com/vvanholl/elasticsearch-consul-discovery/pull/15/files Прийдется тащить это в своей ветке

Остается хачить код bulk процессора как написано в статье...

Мы сейчас решаем проблему «неудачной записи» с помощью ретраев на самописном клиенте отправки логов, поэтому у нас ощутимо не болит

https://bit.ly/35grewa

Пересказ исследования о том, почему использовать файловую систему как backend для распределенного хранилища - не очень хорошая идея (на примере ceph).

В целом после SOSP'19 колличество интересных статей значительно увеличилось.

https://blog.acolyer.org/2019/11/06/ceph-evolution/

#research #ceph #performance

Ставьте себе напоминалки на завтра на live stream
PromCon EU 2019 - Day 1 Live

#prometheus #monitoring

Внезапно интересный доклад о Postgress на конференции Microsoft Ignite

https://myignite.techcommunity.microsoft.com/sessions/81011

Очередная публикация в нашем блоге — знакомство с утилитой Skaffold: https://habr.com/ru/company/flant/blog/474692/

M3DB Documentation by Uber

Uber зарелизили документацию для своей реализации long-retantion TSDB. Я зашел, посмотрел, и понял что мне нравится. Не сама документация как факт релиза, а выбранный путь ее доставки.

Смотрите:
https://m3db.github.io/m3/m3db/

Очень даже симпатично, удобно, и трендово - внушает доверие, и усиливает интерес к технологии.

Как они это сделали: MkDocs + Github Pages. Очень классный подход как менеджить документацию. Подойдет не для всех кейсов, т.к. Github Pages - public accessible (но можно вкрутить и в private репозитории).

https://www.mkdocs.org/user-guide/deploying-your-docs/#github-pages

https://www.youtube.com/watch?v=4vZ1PqZ_Foc

Стрим начался, присоединяйтесь 😉

Презентации и видео с Zabbix Summit 2019

https://www.zabbix.com/events/zabbix_summit_2019_agenda

Записи на youtube

Сегодня на хайлоаде был доклад про k3s и вообще про кубернетес для бедных. Чел рассказывал про mae.sh как легковесную замену istio для service mesh

Академически качественный доклад на #HighLoad по Design for Failure от архитектора AWS Василия Пантюхина.

https://www.youtube.com/watch?v=7cqS4zAlU50&t=19188s

Основные тезисы:
• какое звание было у Э.Мерфи
• known unknowns vs unknown unknowns
• приоретизация эвентлога
• о пользе постоянной работы
• деньги на риски
• о мудрости пчёл
• оптом дешевле
• малый флот рулит большим
• обогрев воздуха с помощью brownout

Рекомендуется к обязательному просмотру (пересматривал пару раз под запись - это просто концентрат рекомендаций). Актуально условно и для архитекторов, и для девопсов, и для разработчиков (что подтверждают важные ответы на вопросы после доклада).

#design #must_see

Тут залили видосы с GoLab 2019, правда почему-то дни 2 и 3, а 1го не вижу

https://www.youtube.com/channel/UCMEvzoHTIdZI7IM8LoRbLsQ/playlists

Нам нужно больше биометрии собирать😈😈😈

https://www.opennet.ru/opennews/art.shtml?num=51841

https://t.iss.one/chiki_briki_it/144 Что я вам могу сказать? - Это нормальная тема, когда люди в разных компания приходят практически к единому решению одной и той же задачи, при этом не контактируя между собой.

НО, есть НО:
Почему эту связку будут использвать не многие? - Все просто и банально заверчено. Сейчас 100500 helm чартов готовых для #k8s, которые ты себе слил, накинул своих костылей с велосипедамии за 1-2 часа и поехал в прод. А с реализацией на основе clickhouse нужно иметь хотя бы человека, который не самый далекий в SQL, умеет работать с современными #opensource базами данных. А если это большой прод - то нужно несколько человек таких, это деньги и время, чего в agile/scrum мелких компашка на аутсорсе нет и им это скорей всего в первые пару лет жизни не нужно. А все хотят prometheus 🤔

Кстати говоря, не будет лишним вспомнить https://victoriametrics.com , которая показывает лучше результаты нежели #prometheus в некоторых случаях, умеет в кластер(чего не умеет первый) и при этом тоже open source. У них есть сообщество в телеграме. Потому не prometheus-ом единым.

Новый пост от автора victoriametrics.com:
Как ускорить бекапы для больших #tsdb

Speeding up backups for big time series databases

Добавил лабы по ansible:
https://github.com/bykvaadm/OS/tree/master/devops/ansible

#ansible