интересный тред в котором народ тренируется в хэлловордах.

https://twitter.com/iamdevloper/status/912955304383533056

особенно доставило :)

Вы любите датапроцессинг? Если нет, то ой, а если да, то вот тут (https://blog.wallaroolabs.com/2017/09/open-sourcing-wallaroo/) заопенсорсили тулу для event-by-event процессинга данных.

Вчера вышел третий пост о том как работает дисковый IO в linux (первый, второй). В этом посте автор достаточно неплохо и базово расказывает о LSM деревьях, а в следующем будет расказывать о B деревьях.

Кстати, если пропустили, то в первых двух постах достаточно неплохо сгрупированы бызовые знания о файловом IO в linux. Советую всем, у кого ещё не доходили до него руки 🙂

Как-то мимо всех прошел выпуск в свет clear containers 3.0 от Intel. Из интересного - поддержка virtio-blk в качестве сторэдж бекенда и возможность запуска CC без модификаций на VMware и HyperV. Ну и да, переписали на гошечке, потому что никто не хочет писать на C, а камьюнити нужно 🙂

P.S. на русском можно почитать, прастихоспади, на opennet

Интерактивный туториал по Ansible. По факту является интерактивной адаптацией Ansible tutorial от Leucos

Всё, что надо для прохождения — установленный Docker

Видео-демо есть тут

Содержание:

1. Getting Started
2. Basic inventory
3. First modules and facts
4. Groups and variables
5. Playbooks
6. Playbooks, pushing files on nodes
7. Playbooks and failures
8. Playbook conditionals
9. Git module
10. Extending to several hosts
11. Templates
12. Variables again
13. Migrating to roles!
14. Using roles from Ansible Galaxy - Install a Jenkins server
15. Free play

#ansible

@astlok, в миру Антон Кошевой, поделился интересной находкой - ещё одним сервисом для эскалации и нотификации типа PagerDuty, Opsgenie и Victorops - pagertree. С очень приятной ценой в 10 долларов за юзера после 10 пользоватлей и бесплатно до 10. Всё бы хорошо, но сервис пока работает только как бета и только в US. Ждём выхода на мировой рынок и наблюдаем за демпингом (сейчас средняя цена ~30 долларов за пользователя)

Интересная статья о использование kubernetes helm в реальном мире. Очень советую почитать перед тем как ввязываться :)

setevoy запостил в #dev_random картинку для важных переговоров

В общем тут такое дело. Elastic (компания) выпустили rc1 для elasticsearch stack 6.0 (сори за повторный пост, после редактирования пропали ссылки)
Коротко о изменениях:

Elascticsearch 6.0.0 — индексы будут занимать меньше места. В некоторых случаях аж на 46% меньше. Сделано это за счет отказа от поля _all (давно пора) и за счет переезда на Lucene 7.0 в котором был переделан механизм работы с редкоиспользуемыми полями (вот тут по ссылке они неплохо объясняют как это работает). А ещё в новом эластике появилась такая фича как index sorting, которая позволит очень сильно ускорить поиск в определённых кейсах, например если у вас много запросов типа «вернуть top n значений». Ещё в эластике обновили X-Pack, но изменения касаются в основном только безопасности. Кстати, не забывайте, что в версии 6.0 в рамках перехода к полному отказу от мультитиповых индексов вы сможете создать только один тип на индекс. Подробнее тут.

Kibana 6.0.0 — множество мелких улучшений и внутренних изменений. Из интересного — отказались от поддержи index patterns (именование индекса специальным образом включающем дату за которую в этом индексе есть события). Начиная с версии эластика 2.1 он и так может отдавать эту дату, так что специальное именование не обязательно. Это интересно, потому что по моим субъективным ощущениям отключение данной фичи существенно замедляло поиск. Также анонсировали stats/api, которое будет отдавать информацию по индексу .kibana. API будет доступно с версии 6.1

Logstash 6.0.0 — множество фиксов, которые повысят стабильность в том числе и под Windows. Также ребята отказались от переменных JAVA_OPTS и других. Ну и все коммерческие плагины теперь включены по-умолчанию.

Beats 6.0.0 — изменено количество шардов по умолчанию в случае если вы пишете напрямую из beats в elasticsearch. Теперь Metricbeat и Heartbeat будут создавать индексы с одной шардой, а Filebeat, Winlogbeat, Auditbeat, и Packetbeat с тремя.

И ещё одна интересная новость — в альфу вышел Elastic APM — сервис для мониторинга производительности приложения (типа New Relic). Сейчас доступно только для NodeJS и Python, но обещают больше языков (вот здесь идёт голосование за языки). Немного позже я сделаю обзор в своём блоге https://dvps.blog

kubesh это маленький и очень полезный скрипт, который позволит вам более-менее удобно работать с несколькими кластерами кубернетиса.

В полку юникернелов пополнение: atmanos для golang. Решение достаточно интересное хотя бы тем, что не требует от программиста почти ничего, кроме как запустить команду билда.

Пока одни выбирают, подписаться на PagerDuty или VictorOPS, или следят за PagerTree, другие пилят своё решение на коленке.

Вот, например, статья о системе звонков при проблеме, собранной из -говна-и-палок- Twilio, AWS CloudWatch, SNS и AWS Lambda

#monitoring #aws

Тем временем как-то мимо всех прошла новость о том что Apple открыли исходный код к ядрам ios и osx. https://www.opensource.apple.com
У любителей хакинтоша должно быть праздник. Ждём порты OSX на все ноутбуки страны.

А тем временем в мастер графаны таки зашел cloudwatch. Можно качать ночный сборки и начинать использовать 🙂

kingshard — новая, достаточно быстрая прокся для MySQL. Как вы наверное догадались по названию основное её отличие от других это облегчение шардирования mysql. Впрочем для разделения read\write она тоже годится. По скорости, как заявляют создатели просадка будет процентов в 20 от работы напрямую с MySQL.

вышел пост от Docker о поддержке comtainerd 1.0 beta в кубернетисе 1.8. Если коротко, то containerd это компонент для того чтобы пулить и запускать контейнеры, который специально разработан для того чтобы нормально интегрироваться в все эти ваши кубернетисы и месосы О чём имеется gRPC api. Ну а детальнее информация в посте.

Ждали ли вы десятую постгрю так как ждал её я? В общем релиз из самых ожидаемых фичей - логическая репликация, которая позволит отсылать модификации в другие инстансы постгри на уровне бд или даже таблицы.
Соответственно из этого выплывает следующая фича: декларативное партиционирование таблиц (на этом моменте все любители пихать много данных в постгрю зашлись в радосном танце)
Ещё улушили работу с параллельными запросами и добавили кворум коммит на синхронизацию изменений (теперь во время репликации можно настроить кворум, мнение которого будет учтено при решении записались данные или нет)
Ура, товарищи, светлое будущее наступает!

Второй важный релиз за сегодня - вышла rc-0 prometheus 2.0

Пофиксили основные баги и можно уже начинать тестировать в стейджинге.

Напомню, что в версии 2.0 ребята переработали хранение данных и сторадж теперь по их словам должен работать в несколько раз быстрее. Да и сам прометеус должен жрать меньше CPU. Вот статья для интересующихся.

Антон Кошевой запостил в слак интересную статью о том как тестировать чатботы. Если коротко, то пожалуйста, тестируйте возможные ответы, а в сообщениях об ошибке оставляйте какие-то подсказки и варианты дальнейших действий. Всё как в обычных интерфейсах, кстати.