интересный пост о том как стандартными тулами в линуксе запускать задачи параллельно.

https://www.pixelbeat.org/docs/unix-parallel-tools.html

Два интересных поста о скейлинге и netflix. Мастрид для всех кому интересна архитектура приложений.

https://medium.com/netflix-techblog/scaling-event-sourcing-for-netflix-downloads-episode-1-6bc1595c5595?source=rss----2615bd06b42e---4
https://medium.com/netflix-techblog/scaling-event-sourcing-for-netflix-downloads-episode-2-ce1b54d46eec?source=rss----2615bd06b42e---4

Тем временем вчера проанонсировали Rancher 2.0 - систему окрестрации контейнеров, которая знаменита своей простотой в настройке и установке. Уже есть TECH PREVIEW. Ребята отказались от поддержки mesos, swarm и своей разработки (cattle) в пользу кубернетиса. Вообще интересно получилось с точки зрения единого человеческого UI для управления кластерами. Жаль только что от swarm отказались.

https://rancher.com/announcing-rancher-2-0/

Крутое фото, правда? А ешё нас прорекламировали в катопсе - его ведёт один из наших, из украинских девопсов. Если вы хотите два авторитетных мнения на новости, подпишитесь на CatOps. Там котики. https://t.iss.one/catops

интересный тред в котором народ тренируется в хэлловордах.

https://twitter.com/iamdevloper/status/912955304383533056

особенно доставило :)

Вы любите датапроцессинг? Если нет, то ой, а если да, то вот тут (https://blog.wallaroolabs.com/2017/09/open-sourcing-wallaroo/) заопенсорсили тулу для event-by-event процессинга данных.

Вчера вышел третий пост о том как работает дисковый IO в linux (первый, второй). В этом посте автор достаточно неплохо и базово расказывает о LSM деревьях, а в следующем будет расказывать о B деревьях.

Кстати, если пропустили, то в первых двух постах достаточно неплохо сгрупированы бызовые знания о файловом IO в linux. Советую всем, у кого ещё не доходили до него руки 🙂

Как-то мимо всех прошел выпуск в свет clear containers 3.0 от Intel. Из интересного - поддержка virtio-blk в качестве сторэдж бекенда и возможность запуска CC без модификаций на VMware и HyperV. Ну и да, переписали на гошечке, потому что никто не хочет писать на C, а камьюнити нужно 🙂

P.S. на русском можно почитать, прастихоспади, на opennet

Интерактивный туториал по Ansible. По факту является интерактивной адаптацией Ansible tutorial от Leucos

Всё, что надо для прохождения — установленный Docker

Видео-демо есть тут

Содержание:

1. Getting Started
2. Basic inventory
3. First modules and facts
4. Groups and variables
5. Playbooks
6. Playbooks, pushing files on nodes
7. Playbooks and failures
8. Playbook conditionals
9. Git module
10. Extending to several hosts
11. Templates
12. Variables again
13. Migrating to roles!
14. Using roles from Ansible Galaxy - Install a Jenkins server
15. Free play

#ansible

@astlok, в миру Антон Кошевой, поделился интересной находкой - ещё одним сервисом для эскалации и нотификации типа PagerDuty, Opsgenie и Victorops - pagertree. С очень приятной ценой в 10 долларов за юзера после 10 пользоватлей и бесплатно до 10. Всё бы хорошо, но сервис пока работает только как бета и только в US. Ждём выхода на мировой рынок и наблюдаем за демпингом (сейчас средняя цена ~30 долларов за пользователя)

Интересная статья о использование kubernetes helm в реальном мире. Очень советую почитать перед тем как ввязываться :)

setevoy запостил в #dev_random картинку для важных переговоров

В общем тут такое дело. Elastic (компания) выпустили rc1 для elasticsearch stack 6.0 (сори за повторный пост, после редактирования пропали ссылки)
Коротко о изменениях:

Elascticsearch 6.0.0 — индексы будут занимать меньше места. В некоторых случаях аж на 46% меньше. Сделано это за счет отказа от поля _all (давно пора) и за счет переезда на Lucene 7.0 в котором был переделан механизм работы с редкоиспользуемыми полями (вот тут по ссылке они неплохо объясняют как это работает). А ещё в новом эластике появилась такая фича как index sorting, которая позволит очень сильно ускорить поиск в определённых кейсах, например если у вас много запросов типа «вернуть top n значений». Ещё в эластике обновили X-Pack, но изменения касаются в основном только безопасности. Кстати, не забывайте, что в версии 6.0 в рамках перехода к полному отказу от мультитиповых индексов вы сможете создать только один тип на индекс. Подробнее тут.

Kibana 6.0.0 — множество мелких улучшений и внутренних изменений. Из интересного — отказались от поддержи index patterns (именование индекса специальным образом включающем дату за которую в этом индексе есть события). Начиная с версии эластика 2.1 он и так может отдавать эту дату, так что специальное именование не обязательно. Это интересно, потому что по моим субъективным ощущениям отключение данной фичи существенно замедляло поиск. Также анонсировали stats/api, которое будет отдавать информацию по индексу .kibana. API будет доступно с версии 6.1

Logstash 6.0.0 — множество фиксов, которые повысят стабильность в том числе и под Windows. Также ребята отказались от переменных JAVA_OPTS и других. Ну и все коммерческие плагины теперь включены по-умолчанию.

Beats 6.0.0 — изменено количество шардов по умолчанию в случае если вы пишете напрямую из beats в elasticsearch. Теперь Metricbeat и Heartbeat будут создавать индексы с одной шардой, а Filebeat, Winlogbeat, Auditbeat, и Packetbeat с тремя.

И ещё одна интересная новость — в альфу вышел Elastic APM — сервис для мониторинга производительности приложения (типа New Relic). Сейчас доступно только для NodeJS и Python, но обещают больше языков (вот здесь идёт голосование за языки). Немного позже я сделаю обзор в своём блоге https://dvps.blog

kubesh это маленький и очень полезный скрипт, который позволит вам более-менее удобно работать с несколькими кластерами кубернетиса.

В полку юникернелов пополнение: atmanos для golang. Решение достаточно интересное хотя бы тем, что не требует от программиста почти ничего, кроме как запустить команду билда.

Пока одни выбирают, подписаться на PagerDuty или VictorOPS, или следят за PagerTree, другие пилят своё решение на коленке.

Вот, например, статья о системе звонков при проблеме, собранной из -говна-и-палок- Twilio, AWS CloudWatch, SNS и AWS Lambda

#monitoring #aws

Тем временем как-то мимо всех прошла новость о том что Apple открыли исходный код к ядрам ios и osx. https://www.opensource.apple.com
У любителей хакинтоша должно быть праздник. Ждём порты OSX на все ноутбуки страны.