#db
Тут подъехала статья от Jaana Dogan про то как работает репликация в Spanner
Для затравочки: репликация синхронная, но SLA у них 99,999. Там 2PC, но при этом Paxos и еще много интересного
Тут подъехала статья от Jaana Dogan про то как работает репликация в Spanner
Для затравочки: репликация синхронная, но SLA у них 99,999. Там 2PC, но при этом Paxos и еще много интересного
Medium
How Does Spanner Avoid Single Point of Failures in Writes?
Google’s Spanner is a relational database with 99.999% availability which is roughly 5 mins a year. Spanner is a distributed system and…
Forwarded from Consensus
Интересная статья про Consistent Hashing алгоритмы, которые используется для построения DHT(Distributed Hash Table).
Статья содержит ссылки на Github с имплементацией различных алгоритмов на Go.
https://medium.com/@dgryski/consistent-hashing-algorithmic-tradeoffs-ef6b8e2fcae8
#DHT #ConsistentHashing #почитать
Статья содержит ссылки на Github с имплементацией различных алгоритмов на Go.
https://medium.com/@dgryski/consistent-hashing-algorithmic-tradeoffs-ef6b8e2fcae8
#DHT #ConsistentHashing #почитать
Medium
Consistent Hashing: Algorithmic Tradeoffs
Like this article? Buy me a coffee.
Forwarded from Пятничный деплой
Ближайшие митапы от DevOps Novosibirsk:
21 мая, 19:00 Нск, 15:00 Мска:
"Андрей Бешков. Построение DevSecOps как гармоничный путь развития."
FB: https://www.facebook.com/events/277229400104967/
Timepad: devops-nsk.timepad.ru/event/1316477/
28 мая, 19:00 Нск, 15:00 Мска:
"Нетворкинг: как создать и развить свой круг контактов в текущей реальности"
FB: https://www.facebook.com/events/824790024713599/
Timepad:
https://devops-nsk.timepad.ru/event/1308738/
4 июня, 19:00 Нск, 15:00 Мска:
"Тонем в облаках: краткое руководство освоения AWS"
FB: https://www.facebook.com/events/604603216818328/
Timepad: https://devops-nsk.timepad.ru/event/1311148/
—
У вас есть возможность поддержать сообщество:
https://www.patreon.com/devopsnsk
21 мая, 19:00 Нск, 15:00 Мска:
"Андрей Бешков. Построение DevSecOps как гармоничный путь развития."
FB: https://www.facebook.com/events/277229400104967/
Timepad: devops-nsk.timepad.ru/event/1316477/
28 мая, 19:00 Нск, 15:00 Мска:
"Нетворкинг: как создать и развить свой круг контактов в текущей реальности"
FB: https://www.facebook.com/events/824790024713599/
Timepad:
https://devops-nsk.timepad.ru/event/1308738/
4 июня, 19:00 Нск, 15:00 Мска:
"Тонем в облаках: краткое руководство освоения AWS"
FB: https://www.facebook.com/events/604603216818328/
Timepad: https://devops-nsk.timepad.ru/event/1311148/
—
У вас есть возможность поддержать сообщество:
https://www.patreon.com/devopsnsk
devops-nsk.timepad.ru
Возлюби безопасника своего как самого себя: Построение DevSecOps как гармоничный путь развития. / События на TimePad.ru
Forwarded from Українська девопсарня
Вышла в свет отличная книга от гугловых иженеров Building Secure and Reliable Systems - https://landing.google.com/sre/books/
Книга бесплатна в электронной версии, я пока читаю и мне очень нравится.
OK из нашего сообщества скинул прикольную цитату:
>Dubbed NotPetya, the new malware spread glob‐ ally very quickly, but was primarily found on systems in Ukraine on the eve of a Ukrainian holiday
В общем, как обычно, интересно о главном. Стоит обратить внимание.
Книга бесплатна в электронной версии, я пока читаю и мне очень нравится.
OK из нашего сообщества скинул прикольную цитату:
>Dubbed NotPetya, the new malware spread glob‐ ally very quickly, but was primarily found on systems in Ukraine on the eve of a Ukrainian holiday
В общем, как обычно, интересно о главном. Стоит обратить внимание.
DDDevotion
В эту пятницу будет большая онлайн-туса Distributed Domain-Driven Design Day https://virtualddd.com/#/conference. Помимо докладов будут также hands-on. Топовая подборка спикеров: Брандолини, Влад Хононов (@vladik_kh), Алексей Зимарев (@zimareff) и многие…
YouTube
Distributed Domain-Driven Design Day
Share your videos with friends, family, and the world
Forwarded from Sysadmin Tools 🇺🇦
Altinity | Run open source ClickHouse® better
ClickHouse® Kafka Engine FAQ
Kafka is a popular way to stream data into ClickHouse. ClickHouse has a built-in connector for this purpose -- the Kafka engine. This article collects typical questions that we get in our support cases regarding the Kafka engine usage. We...
#devops
Тут вот крутой тул ддя рисования диаграмм на python. Это как микс PlantUML и Visio. Сейчас можно рисовать инфраструктуру популярных cloud провайдеров, k8s и много разных on-premise штуковин(все популярные базы, CI, сетевые решния и пр.)
Не знаю как вы, а я очень рад. Теперь можно не страдать с Draw.io и Visio
Тут вот крутой тул ддя рисования диаграмм на python. Это как микс PlantUML и Visio. Сейчас можно рисовать инфраструктуру популярных cloud провайдеров, k8s и много разных on-premise штуковин(все популярные базы, CI, сетевые решния и пр.)
Не знаю как вы, а я очень рад. Теперь можно не страдать с Draw.io и Visio
Mingrammer
Diagrams · Diagrams
`Diagram` is a primary object representing a diagram.
Кстати, в этом году PgCon онлайновый и бесплатный!
www.pgcon.org
The PostgreSQL Conference - PGCon 2020
PGCon is a PostgreSQL Conference for Users and Developers
Forwarded from Sysadmin Tools 🇺🇦
MongoDB Best Practices on Linux 2020 Edition
https://www.percona.com/blog/2020/04/17/mongodb-best-practices-2020-edition/
#mongodb #mongo #linux #nosql
https://www.percona.com/blog/2020/04/17/mongodb-best-practices-2020-edition/
#mongodb #mongo #linux #nosql
Percona Database Performance Blog
MongoDB Best Practices: Security, Data Modeling, & Schema Design
Discover MongoDB best practices for security, data modeling, & schema design to improve performance while enhancing the HA & resilience of MongoDB.
ScalingMemcacheatFacebook.pdf
370.1 KB
#cache
Старенький, но годный пейпер про то как Facebook скейлил memcache
Старенький, но годный пейпер про то как Facebook скейлил memcache
#management #grades
Тут твитером выбросило грейд систему авито с целями-обязанностями по каждому грейду.
Эх, мне бы вот это на пол-годика пораньше, когда я у себя на галере похожее делал...
Тут твитером выбросило грейд систему авито с целями-обязанностями по каждому грейду.
Эх, мне бы вот это на пол-годика пораньше, когда я у себя на галере похожее делал...
GitHub
playbook/developer-profile.md at master · avito-tech/playbook
AvitoTech team playbook. Contribute to avito-tech/playbook development by creating an account on GitHub.
#arch
Это скорее себе заметка, но мб кому-то тоже пригодится.
IBMовский архитектурный фреймворк IBM Garage Methodology. На сайте чет очень много маркетинга и не понятно как до сути добраться, но из того что я понял он адаптирован под клауд, помогает с DevOps, SRE и, внезапно, Agile(Kanban)
Это скорее себе заметка, но мб кому-то тоже пригодится.
IBMовский архитектурный фреймворк IBM Garage Methodology. На сайте чет очень много маркетинга и не понятно как до сути добраться, но из того что я понял он адаптирован под клауд, помогает с DevOps, SRE и, внезапно, Agile(Kanban)
Forwarded from Sysadmin Tools 🇺🇦
Интерактивчик подвезли https://thesecretlivesofdata.com/raft/
Forwarded from 4gophers
Канал Юры Насретдинова на английском языке, где он разрабатывает распределенную key-value базу данных на Go. Касаются различных подходов к шардированию, как делать решардинг, и многое другое.
https://www.youtube.com/watch?v=Mgd9_P3D6u8
https://www.youtube.com/watch?v=Mgd9_P3D6u8
YouTube
Distributed key-value db in go #3: automated testing
In this video we will write unit and functional tests for the distributed key-value database in Go (golang). We don't want to make our comrads (and ourselves) suffer too much when testing things manually so we need to automate it. The database uses BoltDB…
Forwarded from Хекслет (hexlet_bot)
# Почему ООП — это плохо
Создатель языка Erlang Джо Армстронг написал эту статью 20 лет назад. Но в ней поднимаются важные и острые вопросы, поэтому мы перевели этот материал для вас.
Армстронгу не нравилось ООП по разным причинам. В статье он поделился несколькими из них:
- Функции и структуры данных имеют разную природу, поэтому с ними нельзя работать, как с одинаковыми сущностями.
- Отношение к любой сущности как к объекту усложняет работу. В объектно-ориентированном языке, например, в Smalltalk, даже число — объект. А в Erlang это экземпляр типа данных.
- В объектно-ориентированных языках принято прятать состояние. По мнению Джо Армстронга, это худшее из возможных решений.
Подробнее об отношении Армстронга к объектно-ориентированному программированию читайте в нашем блоге.
Создатель языка Erlang Джо Армстронг написал эту статью 20 лет назад. Но в ней поднимаются важные и острые вопросы, поэтому мы перевели этот материал для вас.
Армстронгу не нравилось ООП по разным причинам. В статье он поделился несколькими из них:
- Функции и структуры данных имеют разную природу, поэтому с ними нельзя работать, как с одинаковыми сущностями.
- Отношение к любой сущности как к объекту усложняет работу. В объектно-ориентированном языке, например, в Smalltalk, даже число — объект. А в Erlang это экземпляр типа данных.
- В объектно-ориентированных языках принято прятать состояние. По мнению Джо Армстронга, это худшее из возможных решений.
Подробнее об отношении Армстронга к объектно-ориентированному программированию читайте в нашем блоге.
Хекслет
# Почему ООП — это плохо Создатель языка Erlang Джо Армстронг написал эту статью 20 лет назад. Но в ней поднимаются важные и острые вопросы, поэтому мы перевели этот материал для вас. Армстронгу не нравилось ООП по разным причинам. В статье он поделился…
Не в полной мере согласен, но статья интересная, рекомендую. Тем более, что перевели на русский
прокричите от боли, если у вас тоже такое в каждом сервисе👇
UPD вскрикнул благодаря https://t.iss.one/ebanatics
UPD вскрикнул благодаря https://t.iss.one/ebanatics
Telegram
Ебанатика - наука точная
Яркие цитаты серьёзных экспертов. Хроники борьбы с ФП из первых уст. Достоверность цитат легко проверяется. Тексты и орфография сохраняются.
См. также:
@A64m_qb0_quotes
@rustlang_quotes
@gophers_think
См. также:
@A64m_qb0_quotes
@rustlang_quotes
@gophers_think
Forwarded from (
да нахуй оно не надо, можно просто взять рантаймовый диай и проверять корректность графа тестами
Forwarded from Архитектура ИТ-решений
В свое время пропустил перевод https://habr.com/ru/post/441538/ вот этого замечательного текста https://panoply.io/data-warehouse-guide/data-warehouse-architecture-traditional-vs-cloud/
Билл Инмон против Ральфа Кимбалла (Естественно, я за второго, а вы?) "Звездочка" или "Снежинка, ETL vs. ELT, облачное хранилище от Amazon и BigQuery от Google. ... что там ещё?
Впрочем и этих vs. вполне хватит :-)
Билл Инмон против Ральфа Кимбалла (Естественно, я за второго, а вы?) "Звездочка" или "Снежинка, ETL vs. ELT, облачное хранилище от Amazon и BigQuery от Google. ... что там ещё?
Впрочем и этих vs. вполне хватит :-)
Хабр
Архитектура хранилищ данных: традиционная и облачная
Привет, Хабр! На тему архитектуры хранилищ данных написано немало, но так лаконично и емко как в статье, на которую я случайно натолкнулся, еще не встречал. Предлагаю и вам познакомиться с данной...
Forwarded from Consensus
Наткнулся на очень крутую работу про LSM деревья 🔥
Авторы вначале вкратце разбирают как работает LSM-tree.
Затем рассказывают про существующие методы оптимизации LSM деревьев, например:
🔸 Как уменьшить Write Amplification Factor (который, кстати, уменьшает время жизни SSD)
🔸 Какие есть методы ускорения merge операций
🔸 Какие оптимизации позволяют LSM дереву использовать возможности SSD/NVMe и скэйлится по CPU
🔸 Техники auto-tuning'а и построение secondary index и т.д.
В конце авторы разбирают имплементации RocksDB, HBase, Cassandra, AsterixDB.
В общем это must read для тех, кто использует LSM-tree или собирается использовать.
Такой настольный white paper для пользователя LSM-tree 😉
Ссылка на white paper:
https://arxiv.org/pdf/1812.07527
Авторы вначале вкратце разбирают как работает LSM-tree.
Затем рассказывают про существующие методы оптимизации LSM деревьев, например:
🔸 Как уменьшить Write Amplification Factor (который, кстати, уменьшает время жизни SSD)
🔸 Какие есть методы ускорения merge операций
🔸 Какие оптимизации позволяют LSM дереву использовать возможности SSD/NVMe и скэйлится по CPU
🔸 Техники auto-tuning'а и построение secondary index и т.д.
В конце авторы разбирают имплементации RocksDB, HBase, Cassandra, AsterixDB.
В общем это must read для тех, кто использует LSM-tree или собирается использовать.
Такой настольный white paper для пользователя LSM-tree 😉
Ссылка на white paper:
https://arxiv.org/pdf/1812.07527