Когда внутренний оптимизатор наконец понял, что ты от него хотел...

С пятницей!

#mems

В продолжении поста про VIII конференцию от СберУниверситета "Больше чем обучение" решил сделать небольшой обзор EdTech-компаний, которые меня как-то зацепили.

➡️ Reezonly
Мне понравился сервис по генерации курса согласно описанию и набору литературы. Кидаешь в этот генератор PDF-учебник и пишешь свои хотелки от курса. Затем происходит магия🪄✨ ...и выдается готовый курс 🥧. Наслаждайся. Меня лично больше интересовал процесс генерации заданий по проверке остаточных знаний. Вот это нужная мне тема. Надо осваивать этот механизм. Буду пробовать 💥

➡️ AI-сервис «Ассистент преподавателя» от СберОбразования
Идея хорошая. ИИ оценивает занятия преподавателя со студентами и делает какие-то выводы. Что можно улучшить, что ухудшить т.д. Положительная сторона понятна. Однако, моё мышление всегда видит подвох 🤔

Этот сервис собирает про преподавателя информацию и отправляет ее руководству. Затем руководство решает премировать или депримировать. У меня сложилось впечатление, что преподаватель всегда "под колпаком". Преподавание и так выматывает, а тут еще и постоянное дополнительное давление (слежка). Не просто камеру поставили в кабинет, а записи просматривают только когда что-то случилось. ИИ сразу обрабатывает видео- и аудио- контент и делает "заметки".

Интересно, а можно ли AI-ассистента "вывести из себя"? Делать всё с точностью наоборот... Интересно проверить стрессоустойчивость ИИ-помощников.

➡️ ИДПО Институт дополнительно профобразования
Обычный учебный центр доп.образования. Казалось бы ничего примечательного. Однако, меня зацепил на их стенде курс по профилактике профессионального выгорания. Говорят, что за 16 академических часов всех вылечат! Заинтриговали, черти. Очень интересно. Может сходить... 🤔
p.s. еще и бумажку дадут, что "ты здоров"! Дополнительный мотиватор...

➡️ Asimov lab
Хочу упомянуть еще один интересный продукт. Ребята сделали сервис по проверке домашних заданий с использованием ИИ. Причем, это касается именно открытых вопросов (тесты и без ИИ прекрасно проверяются). Стоимость проверки одного вопроса 2-3 рубля в зависимости от объема. Ну, такое... мне кажется, дороговато. Такие вещи должны копейками исчисляться.

➡️ неизвестная компания (не спросил народ, откуда они)
VR-обучение! Ребята разработали программу для проведения занятий в VR-окружении. Надеваешь очки и оказываешься в учебном пространстве. Причем окружение можно легко конфигурировать. Затем начинается занятие. Прикольно сделана интеграция с фото и видео контентом, и конечно же, прямая интеграции с ИИ по генерации картинок, видео и текста. Сам попробовал такое занятие. Впечатление очень положительное! Конечно, продукт очень сырой, но при должных инвестициях через 1-2 года должно стать очень круто. Правда, есть 2 нерешаемые (на мой взгляд) проблемы:
👉 VR-оборудование - дорогое!
👉 Нахождение в VR-окружении долгое время сильно давит на мозг. После 10 минут мне стало некомфортно. Может, надо как-то с настройками поиграться, не знаю.

Попробовал и обратную сторону. Преподаватель надевает VR-очки и видит огромную аудиторию с "человечками". Затем читает им лекцию. Мне кажется, как тренажер - идея бомба!

📚 Очередной номер журнала по базам данных Database Trends and Applications Magazine: August/September 2024 Issue

Сразу пропущу все статьи про ИИ. Мне кажется они все об одном и том же. Кочуют из номера в номер.

➡️ THE INS AND OUTS OF BUILDING A MICROSERVICES ARCHITECTURE, Joe McKendrick
(Плюсы и минусы при разработке микросервисной архитектуры)

Плюсы сразу пропустим. Они банальные донельзя. Большая гибкость, масштабируемость, сокращения Time-To-Market и т.п. Не мне вам рассказывать...

Уделю внимание минусам.

👉 В статье Google от 2023 предлагается организациям с сильно распределёнными системами рассмотреть альтернативные — возможно, даже более монолитные — подходы к микросервисам. Google утверждал, что быстрый рост микросервисных архитектур приводят к чрезмерно сложным системам, которые трудно согласовывать и поддерживать.
👉 Google призывает делать атомарные логические монолиты
👉 Накладные расходы, связанные с сериализацией данных и отправкой их по сети, все чаще становятся узким местом.
👉 Две трети сбоев микросервисной архитектуры связаны с работой разных версий компонентов системы.
👉 Повышенные затраты на администрирование.
👉 Поддержка многих сервисов требует сложной настройки DevOps
👉 Требуется умение ориентироваться в сложностях межсервисного взаимодействия

➡️ Выбор читателей, By Stephanie Simone. Приведу победителей некоторых категорий

BEST TIME-SERIES DATABASE
1. InfluxData InfluxDB
2. TimescaleDB
3. Prometheus

BEST NOSQL DATABASE
1. MongoDB
2. Couchbase
3. Azure Cosmos DB

BEST STREAMING SOLUTION
1. Apache Kafka

BEST VECTOR DATABASE
1. MongoDB Atlas Vector Search & Couchbase
Capella (tied for 1st)
2. Pinecone
3. Elastic

📻 Решил сделать цикл статей по книге своего коллеги из СБТ Комарова Владимира.

📙Книга "Путеводитель по базам данных". — М.: ДМК-Пресс, 2024. — 520 с. ISBN 978-5-93700-287-7

PDF версия доступна бесплатно на сайте PostgresPro.

🚀 Часть 1. Классификация баз данных 🚀

Первая часть книги посвящена истории СУБД и вызовам, с которыми сталкивались разработчики. О том, как менялась модель данных, и как компании справляются с современными бизнес-вызовами. Написано все простым и доходчивым языком. Примеры мне показались очень жизненными. Например,

Пенсионный фонд России генерирует для каждого гражданина девятизначный суррогатный ключ — СНИЛС (страховой номер индивидуального лицевого счёта). В то же время для любой базы данных, эксплуатируемой вне ПФ РФ, СНИЛС уже является бизнес-ключом, поскольку поступает в систему извне.

Получилась довольно краткая история. Однако все главные "поворотные точки" были обозначены.

На своих лекциям я стараюсь дать больше информации. Однако, недавно поговорил про историю СУБД с одним из ИТ-архитекторов и его монолог занял почти 4 часа 😱! И то мы не всё обсудили. Иными словами, про историю СУБД можно написать отдельную книгу или даже цикл книг, т.к в разных государствах ИТ-инновации внедрялись по своему уникальному пути.

Первая часть завершается "Картой баз данных" - попыткой всё классифицировать. В целом, она довольно полезна, но,как сказал автор, все это очень условно. Многие базы данных сейчас совмещают в себе работу в нескольких режимах. Жмак, Жмак, ты получил транзакционную реляционную OLTP-СУБД. Жмак, жмак, и у тебя получилась аналитическая OLAP-СУБД с хранением с оперативной памяти. Многие вендоры стремятся сделать свой продукт универсальным. И это вполне практичный и денежный подход.

Прощай осень! Скоро зима и Новый Год! Ура!

С пятницей!

#mems

🍀🗿15-16 ноября прошла конференция ежегодная Merge в Сколково.

Мне повезло раздобыть бесплатный билет. Так он стоит 25 тыс. Или 35 за "всё включено". После 20:00 (вечеринка). 🍻

Народ собрался со всей страны! 💪 Мне показалось, что из МСК было совсем чуть-чуть народа. Большинство именно бизнесменов, коучей, менеджеров из регионов.

Докладов реально очень много! Выбирай, на любой вкус.
Меня зацепил трек по ИТ-аутстафф, DevOps и ряд других...

❇️ Общее впечатление:
Сколково - очень крутое! Помещение зачетное! Очень просторно, прогрессивно и богато 🤯 💰🔊
Если говорить, про организацию, то тут наоборот всё бедно. Совсем бедно.💸 Угощений не было совсем. Обед тоже за свой счет в иных помещениях Сколково. Пространство под стенды партнеров тоже немного. Все стенды очень маленькие. Мерча - почти нет. Совсем копейки. Аудитории с докладами и сама съемка, тоже смотрелась очень бюджетно. Презентация на телеке, видеосъемка на домашнюю камеру и т.п.

❇️ Про доклады:

🚀 Я прослушал весь трек по ИТ-аутстафф и был немного разочарован. Темы докладов довольно интересные, но информация в них очень сухая и для меня оказалась бесполезной.😵‍💫 Спикеры рассказывали всё на "серьезных щах". Хотя сама специфика бизнеса очень смешная и забавная 😏. Мы "растим" или "подбираем с улицы" народ, затем делаем красивую упаковку и продаем заказчикам. Всё. Проституция и публичные дома вышли на новый уровень! Но никто про это не шутил... Где пурпурные шубы, золотые цепи и гламурные туфли? 🤹‍♀️🎭 Эх...ушла эпоха

🚀 Крутой был доклад про DevOps от Сергея Задорожного. Мощный спикер, веселый и интересный. С таким человеком дружить очень круто и полезно. Взял у него контакт. Лучше выступление на всей конфе! 💎

🚀 Второе место по крутости (преимущественно из-за темы) "Как токсики типа тебя убивают команды", Александр Сенотов. На докладе был аншлаг! Народ забил всю аудиторию и еще куча человек слушала доклад из коридора! Отличный пример того, как крутая тема привлекает народ. Доклад начался бодро с массой хороших шуток про токсиков. Затем автор перешел на "серьезные рельсы". Токсики, разрушают команды... Многим работникам требует психотерапия и т.д. Есть ряд простых тестов для определения токсика в себе и если они оказались положительными, то...пора лечиться 💊. Итоговые мысли следующие:
👉 Если вы видите токсичного человека, то "лечение" нужно начинать с себя, т.к. токсичность - заразная болезнь.
👉 Психотерапевт товарищ нужным всем. Ищите своего.
👉 Имейте уважение к себе и уходите с проекта, если вы испытываете страх и недоверие.

Примерно так закончилась для меня конференция. На второй день я не пошел, т.к. ехать до Сколков 2 часа, мерча там нет, докладов про СУБД тоже нет.

p.s. взял контакты нескольких спикеров для генерации тем научных работ на следующий учебный год 🤝

Вот и наступило 2 декабря! 🌲

Первый день конференции HighLoad++ 🎉
Это означается куча новых впечатлений, активностей и МЕРЧА! Весь год ждал этого события! 🎁🎁🎁

Буду в первых рядах! 👀

(Продолжение поста 1)

Книга "Путеводитель по базам данных". — М.: ДМК-Пресс, 2024. — 520 с. ISBN 978-5-93700-287-7

🚀 Часть 2. Доступ к данным 🚀

Пожалуй, это самая объёмная часть книги.

❇️Общее впечатление.
На хорошем уровне изложены все современные концепции доступа к данным. Как к диску, так и к оперативной памяти. Рассказано про B-деревья. Это некий золотой стандарт проектирования СУБД до 2000-х.

В 1996 году в MIT была предложена новая концепция хранения и доступа к данным - LSM-дерево. Именно эта концепция лежит под капотом множества молодых СУБД. Также рассказывается про концепцию того, что СУБД - это модульная система (хотя явно не говорится об этом). По сути, многие современные СУБД, такие как CockroachDB, в себе объединяют другие СУБД (ранее RocksDB, ныне PeebleDB). Большая СУБД стоится на базе более мелких.

Огромный плюс книги в том, что разобраны разные алгоритмы по работе с дисковой подсистемой в разрезе различных СУБД. Книга даёт ясно понять, что каждая СУБД по сути уникальна и использует свои уникальные алгоритмы. Про вариацию реализации стандартных алгоритмов я промолчу.

"По верхушкам" разобран поиск данных и даны основы оптимизации запросов и анализ планов запросов. Это ни в коем случае не минус. Это даже плюс книги - что вообще такие темы затрагиваются. Это "кишки" СУБД и они могут разительно отличаться от продукта к продукту. Поэтому существуют отдельные книги по конкретной СУБД и целый ряд книг по оптимизации. Названия подтем главы 4 можно отнести к списку особенностей, которые надо изучить разработчику при анализе новой СУБД в проекте.

Книга оставляет пока только положительные эмоции 🤳Продолжу чтение... 🤓

🏓 Уже традиционная Онлайн-конференция YaC/e от Яндекса про образование

Она проходит в аккурат после конференции от СберУнивера "Больше, чем образование". Рассказ про неё тут и тут.

Я только в этом году увидел почти прямую взаимосвязь между ними. Понятно, что все будут говорить про ИИ. ИИ-агенты, ИИ-ассистенты, ИИ-учителя и т.п. Тут всё очевидно. Однако...

Напомню, что в этом году СберУнивер главной темой 2024 года сделал искусство и творчество (скульптура, живопись, музыка, ковка и т.п.).
В программе YaC/e 2024 увидел аналогичные темы:
👉 Третье место для образования: где его найти
👉 Межкультурные компетенции: зачем этот скил и как он помогает в работе
👉 Творческие люди XXI века: на стыке искусства и технологий
👉 Инженеры и эмпатия: как метанавыки двигают мир технологий

Многие другие доклады получили свое "продолжение" (или "повторение") на YaC/e. Забавно, что все говорят про одно и тоже.

Главный плюс YaC/e в том, что количество докладов в разы больше. У СберУнивера их 10, а тут почти 30.

❗Про доклады...
Хотелось бы разобрать какие-то доклады, но... ничего интересного не оказалось. Даже провокационные темы по итогу ни к чему не привели.
Всё очень поверхностно, и не более того. Сплошное разочарование. Приведу такой пример.

❇️Доклад: Сотрудничество вузов и корпораций: зачем разработчику магистратура.

Ведущий задаёт вопрос:
В: назовите инновацию БигТеха в образовании. Что вы делайте не так, как все?

О1: Мы можем круто оценить знания.
О2: У нас студентоцентричность
О3: У нас студентоцентричность, а еще и наши задания тесно связаны с рабочими задачами.

Всё максимально размыто и непонятно. Инновация БигТеха - оценка знаний и студентоцентричность? Серьезно? Это "фишки" ваших магистратур? Для кого эти ответы? Вас смотрят студенты, и подобные ответы никак не мотивируют поступать именно в вашу магистратуру.

Возможно, для молодых умов и новой аудитории эти доклады и зайдут, но для меня - совсем ничего полезного.

Ладно, посмотрим, что будет в следующем году 🤔

Приколы версионирования продуктов!

С пятницей!
#mems

🔥3 декабря закончилось двух дневное приключение по конференции HighLoad++ в Москве.

Уже скоро на Habr'е появится мнение коллег и журналистов о прошедшем событий. Пока поделюсь своими впечатлениями.

❇️ В очередной раз я заявляю, что это лучшая конференция в году для ИТ-специалистов в Москве🥇🏆! Все остальные мероприятия меркнут на общем фоне. Огромное количество людей! Спонсоры, спикеры и просто обычные посетители (готовые отвались 100к рублей за билет 💰). Более 13 треков с докладами на любой вкус!😋 Сумашествие по количеству информации. 🤯 Чтобы у народа не пухла голова присутствую десятки компаний со стендами и активностями на них. Можно отдохнуть и расслабиться по полной.

Я большой фанат различного мерча, но в этом году как-то скудненько вышло.🥺 Из крутого я выиграл огромного плюшевого питона, колонку SberBoomHome и всё на этом. Остальное мелочевка. Меня в самое сердце убил стенд Сбера 💔. В этом году они полностью отказались от мерча и просто сделали 5 настольных игр для посетителей. Работники стенда во время игр рассказывали как круто работать в Сбере... Жесть. 😨

Слава богу Gitverse и SberDevice меня искренне порадовали и огромный респект компании Островок за питона.

Самое ужасное (для меня лично), что было много докладов без записи! 📹🚫Если тебе повезло попасть на доклад, супер! Если нет, то извини...🤷‍♂️ Это конечно сильно напрягает. Я только на второй день конференции догадался диктофон включить💡. Самое главное, что контакты нужных спикеров я взял. Осталось только "обогатить" мои курсы их актуальными знаниями. 🙇‍♂️

В следующих несколько постах постараюсь дать некоторые инсайды от коллег, которые входят в разряд "слухи" или "сорока на хвосте принесла" 🤔🪬👽

#HighLoad

📜 Доклад от 2 декабря "Нетворкинг-зона «Базы данных и системы хранения»" (🚫🎥).

Было 4 стола с экспертами от Picodata, YDB, PostgreSQL, MySQL(MariaDB, MyDB). Удалось послушать только один стол с Picodata'ой. С экспертом Константином Осиповым. Что было на других столах - загадка... 🤷‍♂️

Несколько интересных тезисов:
❗️СУБД Tarantool была создана для того, чтобы уволить всех С/С++ программистов из Мэйл.ру. Эта СУБД предоставляет множество переиспользуемых кусков кода и достаточно посадить "перловика" для дальнейшей разработки на LUA. Как вы понимаете, ничего не вышло.

❗️Одна из главных проблем framework Jepsen - высокая стоимость обнаружения ошибок. Очень много времени и ресурсов тратится на обнаружение проблем работы кластера.

❗️Имплементации алгоритма ACCORD пока нет. Но обещают дожать...

❗️Хорошая команда по разработке СУБД стоит 500 млн. в год💰.Если вы не занимаетесь "консалтингом по Postgres", то этой суммы достаточно для развития продукта в правильном направлении.

❗️Нужно составлять грамотный роадмап развития продукта, а не заниматься "фигнёй"🤬. Это довольно простой тезис, но он практически никогда не работает. 🙃

❗️У VK есть своя реализация Jepsen на GO.

❗️Если ты делаешь хорошо достаточно уникальную вещь, то у тебя всё должно получиться.

❗️Сопровождение СУБД Picodata с кластером на 3000 ядер стоит 40 млн в год 👀. Однако, многие "крупные" компании содержать в штате более 160 человек, которые пытаются сделать что-то аналогичное. Пример, Сбер. Сберу прощу посадить тех же 160 человек пытаться изобрести велосипед еще раз, чем позволить какому-то вендеру с гораздо большей экспертизой вырасти. Эта одна из главных проблем рынка РФ. Не хватает зрелости...

❗️Picodata к концу 2025 года должна смочь тягаться с такими СУБД как Cassandra или ScyllaDB в кейсах быстрой хранилки данных с поддержкой SQL 🦾.

❗️Picodata находится в списке особозначимых проектов РФ. Важно, чтобы государство знало о проекте.

В финале всем советую посмотреть выступление Константина пару лет назад об "Истории развития Tarantool со слов Константина Осипова"

#HighLoad #Доклады_без_записи

📜Секция нетворкинга в отдельном зале Picodata (🚫🎥).
Серия докладов по Picodata. Презентации можно глянуть тут

Попробую аккумулировать итоговые тезисы:
❗️Кластеро-ориентированная архитектура лежит в основе Picodata.

❗️Почти все тесты идут на произвольной конфигурации кластера.

❗️Picodata выбирают исключительно для новых проектов. Проектов миграции у команды Picodata пока не было.

❗️Добавили поддержку SQL и Postgres-протокол.

❗️В начале 2025 года планируется полноценный драйвер для DBeaver.

❗️Сотни инстансов в кластере и максимум 5 в голосующих узлах и всего 1 лидер.

❗️Picodata обладает двумя движками memtx (для данных в ОЗУ) и vinil (для данных на диске).

❗️Количество виртуальных бакетов (bucket) всегда фиксировано и равно 30 000. Это позволяет минимизировать затраты на решардинге и при поиске информации в нужном бакете.

В заключение скажу, что в грядущем запуске курса по базам данных в 2025 году точно будет Picodata. Обязательно разберем теорию и пощупаем кластер на практике! 💯 Надеюсь, будет интересно! 😊

#HighLoad #Доклады_без_записи

🚀 Если кому-то сегодня скучно, то есть вариант глянуть от Яндекса Database Internals Meetup #5 (офлайн + онлайн): 5 докладов на конференции ISPRAS Open

❗Трасляция в ВК❗

Программа митапа будет плотной и насыщенной:
- 13:00 - 14:00 - Эволюция архитектуры СУБД на примере YDB, Андрей Фомичев, Яндекс, основатель и руководитель YDB
- 14:00 - 15:00 - Blue/green deploy для хранимых процедур в кластерной СУБД на примере Picodata, Константин Осипов, Picodata, основатель Picodata
- 15:00 - 16:00 - Оптимизация подсказками: ускоряем запросы, не изменяя планировщик. Сергей Зинченко, OpenGauss, Инженер
- 16:30 — 17:30 Панельная дискуссия: Перспективы создания модульного оптимизатора запросов. Павел Велихов, Владимир Озеров, Денис Пономарёв, Тимур Сафин, Максим Смяткин
- 17:30 - 18:30 - Переписывание запросов на основе материализованных представлений в аналитической системе CedrusData. Владимир Озеров, Александр Блажков, генеральный директор и разработчик CedrusData

Работа, учеба, экзамены, дедлайны...

Не забывайте кушать! С пятницей!

#mems

📜 Еще одна интересная секция "без записи" devhands.io ROOM (🚫🎥).

Название докладов просто бомба:
👉 Кто сможет в 1M RPS? В забеге участвуют: Valkey, Redis, Memcached, PostgreSQL, MySQL
👉 Корпоративное обучение в области высоких нагрузок: подход devhands
👉 Карта роста бэкендера
👉 Valkey: что это за зверь и потеснит ли он Redis?
И это только некоторые из них.

Все лекции и практики, в основном, проводим сам Алексей Рыбак, основатель devhands.io. Очень крутой специалист. Помимо всего того, чем занимается его компания, у него есть свои уникальные обучающие курсы для middle и более серьезных специалистов. "Джунов" он не обучает.

Презентации можно глянуть тут.

Основные тезисы, которые меня зацепили.
☄️ Обучение по программам DevHands очень гибкое. Если теория "плюс-минус" стандартизирована, то практические задания (ДЗ) создаются уникальные под каждого слушателя. Как я понял, перед началом курса они проводят собеседование и согласовывают набор практических заданий, т.к. техстек может сильно отличаться от компании к компании.

☄️ Сейчас Valkey почти не отличим от Redis.

☄️ Valkey нужно еще 2-3 года, чтобы продукт "созрел". Слишком много радикальных идей его развития по сравнению с Redis. Перспективы явно есть. Главное, чтобы в попытке добавления всеми желаемой многоядерности не получился второй DragonFly.

☄️ Товарищи из Яндекс.Облака потихонечку переходят с Redis на Valkey.

☄️ Исследователи из мира HighLoad и распределенных систем всё чаще смотрят на индустриальные кластерные СУБД. Такие продукты как Picodata или Shardman, возможно, являются будущим стандартом.

#HighLoad #Доклады_без_записи

📚Статья: Valkey: что нового и что дальше?

Напомню, что проект Valkey появился вследствие перехода СУБД Redis на другую более строгую лицензию, которая фактически запретила бесплатно использовать Redis облачным провайдерам. Хотите "перепродавать" возможности Redis своим клиентам - дайте денег. Компанию Redis labs можно понять.

Тем не менее, разработчики облачных провайдеров объединились вокруг проекта ValKey и начали его активно развивать и совершенствовать.
👉 Одной из главных фич является внедрение так всеми желанной многопоточности.
👉 В скором времени появится возможность активно взаимодействовать с JSON объектами. Не просто get/set, а добавить полноценные операции по изменению структуры документа.
👉 Эти изменения мы увидим уже в 2025 году в версии 8.0.
👉 Затем добавят вероятностные структуры данных, фильтры Блума.
👉 Уже ближе к 2026 году, а может и раньше, обновят кластерный механизм взаимодействия.

После прочтения статьи уважение к проекту Valkey возросло в разы!💪 Сообщество Redis настолько разрослось, что вполне способно поделиться надвое и продолжить развивать два независимых проекта. Очень здорово, что главные котребьютеры стремятся обновить уже устаревшие подходы. Дело даже не в многопоточности, а именно в работе кластера. Посмотрим, что они придумают 🤔

Буду активно следить за этим проектом. Возможно, через год в своих лекциях заменю Redis на Valkey. Хочу подождать мнения экспертов нашего рынка по работе Valkey в продакшен системах.

#NoSQLFM #Valkey

Кейс использования K6 в Picodata

Внутри эко-системы Grafana Labs есть инструмент для нагрузочного тестирования k6. Он немного странный (прожорливость, автоматизация на ява-скрипте, паралеллизация не по тредам/соединениям, а по параллельным пользовательским сессиям whatever it means). Но он становится всё более популярным, и выглядит мощно в плане кастомизаций. Кейс про то, как Picodata прикрутили k6 к тестированию своей СУБД.

Лонг-рид: https://habr.com/ru/companies/arenadata/articles/864974/

Ниже - краткое саммари (кстати, как вам промт?)

Кому будет интересна статья
* Гошникам
* Разработчикам распределённых систем и баз данных.
* Инженерам по нагрузочному тестированию.
* Специалистам, занимающимся построением инфраструктуры тестирования производительности.

Статья посвящена подходу компании Picodata к нагрузочному тестированию распределённых баз данных (NewSQL СУБД). Рассматриваются проблемы, с которыми сталкиваются разработчики таких систем, и выбор инструментов для создания практики тестирования производительности. Основное внимание уделяется созданию собственного решения — системы Picostress, основанной на инструментарии k6.

Используемые продукты и решения
* Picostress - разработанный инструмент для нагрузочного тестирования.
* Go - язык программирования, на котором написан весь код Picostress, а также k6
* k6 - утилита для создания нагрузочных тестов, поддерживающая выполнение скриптов на JavaScript.
* xk6-модуль: расширение для k6, реализованное для взаимодействия с Picodata через её нативные протоколы (iproto и pgproto).
* Cobra - Go-библиотека для создания CLI-приложений, использованная для создания обёртки вокруг k6.

Основные выводы
* Среди множества утилит для нагрузочного тестирования именно k6 оказался наиболее подходящим благодаря гибкости, расширяемости и поддержке пользовательских сценариев.
* Наиболее интересные особенности k6: интеграции в CI/CD процессы, создание сложных сценариев тестирования на JavaScript, поддержка постоянной нагрузки (constant throughput load) с учётом проблемы coordinated omission.
* Разработка собственного модуля: В Picodata был создан xk6-модуль для взаимодействия с нативными протоколами системы, что позволило реализовать нагрузочное тестирование, учитывающее специфику распределённых систем.
* Автоматизация и адаптивность: Picostress, основанный на k6, стал не только инструментом тестирования, но и ключевым элементом мониторинга и оптимизации производительности для каждого релиза продукта.

📚 Как вы думайте, какая книга по распределенным системам самая популярная среди ИТ-специалистов в РФ?

На каждом собеседовании на GO-разрабочика, ИТ-архитектора, аналитика данных, дата-сатаниста задаётся вопрос на знания из этой книги. Да, да да. Я говорю про "Designing Data-Intensive Applications" или на русском "Высоконагруженные приложения" или просто "Кабанчик".

Автор книги, Мартин Клеппман, начинал ее писать уже порядка 10 лет назад, а издана она была в 2017 году. Эта книга стала чуть ли не иконой для многих разработчиков! 🙏🧎 По до сих на многих конференция, митапах, форумах это книга всегда присутствует и её покупают в печатном издании.

Из минусов можно отметить то, что она теряет свою актуальность. Мир движется вперед с невероятной скоростью. Это понимаю я и это понимает сам автор.

Та-та-та-дам...Мартин Клеппман в соавторстве с Chris Riccomini, который работал в PayPal, LinkedIn, WePay, создал Apache Samza и SlateDB, а также написал книгу "The Missing README", начали писать 2-ое издание Кабанчика! 💥

Уже можно глянуть первые главы
1. Trade-offs in Data Systems Architecture
2. Defining Nonfunctional Requirements
3. Data Models and Query Languages
4. Storage and Retrieval

Полностью книга будет готова к следующему новому году.

В общем, рекомендую почитать на новогодних праздниках. За один-два вечера контент можно усвоить и прокачать свои знания!

#book #Architecture #DistributedSystems

Цените ваших коллег!

С пятницей!

#mems