#smartdata2023
Применение TLA+ для эффективного тестирования распределенных систем
Презентация
Интересный доклад. Особенного его первая половина. По сути "студенты ИТМО СПб" из ВК работают над верифицирующей системой для реализаций распределенных алгоритмов консенсуса

Клиент всегда прав

Pliops готовит новый СУБД-ускоритель XDP с удвоенной производительностью / ServerNews
https://servernews.ru/1097224

Вначале было слово - архитектура от словаря. Екатерина Лысенко

Очень круто доклад. Всем советую посмотреть...

Решил посмотреть конференцию яндекса "ОНЛАЙН-КОНФЕРЕНЦИЯ ЯНДЕКСА ПРО ОБРАЗОВАНИЕ" и высказать несколько тезисов, которые меня зацепили.

1. Тинькофф Университет. Зачем он создавался? У "тинька" и так есть школы, свои кафедры и прочее. Зачем еще целый университет, где только платное образование? Ответ такой: "Центральный Университет был создан с целью поиска талантливых школьников и предоставления им грантов на обучение. Текущие образовательные программы этого не позволяли сделать, т.к. первые 2 года юные студенты проходят общие курсы и попасть в престижные ВУЗы весьма проблематично. Благодаря программе грантов можно отбирать талантливых людей на самом раннем этапе".

2. Необходимо развивать преподавательский бренд.

3. ИИ нужен для решения рутинных задач. Преподавание становится более творческой профессией.

4. "Зачем тащить слона туда, где может обойтись кенгуру" (с)

5. "Для решения рутинных задач не всегда требуется интеллект" (с)

6. Нейросеть для человека должна стать персонализированным AI-тьютером.

Защищай, но проверяй. Как самостоятельно защитить СУБД от взлома» (А. Матвиенко, Инфосистемы Джет)
Интересный доклад про безопасность СУБД. Советую посмотреть...

"Самый интересный вопрос при знакомстве с новым бизнесом
- можно ваше резюме
- на что вопрос, а вы книгу не читали разве?
Больше вопросов обычно нет" (Евгений Аристов)

TAdviser и Softline провели исследование «Российские СУБД 2023»

Интересное исследование об отечественных разработчиков СУБД. Можно "пованговать" какие из этих компаний будут развиваться, а какие останутся топтаться на месте...

БД — это скальпель или мультитул? Куда привела эволюция СУБД в 2023 году

Статья "по мотивам" выступления Олег Бондарь на Saint Highload++ 2023.

Скажем так, сам доклад весьма спорный, скучный и со странными выводами. Статья получилась не лучше.

Напомню итоговый вывод всего доклада: "Будущее СУБД в опенсорсности". Любая уважающая себя СУБД должна быть open source.

Новостной дайджест Postgresso 12 (61)

Вот так читаешь новости про Постгрес и понимаешь какими же гигантскими шагами развивается эта СУБД. Для РФ это СУБД номер 1. Хотя каких-то лет 5 назад всё было по другому...

Распределенный SQL в Picodata (форк Tarantool)
Приятная статья

Аналитиков данных (data scientists) называют "самой сексуальной профессией XXI века". Очевидно тот, кто так выразился, никогда не бывал в пожарной части.
(Грайс Джойл. "Наука о данных с нуля" )

В прод идут не знания экспертов в предметной области, в прод идут предположения разработчиков... (с)
- Альберто Брандолини

Clickhouse не тормозит, а Tarantool не падает

🎓 Вчера собрались составом C++ User Group Moscow послушать доклад бывшего разработчика Tarantool Тимура Сафина про разные подходы к работе с open source.
Сейчас Тимур разрабатывает GaussDB.

☝️ Получился уникальный сплав опыта - знание тонкостей разработки внутри нескольких баз данных. Как со стороны программирования, так и осознания:
"Зачем вообще нужна конкретная база и куда её стоит развивать?"

С таким опытом Тимур проанализировал и внешнюю составляющую разработки - работу с коммьюнити, понимание open source. Как оказалось, представители кликхауза и тарантул имеют разные точки зрения.

Из доклада я уловил, что кликхауз побеждает. И вот по каким причинам:

1️⃣ Чёткое определение своей ниши, привязывание к ней имени
Кликхауз сразу определил свою нишу. И в ней побеждает.
Сейчас говоря об аналитике сразу представляешь себе кликхауз.
Тарантул. Очередная in-memory database? Чем лучше redis?

2️⃣ Наличие roadmap
Кликхауз публикует roadmap. Все могут посмотреть куда движется продукт.
В тарантуле, как я понял, такого нет.

3️⃣ Лёгкая расширяемость за счёт внешних контрибьютеров
Ты можешь расширить функционал кликхауза. Cloudflare нужен был коннектор к кафке.
Они посмотрели в роадмап. Такого не было. Просто привнесли. Им сказали "спасибо" и замерджили.

4️⃣ Дружелюбность к контрибьютерам
У кликхауза твоё авторство сохраняется.

5️⃣ Скорость внедрения
У кликхауза порядка 15 core разработчиков. Какое-то ошеломляющее кол-во коммитов в месяц.
В месяц может быть и несколько крупных коммитов на 1000 строк. Один такой коммит в тарантул занял бы порядка года для мерджа.
В тарантуле требуется 2 лайка на мердж, вместо 1 у кликхауза. "Что драмматически влияет на скорость мерджа".

6️⃣ Наличие тестирования
Кликхауз славится своим подход, который я бы назвал "затестируй меня полностью". Когда переезжали с фактически неограниченной облачной инфраструктуры яндекса в aws пришлось поумерить пыл. Но, всё-же, сохранили своё богатство тестирования.
При тестирование производительности на виртуальных машинах всегда есть разброс. Даже если стартуешь на том же kernel. Есть фактор "буйного соседа".
Вышли из этой ситуации так - на одной и той же машине запускают старый бинарь и новую версию с одинаковыми запросами. Получается, что impact от "буйного соседа" одинаков для обоих)
У тарантула с тестированием, как я понял, не очень.

7️⃣ Код ревью
Условно, в тарантул сильно больше. В кликхауз - "сделал алгоритм? Тесты зеленые? В прод!" 🟢
А потом, если что, для красоты допилить.
Тот же упомянутый Cloudflare благодаря такому дружелюбному подходу сначала внёс коннектор, который написан так себе. А потом переписал его)

8️⃣ Отношение, наличие внешних контрибьютерам
Благодаря такому поощрению к внешним коммитам, расширению функционала даже там, где и не думала core команда, вокруг кликхауза выстраивается сообщество.
Вокруг тарантула нет. Внешних коммитеров, по-моему, zero.

Также пообщались на тему менеджерских решений и выделения внутреннего продукта в open source. Как выяснилось, это не простая задача, успех которой зависит от многих факторов.

У тарантула была возможность выйти на китайский рынок, которой они не воспользовались. После получения известности кликхаузом, он получает от Китая ~50% от всех внешних коммитов.

💰Откуда деньги?
Поняли, что tarantool зарабатывает за счёт внедрения в IT структуры страны. Дело идёт, но рост ограничен сверху.

Не поняли откуда берёт деньги clickhouse. Сейчас они поднимают очередной раунд инвестиций. Как такой true open source может нести инвестором деньги/капитал/value?
Было высказано предположение, что компания стоит дорого лишь до 1ого использования - продажи чего-то/предоставления сервиса - когда её стоимость будет скорректирована.
Вспомнили убер, который до сих по убыточен(в отличие от яндекс такси). Но который вполне себе котируется как актив.

Неужели инвесторы хотят clickhouse только лишь за имя? Ради обладания брендом хорошего open source продукта?
Или дело в рейтинге?

DB-Engines Ranking:
clickhouse - 39
tarantool - 158

https://t.iss.one/cppmoscow/2933

"Софт скиллы важны, но без хардов в них нет смысла". (с)

📻 SQL FM
Третий ежегодный пост по итогам года в мире БД от Andy Pavlo.
Что я бы хотел добавить от себя...
Векторные СУБД - новый тренд. Вроде как он более перспективный, чем блокчейн СУБД. Посмотрим, что произойдет в 2024 году. Интересно смогут ли векторные СУБД стать как документоориентированые, а-ля MongoDB, CouchDB и т.п. или же их функционал интегрируют в себя текущие игроки рынка и на это всё закончится.

Неплохая идея сделать какой-нибудь небольшой курс на 8-10 часов по современным стандартам SQL. Я никогда сильно не интересовался этим трендом, но думаю это было бы востребовано. SQL:2023 - весьма интригующий стандарт

Тема про сбои в работе СУБД далеко не новая. Каждый год происходит масса проблем в работе систем, которые влекут за собой потери данных, потери функционала и т.п. Но не стоит забывать, что сбои могут произойти даже в самих стабильных системах. Со временем данные растут и нагрузка повышается и старые системы не выдерживают и ломаются. Не стоит забывать о том, что древние системы тоже нуждаются в обновлении и осовременивании.

Энди приводит статистику инвестиций в мировой рынок СУБД и их размеры поражают. Интересно, а как обстоят дела на рынке СНГ? Хорошо бы сделать такую статистику...

Конечно меня улыбнула история, о том, как сбой пароля в социальной сети обошелся пользователю в миллиард долларов. Советую почитать 🙂🎄

📚Сейчас читаю книгу Хононова Влада "Изучаем DDD – предметно-ориентированное проектирование". Книга очень интересная. Для меня понятно где-то 40%, а запомнил я наверное 20% 🤪.
Таблица как промежуточных итог прочтения 10 глав.
p.s. качество не очень, но уж извините. Сканер такой...

Мне понравилась картинка с публичного интервью на позицию DevOps. Интересный роадмап для карьерного роста.