Хорошая статейка на тему векторных БД с объяснением "на пальцах"
https://towardsdatascience.com/explaining-vector-databases-in-3-levels-of-difficulty-fc392e48ab78
https://towardsdatascience.com/explaining-vector-databases-in-3-levels-of-difficulty-fc392e48ab78
Новостной выпуск №5
1. https://habr.com/ru/companies/flant/articles/747760/
Хорошая техническая статья по сравнению кластерных возможностей keyDB с Redis. Конечно в ней больше про KeyDB, но не суть.
Автор пишет хорошо и интересно.
2. https://habr.com/ru/companies/vk/articles/748082/
Новая "мага" по распределенных системах от VK на базе ВУЗа ИТМО.
Меня привлекло то, что в 1-ом семестре будут 2 предмета по БД: "Углубленные БД" и "NoSQL БД". Очень интересны учебные программы. Особенно заинтересовал спойлер в виде методики преподавания live coding. Очень интересно как это будет реализовано...
3. https://habr.com/ru/companies/timeweb/articles/748812/
Верификация распределенных систем.
4. https://siliconangle.com/2023/07/21/sqldbm-helps-psl-group-improve-medical-care-through-visualized-and-interactive-database-modeling-snowflakesummit/
"Облачная СУБД Snowflake такая классная! Она позволили улучшить показатели качества мед.обслуживания нашей компании PSL Group" (с). Краткий тезис новости :-).
Хотелось бы подроюностей, но хоть так...
5. https://blog.jetbrains.com/dotnet/2023/07/20/reverse-engineering-existing-databases-with-entity-framework-core/
В этой статье затронута довольна интересная тема реверс-инженеринга готового проекта. Есть какая-то схема в бд, есть функции, процедуры, представления. Хочется понять их логическую взаимосвязь. Довольно интересное поле для исследований. Хотя возможно я ошибаюсь и всё уже давны-давно разобрано "до белых костей".
6. https://thenewstack.io/what-is-a-real-vector-database/
Продвигается интрумент тестирования векторных СУБД VectorDBBench. Супер, сразу можно понять подойдёт вам та или иная СУБД.
7. https://thenewstack.io/why-developers-need-vector-search/
Опять про векторный поиск и какой он классный...
8. https://www.theregister.com/2023/07/18/benefits_that_drive_enterprise_adoption/
Графовые БД потихонечку завоевывают своё "место под солнцем". Небольшая реклама книги.
1. https://habr.com/ru/companies/flant/articles/747760/
Хорошая техническая статья по сравнению кластерных возможностей keyDB с Redis. Конечно в ней больше про KeyDB, но не суть.
Автор пишет хорошо и интересно.
2. https://habr.com/ru/companies/vk/articles/748082/
Новая "мага" по распределенных системах от VK на базе ВУЗа ИТМО.
Меня привлекло то, что в 1-ом семестре будут 2 предмета по БД: "Углубленные БД" и "NoSQL БД". Очень интересны учебные программы. Особенно заинтересовал спойлер в виде методики преподавания live coding. Очень интересно как это будет реализовано...
3. https://habr.com/ru/companies/timeweb/articles/748812/
Верификация распределенных систем.
4. https://siliconangle.com/2023/07/21/sqldbm-helps-psl-group-improve-medical-care-through-visualized-and-interactive-database-modeling-snowflakesummit/
"Облачная СУБД Snowflake такая классная! Она позволили улучшить показатели качества мед.обслуживания нашей компании PSL Group" (с). Краткий тезис новости :-).
Хотелось бы подроюностей, но хоть так...
5. https://blog.jetbrains.com/dotnet/2023/07/20/reverse-engineering-existing-databases-with-entity-framework-core/
В этой статье затронута довольна интересная тема реверс-инженеринга готового проекта. Есть какая-то схема в бд, есть функции, процедуры, представления. Хочется понять их логическую взаимосвязь. Довольно интересное поле для исследований. Хотя возможно я ошибаюсь и всё уже давны-давно разобрано "до белых костей".
6. https://thenewstack.io/what-is-a-real-vector-database/
Продвигается интрумент тестирования векторных СУБД VectorDBBench. Супер, сразу можно понять подойдёт вам та или иная СУБД.
7. https://thenewstack.io/why-developers-need-vector-search/
Опять про векторный поиск и какой он классный...
8. https://www.theregister.com/2023/07/18/benefits_that_drive_enterprise_adoption/
Графовые БД потихонечку завоевывают своё "место под солнцем". Небольшая реклама книги.
https://www.youtube.com/watch?v=iJPjOaajQdQ
Несколько видео с лекциями Константина Осипова по Базам Данных для аналитиков данных. Очень крутой спикер. Всем советую его послушать!
Несколько видео с лекциями Константина Осипова по Базам Данных для аналитиков данных. Очень крутой спикер. Всем советую его послушать!
Новостной выпуск №6
1. https://mariadb.com/resources/blog/new-mariadb-enterprise-server-23-release-now-available-as-technical-preview/
Интересное почитать про фичи новой версии МарииДБ. Для ознакомления пойдёт.
2. https://www.vertabelo.com/blog/data-model-for-inventory-management-system/
Очередной сайт по проектирвоанию БД онлайн. Ничего особо интересного, но так, полистать сойдёт.
3. https://thenewstack.io/predictive-analytics-using-a-time-series-database/
Прогнозная аналитика в TSDB. Тема очень интересная. Хотелось бы пощупать такой проект в живую. Думаю для дипломных работ вполне может зайти.
4. https://www.pcgamer.com/notorious-hacking-forums-data-up-for-sale-after-being-hacked-by-other-hackers/
Что тут важного... База данных BreachForums с 212 тысяч записей стоит 100 000-150 000 долларов (даже 250 000 долларов).
Получается 50 центов за 1 учетку. Хочется поразмышлять о стоимости и ценности украденных данных. Почему именно такая цена? Кто готов за неё заплатить? Какие последствия в случае успешной продажи? Куча вопросов без ответа...
5. https://www.securityweek.com/maritime-cyberattack-database-launched-by-dutch-university/
Продолжение темы кибербезопасности.
"База данных о морских кибератаках также может быть использована для создания реалистичных симуляций киберинцидентов, заявили ее создатели" (с).
6. https://www.itnews.com.au/news/australia-post-looks-to-graph-database-digital-twin-to-improve-delivery-598130
Почтовые компании тоже пытаются постичь Джен с графовыми БД. Интересно, у Почты России (или ПочтыТех) есть такие планы?
7. https://www.dbta.com/Magazine/Database-Trends-and-Applications-Magazine-June-July-2023-Issue-12882.aspx
Очередной номер журанала о трендах в области баз данных за июнь/июль. Обзор журанал сделаю чуть позже.
8. https://arenadata.tech/about/news/arenadata-zanyala-chetvertoe-mesto-sredi-razrabotchikov-gotovogo-po-v-renkinge-raex/
"Себя не похвалишь - никто не похвалит" (с) Аренадата продолжает зарабатывать кучу денег. Снимаю шляпу перед маркетологами.
9. https://habr.com/ru/companies/yandex/articles/748134/
Интересная статья на тему релевантного поиска в магазине. Самое интересеное, что используются 3 разных движка и методов поиска в зависимости от настроек системы. Интересное решение.
10. https://habr.com/ru/companies/cloud_mts/articles/750592/
Для людей, которые занимаются мониторингом весьма полезная статья. Думаю отличное начало для проектирования дашборда по отслеживанию сотояния БД.
1. https://mariadb.com/resources/blog/new-mariadb-enterprise-server-23-release-now-available-as-technical-preview/
Интересное почитать про фичи новой версии МарииДБ. Для ознакомления пойдёт.
2. https://www.vertabelo.com/blog/data-model-for-inventory-management-system/
Очередной сайт по проектирвоанию БД онлайн. Ничего особо интересного, но так, полистать сойдёт.
3. https://thenewstack.io/predictive-analytics-using-a-time-series-database/
Прогнозная аналитика в TSDB. Тема очень интересная. Хотелось бы пощупать такой проект в живую. Думаю для дипломных работ вполне может зайти.
4. https://www.pcgamer.com/notorious-hacking-forums-data-up-for-sale-after-being-hacked-by-other-hackers/
Что тут важного... База данных BreachForums с 212 тысяч записей стоит 100 000-150 000 долларов (даже 250 000 долларов).
Получается 50 центов за 1 учетку. Хочется поразмышлять о стоимости и ценности украденных данных. Почему именно такая цена? Кто готов за неё заплатить? Какие последствия в случае успешной продажи? Куча вопросов без ответа...
5. https://www.securityweek.com/maritime-cyberattack-database-launched-by-dutch-university/
Продолжение темы кибербезопасности.
"База данных о морских кибератаках также может быть использована для создания реалистичных симуляций киберинцидентов, заявили ее создатели" (с).
6. https://www.itnews.com.au/news/australia-post-looks-to-graph-database-digital-twin-to-improve-delivery-598130
Почтовые компании тоже пытаются постичь Джен с графовыми БД. Интересно, у Почты России (или ПочтыТех) есть такие планы?
7. https://www.dbta.com/Magazine/Database-Trends-and-Applications-Magazine-June-July-2023-Issue-12882.aspx
Очередной номер журанала о трендах в области баз данных за июнь/июль. Обзор журанал сделаю чуть позже.
8. https://arenadata.tech/about/news/arenadata-zanyala-chetvertoe-mesto-sredi-razrabotchikov-gotovogo-po-v-renkinge-raex/
"Себя не похвалишь - никто не похвалит" (с) Аренадата продолжает зарабатывать кучу денег. Снимаю шляпу перед маркетологами.
9. https://habr.com/ru/companies/yandex/articles/748134/
Интересная статья на тему релевантного поиска в магазине. Самое интересеное, что используются 3 разных движка и методов поиска в зависимости от настроек системы. Интересное решение.
10. https://habr.com/ru/companies/cloud_mts/articles/750592/
Для людей, которые занимаются мониторингом весьма полезная статья. Думаю отличное начало для проектирования дашборда по отслеживанию сотояния БД.
MariaDB
New MariaDB Enterprise Server 23 Release, Now Available as Technical Preview | MariaDB
Try the tech preview of MariaDB Enterprise Server 23 available for customers to download on mariadb.com/downloads.
yeniseidb.ru
СУБД «Енисей» — простое решение для сложных проектов
«Енисей» — это документо-ориентированная, высокопроизводительная, распределённая NoSQL СУБД с поддержкой multi-master replication. Идеальное решение для создания и управления оперативными базами данных.
Разбор некоторых статей из журнала "Database-Trends-and-Applications" за июнь/июль 2023.
1. Статья: Data Leaves the Silo to Power the Intelligent Enterprise By Joe McKendrick
Несколько цитат: «К 2025 году по меньшей мере 90% новых выпусков корпоративных приложений будут включать встроенные функции искусственного интеллекта», «Существует также "облачизация" баз данных с открытым исходным кодом с полностью управляемыми сервисами, объем рынка которой значительно растет», «более 70% новых приложений будут разрабатываться на основе баз данных с открытым исходным кодом», «Еще 80% предприятий будут работать в нескольких облаках».
2. Статья: The New World of DATABASE TECHNOLOGIES and STRATEGIES in 2023
Несколько советов по достижению адекватного понимая в работе СУБД
А. Обучайте бизнес-пользователей, обучайте команду базы данных
Б. Держите бизнес на переднем плане и в центре внимания.
В. Сделайте архитектуру данных и моделирование данных более важными, чем когда—либо.
Г. Активизируйте запросы.
Д. Убедитесь, что все данные скопированы, доступны и защищены
Е. Следите за производительностью и потенциальными сбоями
Ж. Продолжайте автоматизацию
З. Поддерживайте в актуальном состоянии навыки каждого
И. Обратите внимание на DataOps, DevOps и гибкие методологии
3. Статья: Data Democratization for Highly Siloed, Complex, and Large Organizations
Очень расплывчатая статья по демократизации данных. Основная идея, чтобы новые сервисы использовали существующие пулы данных и т.п.
4. Статья: Five Tips for Becoming a More Effective Database Professional
А. Если и учиться, то только в «полевых условиях».
Б. Ищите наставника и учитесь у других.
В. Пройдите специализированные курсы и получите сертификаты.
Г. Планируйте заранее. Учитесь быть проактивными.
Д. Используйте систему мониторинга.
5. Статья: Arweave Aims to Provide a ‘Forever’ Data Store
История имеет тенденцию меняться. Каждый правитель может изменить какие-то исторические реалии и следовать им. Это является огромной проблемой современного общества. Как вариант борьбы с этим, можно вести «летопись» с помощью технологии Блокчейн. Она позволит сохранить данные в неизменяемом виде. Это прекрасная идея и концепция. Мне кажется эта особенность может дать второе рождение этой технологии.
6. Статья: AI Is Impacting the Role of the DBA
Это мечта любой компании, что добавив ИИ можно будет сократить штат админов до 1-2 человек. Автоматизированные БД и т.п. Сейчас многие крупные компании пытаются разработать инструменты управления БД с функциямии ИИ. Порой это весьма полезно. НО… стоимость такого ПО заоблачная… Однако для владельцев облачных БД думаю вполне посильная. ИИ будет всё чаще встречаться нам в облачных сервисах.
7. Статья Programming and Attitudes
Если кратко, то статья о том, что в самого начала проекта надо задать все интересующие вопросы. Не должно быть много значности и прочее.
1. Статья: Data Leaves the Silo to Power the Intelligent Enterprise By Joe McKendrick
Несколько цитат: «К 2025 году по меньшей мере 90% новых выпусков корпоративных приложений будут включать встроенные функции искусственного интеллекта», «Существует также "облачизация" баз данных с открытым исходным кодом с полностью управляемыми сервисами, объем рынка которой значительно растет», «более 70% новых приложений будут разрабатываться на основе баз данных с открытым исходным кодом», «Еще 80% предприятий будут работать в нескольких облаках».
2. Статья: The New World of DATABASE TECHNOLOGIES and STRATEGIES in 2023
Несколько советов по достижению адекватного понимая в работе СУБД
А. Обучайте бизнес-пользователей, обучайте команду базы данных
Б. Держите бизнес на переднем плане и в центре внимания.
В. Сделайте архитектуру данных и моделирование данных более важными, чем когда—либо.
Г. Активизируйте запросы.
Д. Убедитесь, что все данные скопированы, доступны и защищены
Е. Следите за производительностью и потенциальными сбоями
Ж. Продолжайте автоматизацию
З. Поддерживайте в актуальном состоянии навыки каждого
И. Обратите внимание на DataOps, DevOps и гибкие методологии
3. Статья: Data Democratization for Highly Siloed, Complex, and Large Organizations
Очень расплывчатая статья по демократизации данных. Основная идея, чтобы новые сервисы использовали существующие пулы данных и т.п.
4. Статья: Five Tips for Becoming a More Effective Database Professional
А. Если и учиться, то только в «полевых условиях».
Б. Ищите наставника и учитесь у других.
В. Пройдите специализированные курсы и получите сертификаты.
Г. Планируйте заранее. Учитесь быть проактивными.
Д. Используйте систему мониторинга.
5. Статья: Arweave Aims to Provide a ‘Forever’ Data Store
История имеет тенденцию меняться. Каждый правитель может изменить какие-то исторические реалии и следовать им. Это является огромной проблемой современного общества. Как вариант борьбы с этим, можно вести «летопись» с помощью технологии Блокчейн. Она позволит сохранить данные в неизменяемом виде. Это прекрасная идея и концепция. Мне кажется эта особенность может дать второе рождение этой технологии.
6. Статья: AI Is Impacting the Role of the DBA
Это мечта любой компании, что добавив ИИ можно будет сократить штат админов до 1-2 человек. Автоматизированные БД и т.п. Сейчас многие крупные компании пытаются разработать инструменты управления БД с функциямии ИИ. Порой это весьма полезно. НО… стоимость такого ПО заоблачная… Однако для владельцев облачных БД думаю вполне посильная. ИИ будет всё чаще встречаться нам в облачных сервисах.
7. Статья Programming and Attitudes
Если кратко, то статья о том, что в самого начала проекта надо задать все интересующие вопросы. Не должно быть много значности и прочее.
Новостной выпуск №7
1. https://habr.com/ru/companies/cloud_mts/articles/751720/
Жизненная статья про возможный ущерб в случае падения БД.
2. https://habr.com/ru/companies/ydb/articles/751374/
Фишки новой версии YDB.
3. https://datageek.blog/en/2023/08/03/what-is-snowflake/
Что такое "снижинка" и с чем её едят.
4. https://www.infoq.com/presentations/tigerbeetle/
5. https://thenewstack.io/comparing-different-vector-embeddings/
1. https://habr.com/ru/companies/cloud_mts/articles/751720/
Жизненная статья про возможный ущерб в случае падения БД.
2. https://habr.com/ru/companies/ydb/articles/751374/
Фишки новой версии YDB.
3. https://datageek.blog/en/2023/08/03/what-is-snowflake/
Что такое "снижинка" и с чем её едят.
4. https://www.infoq.com/presentations/tigerbeetle/
5. https://thenewstack.io/comparing-different-vector-embeddings/
Why Machine Learning for Automatically Optimizing Databases Doesn't Work by Andy Pavlo - JOTB23
Очень интересное исследование машинного обучения и автоматизированных СУБД. Всего можно добиться, но есть огромное число нюансов....
Очень интересное исследование машинного обучения и автоматизированных СУБД. Всего можно добиться, но есть огромное число нюансов....
#smartdata2023
Что не так с NoSQL?
Нападение
- Нет определения термина NoSQL. Что это такое - непонятно.
- Если мы говорим, что используем в проекте NoSQL СУБД, то это означает любую не РСУБД.
- Cassanda - антагонист MongoDB
Защита
- Что такое SQL СУБД? Их так же огромное количество.
- Если мы говорим SQL, то подразумеваем ACID
- NoSQL - удобный термин. "Понятный" для многих.
Что не так с NoSQL?
Нападение
- Нет определения термина NoSQL. Что это такое - непонятно.
- Если мы говорим, что используем в проекте NoSQL СУБД, то это означает любую не РСУБД.
- Cassanda - антагонист MongoDB
Защита
- Что такое SQL СУБД? Их так же огромное количество.
- Если мы говорим SQL, то подразумеваем ACID
- NoSQL - удобный термин. "Понятный" для многих.
SmartData 2023. Конференция по инженерии данных
Что не так с NoSQL? | Доклад на SmartData 2023
Стоит ли использовать термин NoSQL? Насколько корректно его использовать и есть ли моменты, когда он действительно нужен? Что скрывается за этим термином и почему им пользуются до сих пор? Попробуем ответить на эти вопросы — и не только в рамках обсуждения.
#smartdata2023
ACID-транзакции в Apache Cassandra 5.0
Немного про ACCORD.
Кассандра потенциально первая СУБД с поддержкой leaderless ACID транзакций.
Неплохо дано введение в аккорд и зачем это нужно Кассандре.
ACID-транзакции в Apache Cassandra 5.0
Немного про ACCORD.
Кассандра потенциально первая СУБД с поддержкой leaderless ACID транзакций.
Неплохо дано введение в аккорд и зачем это нужно Кассандре.
An Honest Comparison of Open Source Vector Databases - KDnuggets
https://www.kdnuggets.com/an-honest-comparison-of-open-source-vector-databases
https://www.kdnuggets.com/an-honest-comparison-of-open-source-vector-databases
KDnuggets
An Honest Comparison of Open Source Vector Databases
We will explore their use cases, key features, performance metrics, supported programming languages, and more to provide a comprehensive and unbiased overview of each database.
#smartdata2023
Разгоним запросы: как быстро готовить ClickHouse
Презентация
Best Practise по настройке ClickHouse. Полезненько.
Разгоним запросы: как быстро готовить ClickHouse
Презентация
Best Practise по настройке ClickHouse. Полезненько.
#smartdata2023
Движение к универсальности: гибридная OLTP-база с поддержкой OLAP-запросов
Презентация
Хороший доклад. Очень наглядно изложены отличия OLAP и OLTP нагрузок. Предложены идеи по решению основных проблем по созданию HTAP хранилища
Движение к универсальности: гибридная OLTP-база с поддержкой OLAP-запросов
Презентация
Хороший доклад. Очень наглядно изложены отличия OLAP и OLTP нагрузок. Предложены идеи по решению основных проблем по созданию HTAP хранилища
SmartData 2023. Конференция по инженерии данных
Движение к универсальности: гибридная OLTP-база с поддержкой OLAP-запросов | Доклад на SmartData 2023
Интеграция OLTP- и OLAP-функций в распределенной базе данных — преодоление традиционных барьеров в направлении универсального решения. Алексей расскажет про их процесс разработки такого решения, которое сочетает в себе функциональность OLTP и OLAP для выполнения…
#smartdata2023
Сжатие, шифрование и не только: меняем поведение и гарантии распределенной базы данных
Презентация
Чудесный доклад в котором "на пальцах" описывается процесс сжатия данных в памяти и на диске. Всем советую посмотреть.
Сжатие, шифрование и не только: меняем поведение и гарантии распределенной базы данных
Презентация
Чудесный доклад в котором "на пальцах" описывается процесс сжатия данных в памяти и на диске. Всем советую посмотреть.
SmartData 2023. Конференция по инженерии данных
Сжатие, шифрование и не только: меняем поведение и гарантии распределенной базы данных | Доклад на SmartData 2023
Разберем оригинальный подход к сжатию данных в Apache Ignite и причины по которым пришлось разработать новый. Сравним оба варианта между собой и с родственным механизмом шифрования данных. Проговорим какими еще могли быть варианты исполнения механизма сжатия…
NoSQL and transactions getting the numbers out Konstantin Osipov ScyllaDB
Чудесных доклад Коснтантина Осипова с HighLoad++ в Армении.
Чудесных доклад Коснтантина Осипова с HighLoad++ в Армении.
YouTube
NoSQL and transactions getting the numbers out Konstantin Osipov ScyllaDB
#smartdata2023
Применение TLA+ для эффективного тестирования распределенных систем
Презентация
Интересный доклад. Особенного его первая половина. По сути "студенты ИТМО СПб" из ВК работают над верифицирующей системой для реализаций распределенных алгоритмов консенсуса
Применение TLA+ для эффективного тестирования распределенных систем
Презентация
Интересный доклад. Особенного его первая половина. По сути "студенты ИТМО СПб" из ВК работают над верифицирующей системой для реализаций распределенных алгоритмов консенсуса
SmartData 2023. Конференция по инженерии данных
Применение TLA+ для эффективного тестирования распределенных систем | Доклад на SmartData 2023
В докладе изучим проблему разработки и тестирования распределенных систем, рассмотрим язык спецификации TLA+ и его применение для верификации программ. Дополнительно опишем метод тестирования распределенных систем, построенных на акторной модели, совмещающий…
Pliops готовит новый СУБД-ускоритель XDP с удвоенной производительностью / ServerNews
https://servernews.ru/1097224
https://servernews.ru/1097224
ServerNews - все из мира больших мощностей
Pliops готовит новый СУБД-ускоритель XDP с удвоенной производительностью
Компания Pliops в рамках конференции Gartner приоткрыла завесу тайны над ускорителем Extreme Data Processor (XDP) следующего поколения. По заявления разработчика, новинка обеспечит приблизительно двукратное увеличение производительности по сравнению с предшественником.