Как использовать Elasticdump с Manticore
Elasticdump - это инструмент для управления и миграции данных в Elasticsearch. Elasticdump позволяет пользователям перемещать и сохранять индексы, экспортируя данные в файл JSON, а затем импортируя их в другое место. Эта функциональность особенно полезна для целей резервного копирования и восстановления, а также для миграции данных между различными средами (например, из разработки в продакшн).
Читать: https://habr.com/ru/articles/797055/
Elasticdump - это инструмент для управления и миграции данных в Elasticsearch. Elasticdump позволяет пользователям перемещать и сохранять индексы, экспортируя данные в файл JSON, а затем импортируя их в другое место. Эта функциональность особенно полезна для целей резервного копирования и восстановления, а также для миграции данных между различными средами (например, из разработки в продакшн).
Читать: https://habr.com/ru/articles/797055/
Практические задачи для изучающих SQL
Рассказываем о SQLTest.online — платформе, которая поможет вам прокачать навык написания SQL запросов на практических примерах.
Читать: «Практические задачи для изучающих SQL»
Рассказываем о SQLTest.online — платформе, которая поможет вам прокачать навык написания SQL запросов на практических примерах.
Читать: «Практические задачи для изучающих SQL»
Что такое СУБД Greenplum? Зачем она нужна в больших проектах DWH? Чем отличается от ClickHouse?
Ошибки в построении DWH возникают не только в результате того, что первоначально не были учтены возможные изменения в бизнес-процессах, потребностях и целях компании, но и из-за некорректного выбора стека технологий и СУБД.
Порядок хранения данных выбирается в соответствии с разными сценариями работы - запросами, разным объемом данных, количеством транзакций, необходимостью обновлений данных.
В статье читайте о СУБД Greenplum и о том, в каких случаях строить хранилища на ее основе.
Читать: https://habr.com/ru/articles/797361/
Ошибки в построении DWH возникают не только в результате того, что первоначально не были учтены возможные изменения в бизнес-процессах, потребностях и целях компании, но и из-за некорректного выбора стека технологий и СУБД.
Порядок хранения данных выбирается в соответствии с разными сценариями работы - запросами, разным объемом данных, количеством транзакций, необходимостью обновлений данных.
В статье читайте о СУБД Greenplum и о том, в каких случаях строить хранилища на ее основе.
Читать: https://habr.com/ru/articles/797361/
DIY: Ваше собственное облако на базе Kubernetes (часть 2)
Продолжаем серию постов про то как построить своё собственное облако в экосистеме Kubernetes. В прошлой статье мы разобрали как можно подготовить базовый дистрибутив Kubernetes на базе Talos Linux и Flux CD. Теперь нам предстоит обсудить возможность запуска виртуальных машин и всего что для этого необходимо, а это в первую очередь хранилище и сеть.
Мы поговорим про такие технологии как KubeVirt, LINSTOR и Kube-OVN
Для начала мне стоит рассказать зачем вообще нужны виртуальные машины, почему бы нам не ограничиться только-лишь контейнерами?
Всё дело в том, что контейнеры в ядре Linux не дают должного уровня изоляции. Несмотря на то, что с каждым годом ситуация становится всё лучше, тем не менее довольно часто мы сталкиваемся с уязвимостями, позволяющими покинуть песочницу контейнера и повысить свои привилегии в системе.
Читать: https://habr.com/ru/companies/aenix/articles/797323/
Продолжаем серию постов про то как построить своё собственное облако в экосистеме Kubernetes. В прошлой статье мы разобрали как можно подготовить базовый дистрибутив Kubernetes на базе Talos Linux и Flux CD. Теперь нам предстоит обсудить возможность запуска виртуальных машин и всего что для этого необходимо, а это в первую очередь хранилище и сеть.
Мы поговорим про такие технологии как KubeVirt, LINSTOR и Kube-OVN
Для начала мне стоит рассказать зачем вообще нужны виртуальные машины, почему бы нам не ограничиться только-лишь контейнерами?
Всё дело в том, что контейнеры в ядре Linux не дают должного уровня изоляции. Несмотря на то, что с каждым годом ситуация становится всё лучше, тем не менее довольно часто мы сталкиваемся с уязвимостями, позволяющими покинуть песочницу контейнера и повысить свои привилегии в системе.
Читать: https://habr.com/ru/companies/aenix/articles/797323/
SQL и python для анализа цен на новостройки в СПб или ценнейший навык для маркетолога в 2024
«Зачем мне SQL и python?» — задают резонный вопрос маркетологи или менеджеры по продукту, особенно в сфере недвижимости, оптовой торговли, услуг для бизнеса: «У нас нет миллионов строк данных, нет логов, мы успешно работаем с несколькими таблицами в excel».
Да действительно, у вас может не быть корпоративного хранилища данных в компании, и основой автоматизации работы с данными является Power query (что сейчас в РФ делать все труднее и труднее). Но у вас точно есть данные, которые вы получаете от смежных отделов, из CRM/CDP, MES, АСУ ТП. Эти данные приходят регулярно в виде файлов, и вы сопоставляете эти данные друг с другом с помощью ВПР, фильтруете воронкой, чистите с помощью «Найти или заменить», делайте сводники с помощью функции Pivot table.
Читать: https://habr.com/ru/articles/797701/
«Зачем мне SQL и python?» — задают резонный вопрос маркетологи или менеджеры по продукту, особенно в сфере недвижимости, оптовой торговли, услуг для бизнеса: «У нас нет миллионов строк данных, нет логов, мы успешно работаем с несколькими таблицами в excel».
Да действительно, у вас может не быть корпоративного хранилища данных в компании, и основой автоматизации работы с данными является Power query (что сейчас в РФ делать все труднее и труднее). Но у вас точно есть данные, которые вы получаете от смежных отделов, из CRM/CDP, MES, АСУ ТП. Эти данные приходят регулярно в виде файлов, и вы сопоставляете эти данные друг с другом с помощью ВПР, фильтруете воронкой, чистите с помощью «Найти или заменить», делайте сводники с помощью функции Pivot table.
Читать: https://habr.com/ru/articles/797701/
Рекомендации при работе с PostgreSQL
Доброго времени суток. Основываясь на своём опыте хочу представить некоторые рекомендации при разработке кодовой базы на SQL.
Данные рекомендации получены горьким опытом, так что надеюсь, они Вам помогут :)
Читать подробнее и больше не косячить
Читать: https://habr.com/ru/articles/794839/
Доброго времени суток. Основываясь на своём опыте хочу представить некоторые рекомендации при разработке кодовой базы на SQL.
Данные рекомендации получены горьким опытом, так что надеюсь, они Вам помогут :)
Читать подробнее и больше не косячить
Читать: https://habr.com/ru/articles/794839/
👍2
Timeweb Cloud CLI. Часть 1: S3
Салют! Не так давно компания Timeweb Cloud выпустила новую версию своего CLI (twc), который позволяет легко и удобно управлять всеми предоставляемыми ресурсами облачной платформы. В этой серии статей рассмотрим основные сценарии применения этого инструмента.
В данном материале речь пойдёт о работе с облачным объектным хранилищем S3 — это сервис для хранения любых данных в виде объектов, работа с которым осуществляется через программный интерфейс S3 API, в нём можно размещать любые типы статических данных.
Они будут храниться в одном месте и едином формате, и вы сможете в любой момент получать к ним доступ через API или графический интерфейс. Удобно размещать там, например, бэкапы, статические и медиа файлы, архивы, логи.
Читать: https://habr.com/ru/companies/timeweb/articles/791148/
Салют! Не так давно компания Timeweb Cloud выпустила новую версию своего CLI (twc), который позволяет легко и удобно управлять всеми предоставляемыми ресурсами облачной платформы. В этой серии статей рассмотрим основные сценарии применения этого инструмента.
В данном материале речь пойдёт о работе с облачным объектным хранилищем S3 — это сервис для хранения любых данных в виде объектов, работа с которым осуществляется через программный интерфейс S3 API, в нём можно размещать любые типы статических данных.
Они будут храниться в одном месте и едином формате, и вы сможете в любой момент получать к ним доступ через API или графический интерфейс. Удобно размещать там, например, бэкапы, статические и медиа файлы, архивы, логи.
Читать: https://habr.com/ru/companies/timeweb/articles/791148/
От Cache до Middleware: эволюция Tarantool
Рассказываем, что такое Middleware, как мы прокачали Tarantool от Cache до Middleware и когда будет полезен Tarantool с новыми возможностями.
Читать: https://habr.com/ru/companies/vk/articles/796603/
Рассказываем, что такое Middleware, как мы прокачали Tarantool от Cache до Middleware и когда будет полезен Tarantool с новыми возможностями.
Читать: https://habr.com/ru/companies/vk/articles/796603/
Новая современная СУБД SoQoL. Посмотрим на неё внимательнее
Вышел первый коммерческий релиз СУБД реляционного типа — SoQoL версии 3.0.0. В русском варианте название СУБД звучит как СОКОЛ.
Что это за птица?
Читать: https://habr.com/ru/articles/797279/
Вышел первый коммерческий релиз СУБД реляционного типа — SoQoL версии 3.0.0. В русском варианте название СУБД звучит как СОКОЛ.
Что это за птица?
Читать: https://habr.com/ru/articles/797279/
Leading Industry Analyst Views on Oracle Globally Distributed Autonomous Database
Oracle has just announced the general availability of Oracle Globally Distributed Autonomous Database. It delivers the benefits of Oracle Autonomous Database while giving you control over data distribution and data placement policies using Oracle’s proven sharding technology. Read perspectives from the leading industry analysts on this exciting announcement.
Read: https://blogs.oracle.com/database/post/leading-industry-analysts-perspectives-on-globally-distributed-autonomous-database-general-availability
Oracle has just announced the general availability of Oracle Globally Distributed Autonomous Database. It delivers the benefits of Oracle Autonomous Database while giving you control over data distribution and data placement policies using Oracle’s proven sharding technology. Read perspectives from the leading industry analysts on this exciting announcement.
Read: https://blogs.oracle.com/database/post/leading-industry-analysts-perspectives-on-globally-distributed-autonomous-database-general-availability
Oracle
Leading Industry Analyst Views on Oracle Globally Distributed Autonomous Database General Availability
Oracle has just announced the general availability of Oracle Globally Distributed Autonomous Database. It delivers the benefits of Oracle Autonomous Database while giving you control over data distribution and data placement policies using Oracle’s proven…
Что нового в планировщике / оптимизаторе запросов Postgres 16
PostgreSQL 16 вносит немало улучшений в планировщик запросов и позволяет выполнять многие SQL-запросы быстрее, чем в предыдущих версиях PostgreSQL.
Если вы посмотрите на PG16 release notes, то увидите некоторые из этих улучшений. Но из-за объема изменений, вносимых в каждом выпуске PostgreSQL, невозможно предоставить достаточно подробную информацию о каждом изменении.
В этом посте вы получите глубокое представление о 10 улучшениях, внесенных в планировщик запросов PostgreSQL 16. Для каждого из улучшений будет сравнения выходных данных планировщика PG15 и PG16, а также примеры того, что изменилось, в виде автономного теста, который вы можете попробовать сами.
Читать: https://habr.com/ru/articles/798043/
@database_design
PostgreSQL 16 вносит немало улучшений в планировщик запросов и позволяет выполнять многие SQL-запросы быстрее, чем в предыдущих версиях PostgreSQL.
Если вы посмотрите на PG16 release notes, то увидите некоторые из этих улучшений. Но из-за объема изменений, вносимых в каждом выпуске PostgreSQL, невозможно предоставить достаточно подробную информацию о каждом изменении.
В этом посте вы получите глубокое представление о 10 улучшениях, внесенных в планировщик запросов PostgreSQL 16. Для каждого из улучшений будет сравнения выходных данных планировщика PG15 и PG16, а также примеры того, что изменилось, в виде автономного теста, который вы можете попробовать сами.
Читать: https://habr.com/ru/articles/798043/
@database_design
Announcing the Oracle APEX Sample Document Generator App!
Oracle APEX Sample Document Generator app showcases the integration with the Document Generator Pre-built Function on OCI.
Read: https://blogs.oracle.com/apex/post/announcing-the-oracle-apex-sample-document-generator-app
@database_design
Oracle APEX Sample Document Generator app showcases the integration with the Document Generator Pre-built Function on OCI.
Read: https://blogs.oracle.com/apex/post/announcing-the-oracle-apex-sample-document-generator-app
@database_design
Путь от монолита к разделению Compute и Storage: пример поиска «хранилища мечты» для большой аналитической платформы
Для запуска и эксплуатации высоконагруженных ИТ-решений с петабайтами данных в активе, нужно проработанное решение, позволяющее гибко управлять ресурсами. Одним из критичных аспектов этого решения, является разделение Compute & Storage — разделение ресурсов инфраструктуры под вычисление и хранение соответственно. Если не реализовать такое разделение в крупном проекте, инфраструктура рискует превратиться в «чемодан без ручки» — эффективность использования ресурсов будет низкой, а сложность управления ресурсами и средами будет высока. На примере команды SberData и их корпоративной аналитической платформы я расскажу, когда требуется разделение Compute & Storage и как это реализовать максимально нативно.
Статья подготовлена по мотивам доклада на VK Data Meetup «Как разделить Compute & Storage в Hadoop и не утонуть в лавине миграций».
Читать: https://habr.com/ru/companies/vk/articles/797481/
@database_design
Для запуска и эксплуатации высоконагруженных ИТ-решений с петабайтами данных в активе, нужно проработанное решение, позволяющее гибко управлять ресурсами. Одним из критичных аспектов этого решения, является разделение Compute & Storage — разделение ресурсов инфраструктуры под вычисление и хранение соответственно. Если не реализовать такое разделение в крупном проекте, инфраструктура рискует превратиться в «чемодан без ручки» — эффективность использования ресурсов будет низкой, а сложность управления ресурсами и средами будет высока. На примере команды SberData и их корпоративной аналитической платформы я расскажу, когда требуется разделение Compute & Storage и как это реализовать максимально нативно.
Статья подготовлена по мотивам доклада на VK Data Meetup «Как разделить Compute & Storage в Hadoop и не утонуть в лавине миграций».
Читать: https://habr.com/ru/companies/vk/articles/797481/
@database_design
1С или СБИС: что выбрать предпринимателю
Решили сравнить СБИС и 1С по трем критериям: простоте операций, удобству интерфейса и дополнительным фичам. Рассказываем, какая система лучше и кому она подойдёт.
Критерий №1. Простота операций
Я решил узнать, в какой из программ проще выполнить ряд рутинных задач. Например, как добавить новую организацию в систему учета. Начнем с 1С.
Шаг 1. Тип организации. Указываем юридическое лицо — ООО или ИП.
Шаг 2. Система налогообложения. Выбираем тип налогообложения: УСН 6%, УСН 15%, ОСН.
Шаг 3. Карточка организации. Вводим название компании, ИНН, ОГРН, банковские реквизиты, адрес, телефон и еще кучу всего. Затем нужно обязательно нажать на кнопку «Записать и закрыть» и подождать секунд 20–30, пока процесс завершится, иначе система не даст перейти к следующему этапу. Спойлер: к концу первой задачи я возненавижу эту кнопку!
В 1С придумали, как упростить жизнь пользователя, и разработали сервис «1С:Контрагент». Он автоматически заполняет карточку организации: достаточно ввести ИНН — и данные подгружаются из ЕГРЮЛ или ЕГРИП. Правда, это не бесплатно. Тариф с ограничениями по автозаполнению стоит 4800 рублей в год, а безлимитный — 42 000.
Читать: https://habr.com/ru/articles/798511/
@database_design
Решили сравнить СБИС и 1С по трем критериям: простоте операций, удобству интерфейса и дополнительным фичам. Рассказываем, какая система лучше и кому она подойдёт.
Критерий №1. Простота операций
Я решил узнать, в какой из программ проще выполнить ряд рутинных задач. Например, как добавить новую организацию в систему учета. Начнем с 1С.
Шаг 1. Тип организации. Указываем юридическое лицо — ООО или ИП.
Шаг 2. Система налогообложения. Выбираем тип налогообложения: УСН 6%, УСН 15%, ОСН.
Шаг 3. Карточка организации. Вводим название компании, ИНН, ОГРН, банковские реквизиты, адрес, телефон и еще кучу всего. Затем нужно обязательно нажать на кнопку «Записать и закрыть» и подождать секунд 20–30, пока процесс завершится, иначе система не даст перейти к следующему этапу. Спойлер: к концу первой задачи я возненавижу эту кнопку!
В 1С придумали, как упростить жизнь пользователя, и разработали сервис «1С:Контрагент». Он автоматически заполняет карточку организации: достаточно ввести ИНН — и данные подгружаются из ЕГРЮЛ или ЕГРИП. Правда, это не бесплатно. Тариф с ограничениями по автозаполнению стоит 4800 рублей в год, а безлимитный — 42 000.
Читать: https://habr.com/ru/articles/798511/
@database_design
Building AI With MongoDB: How GoBots AI for E-commerce Increases Retailer Sales Conversion by 40%
Read: https://www.mongodb.com/blog/post/how-gobots-ai-ecommerce-increases-retailer-sales-conversion-by-40-percent
@database_design
Read: https://www.mongodb.com/blog/post/how-gobots-ai-ecommerce-increases-retailer-sales-conversion-by-40-percent
@database_design
Autonomous Health Framework (AHF) Version 24.2 Released
Oracle Autonomous Health Framework (AHF) works autonomously 24x7 to keep database systems healthy and running while minimizing human reaction time. Utilizing applied machine-learning technologies, Oracle AHF provides early warnings or automatically solves operational runtime issues faced by Database and System administrators in the areas of availability and performance.
Read: https://blogs.oracle.com/database/post/ahf-24-2
@database_design
Oracle Autonomous Health Framework (AHF) works autonomously 24x7 to keep database systems healthy and running while minimizing human reaction time. Utilizing applied machine-learning technologies, Oracle AHF provides early warnings or automatically solves operational runtime issues faced by Database and System administrators in the areas of availability and performance.
Read: https://blogs.oracle.com/database/post/ahf-24-2
@database_design
Oracle
Autonomous Health Framework Version 24.2 Released
Oracle Autonomous Health Framework (AHF) works autonomously 24x7 to keep database systems healthy and running while minimizing human reaction time. Utilizing applied machine-learning technologies, Oracle AHF provides early warnings or automatically solves…
Сможет ли IPFS полностью заменить HTTP?
Меня зовут Виталий Киреев, я руководитель R&D в SpaceWeb. В начале прошлого года мы внедрили IPFS-технологию в работу своего хостинга, и все наши клиенты получили возможность размещать контент в IPFS-сети. Решились на такой шаг не сразу: IPFS — технология пока еще экспериментальная, к ней и у R&D-команды полно вопросов.
В статье расскажем об основных принципах устройства IPFS, обсудим преимущества и недостатки. А еще поделимся, зачем вообще классическому хостинг-провайдеру было внедрять IPFS-технологию и с какими трудностями мы столкнулись в процессе. Статья будет полезна тем, кто только начинает знакомиться с IPFS или планирует использовать технологию для своих проектов.
Читать: https://habr.com/ru/companies/spaceweb/articles/798361/
@database_design
Меня зовут Виталий Киреев, я руководитель R&D в SpaceWeb. В начале прошлого года мы внедрили IPFS-технологию в работу своего хостинга, и все наши клиенты получили возможность размещать контент в IPFS-сети. Решились на такой шаг не сразу: IPFS — технология пока еще экспериментальная, к ней и у R&D-команды полно вопросов.
В статье расскажем об основных принципах устройства IPFS, обсудим преимущества и недостатки. А еще поделимся, зачем вообще классическому хостинг-провайдеру было внедрять IPFS-технологию и с какими трудностями мы столкнулись в процессе. Статья будет полезна тем, кто только начинает знакомиться с IPFS или планирует использовать технологию для своих проектов.
Читать: https://habr.com/ru/companies/spaceweb/articles/798361/
@database_design
Новые горизонты баз данных: 8 тенденций в управлении информацией
Базы данных — явление не новое. Способы хранения, поиска и предоставления данных пользователям являются ключевыми аспектами разработки веб-приложений на протяжении многих лет. Однако это не означает, что все осталось по-прежнему.
Сегодня мы узнаем про перспективы развития баз данных — 8 тенденций управления информацией и рассмотрим 11 наглядных примеров.
Читать: https://habr.com/ru/companies/otus/articles/798731/
@database_design
Базы данных — явление не новое. Способы хранения, поиска и предоставления данных пользователям являются ключевыми аспектами разработки веб-приложений на протяжении многих лет. Однако это не означает, что все осталось по-прежнему.
Сегодня мы узнаем про перспективы развития баз данных — 8 тенденций управления информацией и рассмотрим 11 наглядных примеров.
Читать: https://habr.com/ru/companies/otus/articles/798731/
@database_design
Российские СХД, очень много платформ для ML, новые GPU и коммутаторы. Дайджест серверного железа за февраль
Привет! Меня зовут Сергей, в этой статье я расскажу о новинках в мире железа за прошедший месяц. Многие из них показали на выставке Mobile World Congress 2024 в Барселоне. Бонус — обзор нового оборудования российских вендоров. Уже присматриваете железо для своих серверов? Подробности под катом!
Читать: https://habr.com/ru/companies/selectel/articles/772544/
@database_design
Привет! Меня зовут Сергей, в этой статье я расскажу о новинках в мире железа за прошедший месяц. Многие из них показали на выставке Mobile World Congress 2024 в Барселоне. Бонус — обзор нового оборудования российских вендоров. Уже присматриваете железо для своих серверов? Подробности под катом!
Читать: https://habr.com/ru/companies/selectel/articles/772544/
@database_design
Forwarded from Веб-страница
Азбука SQL: подборка полезных статей по SQL
1. Создаем базу данных и первую таблицу: https://proglib.io/p/azbuka-sql-v-primerah-chast-1-sozdaem-bazu-dannyh-i-pervuyu-tablicu-2023-11-17
2. Ограничения, которые упрощают жизнь: https://proglib.io/p/azbuka-sql-v-primerah-chast-2-ogranicheniya-kotorye-uproshchayut-zhizn-2023-11-21
3. Обрабатываем результаты и делаем сложные запросы: https://proglib.io/p/azbuka-sql-v-primerah-chast-3-obrabatyvaem-rezultaty-i-delaem-slozhnye-zaprosy-2024-01-19
@tproger_web #sql #бд
1. Создаем базу данных и первую таблицу: https://proglib.io/p/azbuka-sql-v-primerah-chast-1-sozdaem-bazu-dannyh-i-pervuyu-tablicu-2023-11-17
2. Ограничения, которые упрощают жизнь: https://proglib.io/p/azbuka-sql-v-primerah-chast-2-ogranicheniya-kotorye-uproshchayut-zhizn-2023-11-21
3. Обрабатываем результаты и делаем сложные запросы: https://proglib.io/p/azbuka-sql-v-primerah-chast-3-obrabatyvaem-rezultaty-i-delaem-slozhnye-zaprosy-2024-01-19
@tproger_web #sql #бд
👍2
Бьемся с индексацией парных неравенств в планах PostgreSQL
Я уже не раз писал, что условия с несколькими неравенствами (
В этой статье мы не только рассмотрим способы решения подобных задач "в общем виде", но и покажем, как нам удалось автоматизировать их решение в рамках функционала рекомендаций индексов нашего сервиса анализа планов explain.tensor.ru и его новых возможностях.
Читать: https://habr.com/ru/companies/tensor/articles/799225/
@database_design
Я уже не раз писал, что условия с несколькими неравенствами (
<,<=,=, >) обычно плохо подходят для индексирования "классическим" btree, вызывают "тормоза", и необходимо придумывать различные нетривиальные подходы в PostgreSQL, чтобы добиться хорошей производительности подобного запроса.В этой статье мы не только рассмотрим способы решения подобных задач "в общем виде", но и покажем, как нам удалось автоматизировать их решение в рамках функционала рекомендаций индексов нашего сервиса анализа планов explain.tensor.ru и его новых возможностях.
Читать: https://habr.com/ru/companies/tensor/articles/799225/
@database_design