Интеграция LLM в корпоративное хранилище данных
В данной статье рассматриваются способы интеграции Large Language Models (LLM) в корпоративные системы хранения данных. Основное внимание уделено использованию LLM для автоматического извлечения информации из текстовых данных с последующим формированием SQL-запросов. В рамках исследования также изучаются методы пост-обработки результатов SQL-запросов с целью улучшения точности и адаптивности моделей к конкретным характеристикам и особенностям баз данных.
Работа включает в себя анализ существующих решений и методов оценки эффективности LLM в контексте их интеграции в корпоративные информационные системы. Особое внимание уделяется применению Preference Learning via Database Feedback — подхода, направленного на обучение моделей на основе обратной связи от баз данных, что способствует более точному и адаптивному выполнению запросов пользователей.
Исследование также охватывает разработку примеров интеграции LLM в реальные корпоративные хранилища данных с целью демонстрации практической применимости и эффективности предлагаемых подходов.
Читать: https://habr.com/ru/articles/822771/
@database_design
___
Другие наши проекты
В данной статье рассматриваются способы интеграции Large Language Models (LLM) в корпоративные системы хранения данных. Основное внимание уделено использованию LLM для автоматического извлечения информации из текстовых данных с последующим формированием SQL-запросов. В рамках исследования также изучаются методы пост-обработки результатов SQL-запросов с целью улучшения точности и адаптивности моделей к конкретным характеристикам и особенностям баз данных.
Работа включает в себя анализ существующих решений и методов оценки эффективности LLM в контексте их интеграции в корпоративные информационные системы. Особое внимание уделяется применению Preference Learning via Database Feedback — подхода, направленного на обучение моделей на основе обратной связи от баз данных, что способствует более точному и адаптивному выполнению запросов пользователей.
Исследование также охватывает разработку примеров интеграции LLM в реальные корпоративные хранилища данных с целью демонстрации практической применимости и эффективности предлагаемых подходов.
Читать: https://habr.com/ru/articles/822771/
@database_design
___
Другие наши проекты
DB-Engines now owned by Redgate Software
A big announcement today from DB-Engines as we announce we have been acquired by Redgate Software, the end-to-end Database DevOps solution provider.
Read: https://db-engines.com/en/blog_post/107
@database_design
___
Другие наши проекты
A big announcement today from DB-Engines as we announce we have been acquired by Redgate Software, the end-to-end Database DevOps solution provider.
Read: https://db-engines.com/en/blog_post/107
@database_design
___
Другие наши проекты
Announcing Globally Distributed Autonomous Database Support for Oracle Database 23ai Enabling Raft Replication
Globally Distributed Autonomous Database now support Oracle Database 23ai Enabling Raft Replication
Read: https://blogs.oracle.com/database/post/announcing-globally-distributed-autonomous-database-support-for-oracle-database-23ai-enabling-raft-replication
@database_design
___
Другие наши проекты
Globally Distributed Autonomous Database now support Oracle Database 23ai Enabling Raft Replication
Read: https://blogs.oracle.com/database/post/announcing-globally-distributed-autonomous-database-support-for-oracle-database-23ai-enabling-raft-replication
@database_design
___
Другие наши проекты
Oracle
Announcing Globally Distributed Autonomous Database Support for Oracle Database 23ai Enabling Raft Replication
Globally Distributed Autonomous Database now support Oracle Database 23ai Enabling Raft Replication
Повышаем Data Quality: щепотка Soda для ваших данных
Привет! Меня зовут Александр Кудрявцев, я аналитик данных в команде Data Platform Банки.ру. Недавно мы озадачились вопросом контроля качества данных (Data Quality) и стали искать комплексное решение. Один из инструментов, который попал в поле зрения, — Soda Core. О нем и пойдет речь в материале.
Читать: https://habr.com/ru/companies/banki/articles/822601/
@database_design
___
Другие наши проекты
Привет! Меня зовут Александр Кудрявцев, я аналитик данных в команде Data Platform Банки.ру. Недавно мы озадачились вопросом контроля качества данных (Data Quality) и стали искать комплексное решение. Один из инструментов, который попал в поле зрения, — Soda Core. О нем и пойдет речь в материале.
Читать: https://habr.com/ru/companies/banki/articles/822601/
@database_design
___
Другие наши проекты
Дата-центр ЦЕРН на 1 эксабайт: как хранят данные
Большая наука невозможна без больших вычислений. По крайней мере, это утверждение справедливо в ядерной физике. Мы видим, что львиная доля самых мощных суперкомпьютеров установлена именно в научных учреждениях, в том числе университетах. Сразу несколько отраслей современной науки напрямую зависят от компьютерных расчётов и анализа больших данных, собранных по результатам наблюдений.
Например, в Европейском центре ядерных исследований (ЦЕРН) работает один из крупнейших дата-центров в мире. Без этого вычислительного кластера мы бы искали бозон Хиггса ещё очень долго, а Стандартная модель так бы и осталась незавершённой.
Читать: https://habr.com/ru/companies/ruvds/articles/822681/
@database_design
___
Другие наши проекты
Большая наука невозможна без больших вычислений. По крайней мере, это утверждение справедливо в ядерной физике. Мы видим, что львиная доля самых мощных суперкомпьютеров установлена именно в научных учреждениях, в том числе университетах. Сразу несколько отраслей современной науки напрямую зависят от компьютерных расчётов и анализа больших данных, собранных по результатам наблюдений.
Например, в Европейском центре ядерных исследований (ЦЕРН) работает один из крупнейших дата-центров в мире. Без этого вычислительного кластера мы бы искали бозон Хиггса ещё очень долго, а Стандартная модель так бы и осталась незавершённой.
Читать: https://habr.com/ru/companies/ruvds/articles/822681/
@database_design
___
Другие наши проекты
Основы PostgreSQL для начинающих: от установки до первых запросов
Научитесь устанавливать и работать с PostgreSQL. В этом руководстве мы рассмотрим основные команды, создадим первую базу данных и выполним простые SQL-запросы
Читать: «Основы PostgreSQL для начинающих: от установки до первых запросов»
@database_design
___
Другие наши проекты
Научитесь устанавливать и работать с PostgreSQL. В этом руководстве мы рассмотрим основные команды, создадим первую базу данных и выполним простые SQL-запросы
Читать: «Основы PostgreSQL для начинающих: от установки до первых запросов»
@database_design
___
Другие наши проекты
Tproger
Основы PostgreSQL для начинающих: от установки до первых запросов
Научитесь устанавливать и работать с PostgreSQL. В этом руководстве мы рассмотрим основные команды, создадим первую базу данных и выполним простые SQL-запросы
What’s new in MariaDB Connector/ODBC 3.2
Read: https://mariadb.com/?p=39370
@database_design
___
Другие наши проекты
Read: https://mariadb.com/?p=39370
@database_design
___
Другие наши проекты
ИИ Яндекс пытается переплюнуть Тинькофф?
В своё время читал, как голосовой консультант "Олег" от компании Тинькофф рекомендовал пользователю совершить 'Роскомнадзор' в качестве решения проблемы.
Думал - шутка.
Недавно решил потрогать Яндекс360 в варианте Премиум. В ответ Yandex решил сделать мне приятное своими нейросетевыми алгоритмами, о чём известил меня ненавязчивым пушем - Цветочное настроение.
Миниатюра фото уже намекает, да?
Хватит ли Диска для всех букетов...
Читать: https://habr.com/ru/articles/823031/
@database_design
___
Другие наши проекты
В своё время читал, как голосовой консультант "Олег" от компании Тинькофф рекомендовал пользователю совершить 'Роскомнадзор' в качестве решения проблемы.
Думал - шутка.
Недавно решил потрогать Яндекс360 в варианте Премиум. В ответ Yandex решил сделать мне приятное своими нейросетевыми алгоритмами, о чём известил меня ненавязчивым пушем - Цветочное настроение.
Миниатюра фото уже намекает, да?
Хватит ли Диска для всех букетов...
Читать: https://habr.com/ru/articles/823031/
@database_design
___
Другие наши проекты
Как мы решали задачу сегментирования бизнес-объектов
Привет! Меня зовут Владимир, я руководитель управления разработки и тестирования в СИГМЕ. Сегодня хочу рассказать, как наша команда дорабатывала CRM-систему заказчика. Она используется для контроля всевозможных коммуникаций с клиентами — от звонков на горячую линию и переписки в мессенджерах до визитов в офисы и почтовых рассылок. Архитектурно CRM спроектирована так, что способна сопровождать оказание практически любых услуг, но исторически сосредоточена на взаимодействии с клиентами энергосбытовых компаний.
Перед нами стояла задача написать подсистему, которая позволит настраивать условия и в соответствии с ними сегментировать клиентскую базу. Клиенты, соответствующие заданным условиям, будут попадать в определенный сегмент. Эта функция нужна заказчику, чтобы выстраивать диалог с клиентами с учетом их психологического профиля и предпочтений, а также адресно предлагать услуги.
Читать: https://habr.com/ru/companies/sigma/articles/823015/
@database_design
___
Другие наши проекты
Привет! Меня зовут Владимир, я руководитель управления разработки и тестирования в СИГМЕ. Сегодня хочу рассказать, как наша команда дорабатывала CRM-систему заказчика. Она используется для контроля всевозможных коммуникаций с клиентами — от звонков на горячую линию и переписки в мессенджерах до визитов в офисы и почтовых рассылок. Архитектурно CRM спроектирована так, что способна сопровождать оказание практически любых услуг, но исторически сосредоточена на взаимодействии с клиентами энергосбытовых компаний.
Перед нами стояла задача написать подсистему, которая позволит настраивать условия и в соответствии с ними сегментировать клиентскую базу. Клиенты, соответствующие заданным условиям, будут попадать в определенный сегмент. Эта функция нужна заказчику, чтобы выстраивать диалог с клиентами с учетом их психологического профиля и предпочтений, а также адресно предлагать услуги.
Читать: https://habr.com/ru/companies/sigma/articles/823015/
@database_design
___
Другие наши проекты
Exact Nearest Neighbor Vector Search for Precise Retrieval
Read: https://www.mongodb.com/blog/post/exact-nearest-neighbor-vector-search-for-precise-retrieval
@database_design
___
Другие наши проекты
Read: https://www.mongodb.com/blog/post/exact-nearest-neighbor-vector-search-for-precise-retrieval
@database_design
___
Другие наши проекты
Microsoft Power BI can now connect with the Oracle Database using Microsoft Entra ID SSO tokens
This blog announces the availability of Microsoft Entra ID SSO tokens to connect Microsoft Power BI with Oracle Database
Read: https://blogs.oracle.com/database/post/pbi-with-oracle-db
@database_design
___
Другие наши проекты
This blog announces the availability of Microsoft Entra ID SSO tokens to connect Microsoft Power BI with Oracle Database
Read: https://blogs.oracle.com/database/post/pbi-with-oracle-db
@database_design
___
Другие наши проекты
Oracle
Microsoft Power BI can now connect with the Oracle Database using Microsoft Entra ID SSO tokens
This blog announces the availability of Entra ID SSO tokens to connect Microsoft Power BI with Oracle Database
Сильный ИИ. Элира2. Сохранение диалогов ChatGPT
Всем привет!
В этой статье я расскажу о том, как можно сохранить диалоги в ChatGPT вместе с изображениями из чата!
Несмотря на уже довольно долгое существование ChatGPT в нем до сих пор отсутствует функция сохранения диалогов с изображениями. Более того, при наличии изображений в диалоге, ссылка для сохранения вообще не создается. Именно поэтому я решил создать скрипт, который позволит сохранять диалоги напрямую через веб-интерфейс ChatGPT, используя Selenium.
Читать: https://habr.com/ru/articles/823428/
@database_design
___
Другие наши проекты
Всем привет!
В этой статье я расскажу о том, как можно сохранить диалоги в ChatGPT вместе с изображениями из чата!
Несмотря на уже довольно долгое существование ChatGPT в нем до сих пор отсутствует функция сохранения диалогов с изображениями. Более того, при наличии изображений в диалоге, ссылка для сохранения вообще не создается. Именно поэтому я решил создать скрипт, который позволит сохранять диалоги напрямую через веб-интерфейс ChatGPT, используя Selenium.
Читать: https://habr.com/ru/articles/823428/
@database_design
___
Другие наши проекты
Миграция в облако глазами инженера: как мы строили гибрид для 144 виртуальных машин и 104 ТБ данных
Привет, Хабр! В этой статье Вячеслав Закариев, DevOps из компании Henderson, рассказывает о миграции в облако инфраструктуры крупного российского производителя и селлера одежды. Под катом: переезд с Hyper V на VMware, организация собственного ЦОД в офисе, интеграция его в облако, 140+ виртуальных машин от 250 ГБ до 4 ТБ каждая, честный отзыв Вячеслава по итогам переезда и много чего ещё.
Читать: https://habr.com/ru/companies/oxygendc/articles/822355/
@database_design
___
Другие наши проекты
Привет, Хабр! В этой статье Вячеслав Закариев, DevOps из компании Henderson, рассказывает о миграции в облако инфраструктуры крупного российского производителя и селлера одежды. Под катом: переезд с Hyper V на VMware, организация собственного ЦОД в офисе, интеграция его в облако, 140+ виртуальных машин от 250 ГБ до 4 ТБ каждая, честный отзыв Вячеслава по итогам переезда и много чего ещё.
Читать: https://habr.com/ru/companies/oxygendc/articles/822355/
@database_design
___
Другие наши проекты
Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса
С 2017 года мы строим и постоянно адаптируем к меняющимся требованиям и внешним факторам платформу управления данными. Для нас это инфраструктура, которая живёт и переиспользуется внутри разных сервисов, которые входят в Яндекс Go: Такси, Еда, Лавка и Доставка.
Сначала мы обсудим скоуп того, что мы считаем платформой и чем занимаемся. Дальше расскажу про архитектуру YTsaurus (YT) предназначенную для обработки и хранения данных, и как она развивалась на стороне Яндекс Go. Про YT я буду рассказывать с точки зрения того, какие возможности он дает разработчикам хранилища и платформы, аналитикам и другим пользователям, которые активно работают с данными.
Читать: https://habr.com/ru/companies/yandex/articles/822321/
@database_design
___
Другие наши проекты
С 2017 года мы строим и постоянно адаптируем к меняющимся требованиям и внешним факторам платформу управления данными. Для нас это инфраструктура, которая живёт и переиспользуется внутри разных сервисов, которые входят в Яндекс Go: Такси, Еда, Лавка и Доставка.
Сначала мы обсудим скоуп того, что мы считаем платформой и чем занимаемся. Дальше расскажу про архитектуру YTsaurus (YT) предназначенную для обработки и хранения данных, и как она развивалась на стороне Яндекс Go. Про YT я буду рассказывать с точки зрения того, какие возможности он дает разработчикам хранилища и платформы, аналитикам и другим пользователям, которые активно работают с данными.
Читать: https://habr.com/ru/companies/yandex/articles/822321/
@database_design
___
Другие наши проекты
Архивация сегментов WAL с помощью Pgbackrest
Добрый день, меня зовут Андрей, я специалист по администрированию баз данных в компании «Сервионика». За 2,5 года под моим контролем побывало около 700 кластеров баз данных, из которых 80 % — High Avaiability, треть из них — это трёхнодовые полноценные кластеры, где есть мастер, синхронная и асинхронная реплики. Также были успешно проведены проекты по миграции с Oracle и MSSQL на PostgreSQL.
Резервное копирование — один из важнейших процессов администрирования баз данных. К сожалению, никто не застрахован от сбоев оборудования или логических ошибок. Однажды мы столкнулись с ошибкой резервного копирования PostgreSQL, которая возникает у многих пользователей Pgbackrest. В сети нет единого описания её исправления. Расскажу о том, к какому решению мы пришли, и как в компании реализовано резервное копирование PostgreSQL.
Читать: https://habr.com/ru/companies/T1Holding/articles/823360/
@database_design
___
Другие наши проекты
Добрый день, меня зовут Андрей, я специалист по администрированию баз данных в компании «Сервионика». За 2,5 года под моим контролем побывало около 700 кластеров баз данных, из которых 80 % — High Avaiability, треть из них — это трёхнодовые полноценные кластеры, где есть мастер, синхронная и асинхронная реплики. Также были успешно проведены проекты по миграции с Oracle и MSSQL на PostgreSQL.
Резервное копирование — один из важнейших процессов администрирования баз данных. К сожалению, никто не застрахован от сбоев оборудования или логических ошибок. Однажды мы столкнулись с ошибкой резервного копирования PostgreSQL, которая возникает у многих пользователей Pgbackrest. В сети нет единого описания её исправления. Расскажу о том, к какому решению мы пришли, и как в компании реализовано резервное копирование PostgreSQL.
Читать: https://habr.com/ru/companies/T1Holding/articles/823360/
@database_design
___
Другие наши проекты
Atlas Vector Search Once Again Voted Most Loved Vector Database
Read: https://www.mongodb.com/blog/post/retool-state-of-ai-report-mongodb-vector-search-most-loved-vector-database
@database_design
___
Другие наши проекты
Read: https://www.mongodb.com/blog/post/retool-state-of-ai-report-mongodb-vector-search-most-loved-vector-database
@database_design
___
Другие наши проекты
ELK: использовать нельзя изобрести
Прекрасный момент: система написана, часть тестов автоматизирована, отчеты сгенерированы и даже выявлено несколько дефектов. Выдыхаем и будем думать о дальнейших планах: увеличить тестовое покрытие, добавить стабильности и что-то делать с логированием. Стоп, подождите, вы про логи? Заряжаем ELK, агенты сбора, выделяем ресурсы. Как нет ресурсов? Так, может быть, rsyslog в конце концов? И его нельзя? Звучит как тестовая задача на собеседовании, однако можно ли в такой ситуации обойтись без дополнительных инструментов, да еще и интегрировать работу с логами в систему автоматизации тестирования?
Читать: https://habr.com/ru/companies/vk/articles/822391/
@database_design
___
Другие наши проекты
Прекрасный момент: система написана, часть тестов автоматизирована, отчеты сгенерированы и даже выявлено несколько дефектов. Выдыхаем и будем думать о дальнейших планах: увеличить тестовое покрытие, добавить стабильности и что-то делать с логированием. Стоп, подождите, вы про логи? Заряжаем ELK, агенты сбора, выделяем ресурсы. Как нет ресурсов? Так, может быть, rsyslog в конце концов? И его нельзя? Звучит как тестовая задача на собеседовании, однако можно ли в такой ситуации обойтись без дополнительных инструментов, да еще и интегрировать работу с логами в систему автоматизации тестирования?
Читать: https://habr.com/ru/companies/vk/articles/822391/
@database_design
___
Другие наши проекты
MariaDB R2DBC Connector 1.2.1 now available
Read: https://mariadb.com/?p=39381
@database_design
___
Другие наши проекты
Read: https://mariadb.com/?p=39381
@database_design
___
Другие наши проекты
Собираем полноценный NAS с 4 NVME дисками размером с небольшую книгу
Увидев видео про эту плату, я подумал, что она по сути может быть полноценной медиа приставкой, файлопомойкой и торрентокачалкой одновременно и при этом занимать место размером с маленькую книгу формата А5 и кушать 5 ватт в простое, работая 24/7. Вкусно!
На самом деле несмотря на маркетинг, нормальная комплектация стоит порядка 175 долларов (а не 100, плюс доставка и растаможка) и диски, естественно не входят в эту цену. Речь идёт про плату CM3588 на базе системы на чипе RK3588. Маркетинговая страничка, спецификация, вики. Комплектов на алике очень много вариантов (с корпусами и всякими доп. железками) - выбирайте очень аккуратно.
Изначально мне казалось будет приключение на 20 минут, но в итоге пришлось чуть повозиться и не всё получилось. В этой статье я расскажу, что именно получилось сделать с этой платой, а что не получилось и какие-то минимальные результаты тестирования прошивок от производителя, дисков и копирования файлов по сети.
Что получилось, что не получилось?
Читать: https://habr.com/ru/articles/823814/
@database_design
___
Другие наши проекты
Увидев видео про эту плату, я подумал, что она по сути может быть полноценной медиа приставкой, файлопомойкой и торрентокачалкой одновременно и при этом занимать место размером с маленькую книгу формата А5 и кушать 5 ватт в простое, работая 24/7. Вкусно!
На самом деле несмотря на маркетинг, нормальная комплектация стоит порядка 175 долларов (а не 100, плюс доставка и растаможка) и диски, естественно не входят в эту цену. Речь идёт про плату CM3588 на базе системы на чипе RK3588. Маркетинговая страничка, спецификация, вики. Комплектов на алике очень много вариантов (с корпусами и всякими доп. железками) - выбирайте очень аккуратно.
Изначально мне казалось будет приключение на 20 минут, но в итоге пришлось чуть повозиться и не всё получилось. В этой статье я расскажу, что именно получилось сделать с этой платой, а что не получилось и какие-то минимальные результаты тестирования прошивок от производителя, дисков и копирования файлов по сети.
Что получилось, что не получилось?
Читать: https://habr.com/ru/articles/823814/
@database_design
___
Другие наши проекты
Unlock PDF Search in Insurance with MongoDB & SuperDuperDB
Read: https://www.mongodb.com/blog/post/unlock-pdf-search-in-insurance-mongodb-superduperdb
@database_design
___
Другие наши проекты
Read: https://www.mongodb.com/blog/post/unlock-pdf-search-in-insurance-mongodb-superduperdb
@database_design
___
Другие наши проекты
Быстрый запуск Redis через Docker Compose
Доброго времени суток! Сегодня я продемонстрирую вам, как быстро и эффективно настроить Redis с помощью Docker Compose. Этот процесс займет всего несколько минут, но в результате вы получите полноценную базу данных Redis, работающую в изолированном Docker контейнере. Важные компоненты, такие как данные кэша и конфигурации, будут сохранены на вашей локальной машине благодаря использованию томов (volumes), что обеспечит надежность и доступность данных.
Читать: https://habr.com/ru/articles/823936/
@database_design
___
Другие наши проекты
Доброго времени суток! Сегодня я продемонстрирую вам, как быстро и эффективно настроить Redis с помощью Docker Compose. Этот процесс займет всего несколько минут, но в результате вы получите полноценную базу данных Redis, работающую в изолированном Docker контейнере. Важные компоненты, такие как данные кэша и конфигурации, будут сохранены на вашей локальной машине благодаря использованию томов (volumes), что обеспечит надежность и доступность данных.
Читать: https://habr.com/ru/articles/823936/
@database_design
___
Другие наши проекты
👍1