Быстрая обработка данных в data lake с помощью SQL
Кому пришла в голову идея отправлять SQL запросы в data lake? Оказывается, это позволяет компаниям более гибко и эффективно анализировать свои данные за счёт уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище. Рассмотрим, какие популярные SQL-движки умеют это делать и как им это удаётся.
Меня зовут Владимир Озеров, я руковожу компанией Querify Labs. Мы уже порядка 10 лет занимаемся распределённым SQL, делаем всевозможные SQL-движки, в частности CedrusData — коммерческий движок на основе опенсорс проекта Trino. Сегодня поговорим про то, каким образом устроен ряд SQL-движков, которые обрабатывают данные от data lake.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/828836/
#ru
@database_design | Другие наши каналы
Кому пришла в голову идея отправлять SQL запросы в data lake? Оказывается, это позволяет компаниям более гибко и эффективно анализировать свои данные за счёт уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище. Рассмотрим, какие популярные SQL-движки умеют это делать и как им это удаётся.
Меня зовут Владимир Озеров, я руковожу компанией Querify Labs. Мы уже порядка 10 лет занимаемся распределённым SQL, делаем всевозможные SQL-движки, в частности CedrusData — коммерческий движок на основе опенсорс проекта Trino. Сегодня поговорим про то, каким образом устроен ряд SQL-движков, которые обрабатывают данные от data lake.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/828836/
#ru
@database_design | Другие наши каналы
Новая Программа MAAP от MongoDB Уже Доступна!
MongoDB объявила о запуске MongoDB AI Applications Program (MAAP), которая поможет компаниям внедрять передовые AI-технологии. MAAP предлагает архитектурные решения, интеграции с ведущими технологиями и профессиональные услуги для быстрого развертывания AI-приложений. Узнайте больше на сайте MongoDB! Magicpin трансформирует ритейл в Индии с помощью MongoDB
Компания magicpin создала крупнейшую платформу гиперлокальных ритейлеров в Индии. Сотрудничая с локальными магазинами и используя модель оплаты за конверсию, magicpin увеличивает трафик и экономию для клиентов без использования складов. В основе их успеха — гибкость и масштабируемость MongoDB.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB объявила о запуске MongoDB AI Applications Program (MAAP), которая поможет компаниям внедрять передовые AI-технологии. MAAP предлагает архитектурные решения, интеграции с ведущими технологиями и профессиональные услуги для быстрого развертывания AI-приложений. Узнайте больше на сайте MongoDB! Magicpin трансформирует ритейл в Индии с помощью MongoDB
Компания magicpin создала крупнейшую платформу гиперлокальных ритейлеров в Индии. Сотрудничая с локальными магазинами и используя модель оплаты за конверсию, magicpin увеличивает трафик и экономию для клиентов без использования складов. В основе их успеха — гибкость и масштабируемость MongoDB.
Читать подробнее
#en
@database_design | Другие наши каналы
Автоматизация откатов: повышение приоритетов транзакций
Автоматизация процесса отката низкоприоритетных транзакций при блокировке высокоприоритетных на уровне строк снижает административную нагрузку на администраторов баз данных и помогает поддерживать скорость и SLA более важных транзакций.
Читать подробнее
#en
@database_design | Другие наши каналы
Автоматизация процесса отката низкоприоритетных транзакций при блокировке высокоприоритетных на уровне строк снижает административную нагрузку на администраторов баз данных и помогает поддерживать скорость и SLA более важных транзакций.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
New Priority Transactions Capability with Oracle Database 23ai
Automating the process of rolling back a low-priority transaction, blocking a high-priority one on row locks, reduces the administrative burden for DBAs while also helping to maintain transaction latencies/SLA on higher priority transactions
Кто такой Data Engineer | Дата Инженер
В статье вы узнаете кто такой Data Engineer | Дата Инженер. Какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии
Читать: https://habr.com/ru/articles/830376/
#ru
@database_design | Другие наши каналы
В статье вы узнаете кто такой Data Engineer | Дата Инженер. Какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии
Читать: https://habr.com/ru/articles/830376/
#ru
@database_design | Другие наши каналы
Красота и изящество таблицы ASCII
Если вы программист или хотя бы немного связаны с программированием1, то без сомнения сталкивались с таблицей ASCII.
Таблица ASCII полезна. Но знали ли вы, что она ещё красива и изящна?
Сегодня даже не близкие к программированию люди могут знать об ASCII благодаря книгам и фильмам наподобие «Марсианина»2
ASCII по-прежнему с нами; даже если вы передаёте современный Unicode3, то должны знать, что самый популярный формат кодировки UTF-8 специально спроектирован как обратно совместимый с ASCII! Декодировав эту статью как ASCII, вы в целом поймёте её смысл… если закроете глаза на мусорные символы в конце предложений.
Читать: https://habr.com/ru/companies/ruvds/articles/831138/
#ru
@database_design | Другие наши каналы
Если вы программист или хотя бы немного связаны с программированием1, то без сомнения сталкивались с таблицей ASCII.
Таблица ASCII полезна. Но знали ли вы, что она ещё красива и изящна?
Сегодня даже не близкие к программированию люди могут знать об ASCII благодаря книгам и фильмам наподобие «Марсианина»2
ASCII по-прежнему с нами; даже если вы передаёте современный Unicode3, то должны знать, что самый популярный формат кодировки UTF-8 специально спроектирован как обратно совместимый с ASCII! Декодировав эту статью как ASCII, вы в целом поймёте её смысл… если закроете глаза на мусорные символы в конце предложений.
Читать: https://habr.com/ru/companies/ruvds/articles/831138/
#ru
@database_design | Другие наши каналы
Инновации в использовнии ИИ с помощью Iguazio и MongoDB
В статье обсуждается совместное решение Iguazio и MongoDB для создания надёжных и масштабируемых приложений на базе генеративного ИИ. Оно упрощает процесс обработки данных и их хранения, что помогает ускорить выход ИИ-приложений в продакшен, снижает риски и улучшает управление. MAAP: Новая Программа для Быстрого Внедрения ИИ от MongoDB
MongoDB представил MAAP — программу, которая поможет организациям ускорить внедрение ИИ технологий. Программа включает готовые архитектуры, полный стек технологий и интеграции с ведущими компаниями, такими как Google Cloud и Microsoft Azure. Узнайте больше на сайте программы!
Читать подробнее
#en
@database_design | Другие наши каналы
В статье обсуждается совместное решение Iguazio и MongoDB для создания надёжных и масштабируемых приложений на базе генеративного ИИ. Оно упрощает процесс обработки данных и их хранения, что помогает ускорить выход ИИ-приложений в продакшен, снижает риски и улучшает управление. MAAP: Новая Программа для Быстрого Внедрения ИИ от MongoDB
MongoDB представил MAAP — программу, которая поможет организациям ускорить внедрение ИИ технологий. Программа включает готовые архитектуры, полный стек технологий и интеграции с ведущими компаниями, такими как Google Cloud и Microsoft Azure. Узнайте больше на сайте программы!
Читать подробнее
#en
@database_design | Другие наши каналы
В чем сходство и различия технологий DLP и DAG? Почему один класс систем не заменяет другой?
Дмитрий Богомолов, архитектор отдела проектирования, подготовил материал о ключевых различиям DLP и DAG-решений.
Стремительный рост объемов неструктурированного корпоративного контента стал одной из острейших проблем для ИТ- и ИБ-подразделений. При этом, по оценке международной аналитической компании ITC, суммарный объем данных в ближайшей перспективе достигнет уровня 175 зеттабайт, или 175 миллиардов гигабайт, и существенная доля такой информации будет неструктурированной.
Поэтому управление доступом к неструктурированным данным становится проблемой для большинства крупных компаний. Мы часто слышим, что для решения подобных задач достаточно использовать DLP-системы. Да, нередко подобные продукты закрывают ряд задач по управлению доступом к неструктурированным данным, но в большинстве случаев использование специализированных DAG-платформ более эффективно с точки зрения управления рисками в крупных компаниях.
Читать: https://habr.com/ru/companies/solarsecurity/articles/831416/
#ru
@database_design | Другие наши каналы
Дмитрий Богомолов, архитектор отдела проектирования, подготовил материал о ключевых различиям DLP и DAG-решений.
Стремительный рост объемов неструктурированного корпоративного контента стал одной из острейших проблем для ИТ- и ИБ-подразделений. При этом, по оценке международной аналитической компании ITC, суммарный объем данных в ближайшей перспективе достигнет уровня 175 зеттабайт, или 175 миллиардов гигабайт, и существенная доля такой информации будет неструктурированной.
Поэтому управление доступом к неструктурированным данным становится проблемой для большинства крупных компаний. Мы часто слышим, что для решения подобных задач достаточно использовать DLP-системы. Да, нередко подобные продукты закрывают ряд задач по управлению доступом к неструктурированным данным, но в большинстве случаев использование специализированных DAG-платформ более эффективно с точки зрения управления рисками в крупных компаниях.
Читать: https://habr.com/ru/companies/solarsecurity/articles/831416/
#ru
@database_design | Другие наши каналы
Важные заметки по Data Consistency и MicroTx
В статье автор делится своими наработками и замечаниями по теме консистентности данных и MicroTx. Это может быть полезно для тех, кто работает с распределенными системами и ищет способы улучшения надежности своих приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
В статье автор делится своими наработками и замечаниями по теме консистентности данных и MicroTx. Это может быть полезно для тех, кто работает с распределенными системами и ищет способы улучшения надежности своих приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
My MicroTx Related Blog Post
I'm going to use this post to track the blog posts I've made on MicroTx and issues associated with data consistency.
Эффективность на максимум: как выбрать оптимальное сетевое хранилище (NAS) для корпоративной среды
В современном мире, где объемы данных растут экспоненциально, а требования к их доступности и безопасности становятся все жестче, выбор оптимального сетевого хранилища (Network Attached Storage, NAS) становится критически важной задачей для профессионалов и продвинутых пользователей. Правильно подобранное NAS-решение может стать ключевым фактором эффективности IT-инфраструктуры, обеспечивая не только надежное хранение данных, но и повышая производительность всей системы в целом.
При покупке NAS необходимо учитывать множество факторов, каждый из которых может существенно повлиять на эффективность работы и общую стоимость владения системой. Рассмотрим подробнее основные аспекты, на которые следует обратить внимание при выборе NAS для корпоративного использования.
Читать: https://habr.com/ru/companies/x-com/articles/831714/
#ru
@database_design | Другие наши каналы
В современном мире, где объемы данных растут экспоненциально, а требования к их доступности и безопасности становятся все жестче, выбор оптимального сетевого хранилища (Network Attached Storage, NAS) становится критически важной задачей для профессионалов и продвинутых пользователей. Правильно подобранное NAS-решение может стать ключевым фактором эффективности IT-инфраструктуры, обеспечивая не только надежное хранение данных, но и повышая производительность всей системы в целом.
При покупке NAS необходимо учитывать множество факторов, каждый из которых может существенно повлиять на эффективность работы и общую стоимость владения системой. Рассмотрим подробнее основные аспекты, на которые следует обратить внимание при выборе NAS для корпоративного использования.
Читать: https://habr.com/ru/companies/x-com/articles/831714/
#ru
@database_design | Другие наши каналы
Заставляем работать MinIO и Postgresql вместе
Всем привет, в этой статье я хочу рассказать, как у меня получилось интегрировать MinIO и Postgres, а именно, что после каждой загрузки картинки в объектное хранилище у нас появляется запись в БД.
Читать: https://habr.com/ru/articles/831668/
#ru
@database_design | Другие наши каналы
Всем привет, в этой статье я хочу рассказать, как у меня получилось интегрировать MinIO и Postgres, а именно, что после каждой загрузки картинки в объектное хранилище у нас появляется запись в БД.
Читать: https://habr.com/ru/articles/831668/
#ru
@database_design | Другие наши каналы
🥇 Соревнования для разработчиков: Добро пожаловать на Tech Olympics!
Представьте, что разработчики соревнуются как атлеты, показывая свои навыки в захватывающих дисциплинах: от эстафетного кодинга до охоты на баги и задач по кибербезопасности. Tech Olympics могли бы объединить лучшие умы в сфере технологий для уникальных состязаний. Узнайте больше в статье на MongoDB Blog! Внедрение генеративного ИИ с MongoDB и Iguazio
Искусственный интеллект открывает новые возможности для бизнеса, от улучшения взаимодействия с клиентами до автоматизации процессов. Решение от MongoDB и Iguazio обеспечивает масштабируемое и надежное внедрение ИИ-приложений, устраняя риски и улучшая производительность. Узнайте больше о возможностях на нашем сайте!
Читать подробнее
#en
@database_design | Другие наши каналы
Представьте, что разработчики соревнуются как атлеты, показывая свои навыки в захватывающих дисциплинах: от эстафетного кодинга до охоты на баги и задач по кибербезопасности. Tech Olympics могли бы объединить лучшие умы в сфере технологий для уникальных состязаний. Узнайте больше в статье на MongoDB Blog! Внедрение генеративного ИИ с MongoDB и Iguazio
Искусственный интеллект открывает новые возможности для бизнеса, от улучшения взаимодействия с клиентами до автоматизации процессов. Решение от MongoDB и Iguazio обеспечивает масштабируемое и надежное внедрение ИИ-приложений, устраняя риски и улучшая производительность. Узнайте больше о возможностях на нашем сайте!
Читать подробнее
#en
@database_design | Другие наши каналы
PostgreSQL 16. Страницы и версии строк. Часть 3
Данная статья является продолжением: PostgreSQL 16. Изоляция транзакций. Часть 2.
В этой части мы рассмотрим, из каких частей состоит страница в PostgreSQL, как выполняются операции CRUD (создание, чтение, обновление, удаление) для строк с сохранением нескольких версий одной и той же строки в таблице и как на это влияют транзакции. Также рассмотрим вложенные транзакции.
Читать: https://habr.com/ru/articles/830924/
#ru
@database_design | Другие наши каналы
Данная статья является продолжением: PostgreSQL 16. Изоляция транзакций. Часть 2.
В этой части мы рассмотрим, из каких частей состоит страница в PostgreSQL, как выполняются операции CRUD (создание, чтение, обновление, удаление) для строк с сохранением нескольких версий одной и той же строки в таблице и как на это влияют транзакции. Также рассмотрим вложенные транзакции.
Читать: https://habr.com/ru/articles/830924/
#ru
@database_design | Другие наши каналы
Активоцентричность и хранение данных [Оголяемся технологически. MaxPatrol SIEM]
Привет! Меня зовут Иван Прохоров, я руководитель продукта MaxPatrol SIEM. Мы продолжаем наше технологическое погружение в наш SIEM и сегодня расскажем об активоцентричности и хранении данных. А помогать мне в этом будет мой коллега, архитектор продукта MaхPatrol SIEM, Роман Сергеев.
В прошлой статье мы рассказали, как устроен MaхPatrol SIEM, взглянули на его пайплайн и поговорили про нормализацию и обогащение данных об инцидентах. Тогда же мы вскользь затронули тему активов и сегодня обсудим ее более детально. Разберемся, что такое цифровые активы, зачем они нужны, как их используют и защищают.
И вновь под капот!
Читать: https://habr.com/ru/companies/pt/articles/831106/
#ru
@database_design | Другие наши каналы
Привет! Меня зовут Иван Прохоров, я руководитель продукта MaxPatrol SIEM. Мы продолжаем наше технологическое погружение в наш SIEM и сегодня расскажем об активоцентричности и хранении данных. А помогать мне в этом будет мой коллега, архитектор продукта MaхPatrol SIEM, Роман Сергеев.
В прошлой статье мы рассказали, как устроен MaхPatrol SIEM, взглянули на его пайплайн и поговорили про нормализацию и обогащение данных об инцидентах. Тогда же мы вскользь затронули тему активов и сегодня обсудим ее более детально. Разберемся, что такое цифровые активы, зачем они нужны, как их используют и защищают.
И вновь под капот!
Читать: https://habr.com/ru/companies/pt/articles/831106/
#ru
@database_design | Другие наши каналы
Базы данных. Основы разработки и работа с индексами в PostgreSQL
Продолжаем делиться полезными инсайтами с наших корпоративных митапов. Сегодняшний спикер, старший бэкенд-разработчик Factory5 Роман Гордиенко рассказывает об основных понятиях реляционных баз данных и о том, как использовать индексы в PostgreSQL. Информация будет полезна всем, кто работает с реляционными базами данных или планирует это делать в будущем.
Читать: https://habr.com/ru/companies/factory5/articles/832174/
#ru
@database_design | Другие наши каналы
Продолжаем делиться полезными инсайтами с наших корпоративных митапов. Сегодняшний спикер, старший бэкенд-разработчик Factory5 Роман Гордиенко рассказывает об основных понятиях реляционных баз данных и о том, как использовать индексы в PostgreSQL. Информация будет полезна всем, кто работает с реляционными базами данных или планирует это делать в будущем.
Читать: https://habr.com/ru/companies/factory5/articles/832174/
#ru
@database_design | Другие наши каналы
Colud Native vs Cloud Agnostic в Data Engineering'е: выбираем подход
Сейчас развертывание дата платформ и решений для аналитки в облаке - явление повсеместное. Кажется, что так было (и будет?) всегда. При этом существует постоянное (но не всегда очевидное) противостояние между подходами Cloud Native и Cloud Agnostic. Cloud Native поддерживает использование специфических сервисов конкретного облачного провайдера, в то время как Cloud Agnostic нацелен на создание приложений, которые могут работать на различных облачных платформах без изменений.
Важно осознавать различия между этими подходами и принимать обоснованные решения при выборе одного из них для своего проекта. Этот выбор может существенно повлиять на архитектуру, масштабируемость вашей дата платформы и стоимость разработки и поддержки.
Однако важно помнить, что не следует впадать в крайности и быть абсолютно приверженным только одному из подходов (вспомним акисому Эскобара). Иногда оптимальным решением может быть комбинация обоих подходов, чтобы достичь оптимального баланса между гибкостью и эффективностью.
В данной статье я попытаюсь описать подход, который в итоге я внедрил в своей команде для построения дата-инфраструктуры.
Читать: https://habr.com/ru/articles/829620/
#ru
@database_design | Другие наши каналы
Сейчас развертывание дата платформ и решений для аналитки в облаке - явление повсеместное. Кажется, что так было (и будет?) всегда. При этом существует постоянное (но не всегда очевидное) противостояние между подходами Cloud Native и Cloud Agnostic. Cloud Native поддерживает использование специфических сервисов конкретного облачного провайдера, в то время как Cloud Agnostic нацелен на создание приложений, которые могут работать на различных облачных платформах без изменений.
Важно осознавать различия между этими подходами и принимать обоснованные решения при выборе одного из них для своего проекта. Этот выбор может существенно повлиять на архитектуру, масштабируемость вашей дата платформы и стоимость разработки и поддержки.
Однако важно помнить, что не следует впадать в крайности и быть абсолютно приверженным только одному из подходов (вспомним акисому Эскобара). Иногда оптимальным решением может быть комбинация обоих подходов, чтобы достичь оптимального баланса между гибкостью и эффективностью.
В данной статье я попытаюсь описать подход, который в итоге я внедрил в своей команде для построения дата-инфраструктуры.
Читать: https://habr.com/ru/articles/829620/
#ru
@database_design | Другие наши каналы
Ранняя доступность в MongoDB: инновации изнутри
Хотите получить ранний доступ к новым функциям MongoDB и влиять на их разработку? Узнайте, что такое ранние доступы и превью функции. Они позволяют пользователям тестировать продукты до официального релиза, помогая улучшить их качество. Присоединяйтесь к программе раннего доступа MongoDB сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
Хотите получить ранний доступ к новым функциям MongoDB и влиять на их разработку? Узнайте, что такое ранние доступы и превью функции. Они позволяют пользователям тестировать продукты до официального релиза, помогая улучшить их качество. Присоединяйтесь к программе раннего доступа MongoDB сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
Новый контейнер образ для ORDS от Oracle
Oracle представила новый контейнерный образ для Oracle REST Data Service (ORDS). Теперь бинарное содержимое ORDS вынесено наружу, что значительно упрощает процесс изменения конфигурации. Узнайте больше о новых возможностях и их преимуществах.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle представила новый контейнерный образ для Oracle REST Data Service (ORDS). Теперь бинарное содержимое ORDS вынесено наружу, что значительно упрощает процесс изменения конфигурации. Узнайте больше о новых возможностях и их преимуществах.
Читать подробнее
#en
@database_design | Другие наши каналы
Oracle
Enabling the MongoDB API for ORDS containers just got a lot easier
Oracle recently published a new container image for running Oracle REST Data Service (ORDS). The new image externalises the ords binary, therefore greatly simplifying the process of making changes to the configuration
Новая функция естественного языка в Atlas Charts
MongoDB анонсировала доступность режима естественного языка в Atlas Charts. Эта функция позволяет разработчикам создавать визуализации данных, просто задавая вопросы на английском. Теперь разработка станет быстрее и проще, даже без глубоких знаний BI-инструментов. Попробуйте уже сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB анонсировала доступность режима естественного языка в Atlas Charts. Эта функция позволяет разработчикам создавать визуализации данных, просто задавая вопросы на английском. Теперь разработка станет быстрее и проще, даже без глубоких знаний BI-инструментов. Попробуйте уже сегодня!
Читать подробнее
#en
@database_design | Другие наши каналы
Миграция неизбежна: сравниваем российские СУБД и open source, чтобы подготовиться
Привет, Хабр! На связи Роман Севрук, менеджер по развитию решений СУБД в К2Тех. Работая с крупными компаниями, я заметил тенденцию: многие до сих пор используют бесплатную PostgreSQL. Однако технологии Postgre стремительно коммерциализируются при участии российских разработчиков. Они берут мировой open source и успешно его дорабатывают.
Сейчас рынок находится в подвешенном состоянии. Бизнес понимает преимущества перехода на коммерческие решения, но привычный open source пока вроде бы справляется с задачами не хуже. Зачем менять то, что работает? Дьявол кроется в деталях, и с учетом обстоятельств, в которых мы оказались, открытые решения становятся невыгодными и даже где-то опасными. Почему лучше переходить на коммерческие СУБД вместо использования базовой PostgreSQL? Давайте разберемся в этом вопросе, рассмотрим тренды рынка и планы развития СУБД.
Мы обсудим несколько российских систем и определим, каким компаниям они подойдут. А бонусом будет детальная сравнительная таблица.
Читать: https://habr.com/ru/companies/k2tech/articles/832458/
#ru
@database_design | Другие наши каналы
Привет, Хабр! На связи Роман Севрук, менеджер по развитию решений СУБД в К2Тех. Работая с крупными компаниями, я заметил тенденцию: многие до сих пор используют бесплатную PostgreSQL. Однако технологии Postgre стремительно коммерциализируются при участии российских разработчиков. Они берут мировой open source и успешно его дорабатывают.
Сейчас рынок находится в подвешенном состоянии. Бизнес понимает преимущества перехода на коммерческие решения, но привычный open source пока вроде бы справляется с задачами не хуже. Зачем менять то, что работает? Дьявол кроется в деталях, и с учетом обстоятельств, в которых мы оказались, открытые решения становятся невыгодными и даже где-то опасными. Почему лучше переходить на коммерческие СУБД вместо использования базовой PostgreSQL? Давайте разберемся в этом вопросе, рассмотрим тренды рынка и планы развития СУБД.
Мы обсудим несколько российских систем и определим, каким компаниям они подойдут. А бонусом будет детальная сравнительная таблица.
Читать: https://habr.com/ru/companies/k2tech/articles/832458/
#ru
@database_design | Другие наши каналы
🔥1
Пайплайны, разметка и версионирование — открытые решения для работы с неструктурированными данными
Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.
Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте.
Читать: https://habr.com/ru/companies/mws/articles/832504/
#ru
@database_design | Другие наши каналы
Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.
Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте.
Читать: https://habr.com/ru/companies/mws/articles/832504/
#ru
@database_design | Другие наши каналы
Революция в ритейле с RAG
Исследование показало, что генеративный ИИ может увеличить прибыли в сфере моды и роскоши до $275 млрд к 2028 году. Технология Retrieval-Augmented Generation (RAG) позволяет ретейлерам улучшать персонализацию, эффективность и потребительский опыт за счет интеграции разнообразных источников данных и работы с большими объемами информации.
Для более детальной информации посетите статью!
Читать подробнее
#en
@database_design | Другие наши каналы
Исследование показало, что генеративный ИИ может увеличить прибыли в сфере моды и роскоши до $275 млрд к 2028 году. Технология Retrieval-Augmented Generation (RAG) позволяет ретейлерам улучшать персонализацию, эффективность и потребительский опыт за счет интеграции разнообразных источников данных и работы с большими объемами информации.
Для более детальной информации посетите статью!
Читать подробнее
#en
@database_design | Другие наши каналы