5 лучших инструментов для разметки данных в 2024 году
Разметка данных играет ключевую роль в развитии совершенно разных технологий: от автопилотов и голосовых помощников до агро- и тяжелой промышленности. Но сам процесс разметки может быть трудоёмким и занимать много времени.
Чтобы упростить эту задачу, важно выбрать инструменты, которые подходят для вашей задачи и могут сделать работу быстрее и удобнее. В этом руководстве мы разберем самые популярные решения для разметки данных, поделимся опытом команды Data Light и разберём, какой стоит выбрать именно вам.
Читать: https://habr.com/ru/companies/data_light/articles/850770/
#ru
@big_data_analysis | Другие наши каналы
Разметка данных играет ключевую роль в развитии совершенно разных технологий: от автопилотов и голосовых помощников до агро- и тяжелой промышленности. Но сам процесс разметки может быть трудоёмким и занимать много времени.
Чтобы упростить эту задачу, важно выбрать инструменты, которые подходят для вашей задачи и могут сделать работу быстрее и удобнее. В этом руководстве мы разберем самые популярные решения для разметки данных, поделимся опытом команды Data Light и разберём, какой стоит выбрать именно вам.
Читать: https://habr.com/ru/companies/data_light/articles/850770/
#ru
@big_data_analysis | Другие наши каналы
❤2
Эффективное использование вложенных типов данных в SQL
Статья посвящена техникам работы с вложенными типами данных в SQL для более эффективного представления отношений в данных. Рассматривается использование STRUCT для один-к-одному связей и ARRAY для агрегирования данных. Автор также делится примерами кода для реализации этих подходов.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Статья посвящена техникам работы с вложенными типами данных в SQL для более эффективного представления отношений в данных. Рассматривается использование STRUCT для один-к-одному связей и ARRAY для агрегирования данных. Автор также делится примерами кода для реализации этих подходов.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Объединение Oracle Analytics и Big Data
Подключите Oracle Analytics Cloud к Oracle Big Data Service с помощью Hive и Spark, чтобы получить более глубокое понимание данных. Узнайте, как это интегрирование позволяет расширить возможности анализа больших данных и принять более обоснованные решения.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Подключите Oracle Analytics Cloud к Oracle Big Data Service с помощью Hive и Spark, чтобы получить более глубокое понимание данных. Узнайте, как это интегрирование позволяет расширить возможности анализа больших данных и принять более обоснованные решения.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Connect Oracle Analytics Cloud to Oracle Big Data Service with Hive and Spark for Enhanced Data Insights
Как Лента формирует эффективный ассортимент на основе данных
Привет, Habr!
Меня зовут Катя, я продакт-менеджер BigData в группе компаний «Лента», отвечаю за развитие цифровых продуктов блоков «Ассортимент» и «Ценообразование». В этой статье расскажу про путь к управлению ассортиментом на основе данных и наш флагман – приложение Deli – рабочее место, в котором менеджер анализирует матрицу своих категорий и вносит в нее изменения на основе рекомендаций алгоритма.
Читать: https://habr.com/ru/companies/lentatech/articles/851086/
#ru
@big_data_analysis | Другие наши каналы
Привет, Habr!
Меня зовут Катя, я продакт-менеджер BigData в группе компаний «Лента», отвечаю за развитие цифровых продуктов блоков «Ассортимент» и «Ценообразование». В этой статье расскажу про путь к управлению ассортиментом на основе данных и наш флагман – приложение Deli – рабочее место, в котором менеджер анализирует матрицу своих категорий и вносит в нее изменения на основе рекомендаций алгоритма.
Читать: https://habr.com/ru/companies/lentatech/articles/851086/
#ru
@big_data_analysis | Другие наши каналы
Краткий обзор LLM бенчмарков
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не следует вкладывать ресурсы в их сравнение, потому что: 1. Для них существуют публикуемые таблицы лидеров, 2. В использовании этих моделей существует множество нюансов (например, изменчивость модели, промт, сценарий использования, качество данных, конфигурация системы), что снижает полезность обсуждения их высокоуровневых параметров, 3. Важнее точности модели могут быть другие факторы: локальность данных, соответствие требованиям защиты конфиденциальности, поставщик облачных услуг, степень возможности кастомизации (например, fine-tuning или повторного обучения).
Что мы должны обсуждать, так это бенчмаркинг систем LLM. Это осмысленный и важный процесс, при котором мы рассматриваем применение конкретных моделей LLM (вместе с промтом и конфигурацией системы) в наших конкретных сценариях использования. Нам следует курировать датасеты из конкретных предметных областей, задействовать в их разметке и людей, и LLM для создания «золотого» датасета, позволяющего оценивать вносимые нами постоянные улучшения. Можно даже рассмотреть возможность публикации «золотых» датасетов бенчмарков.
Читать: https://habr.com/ru/articles/847002/
#ru
@big_data_analysis | Другие наши каналы
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не следует вкладывать ресурсы в их сравнение, потому что: 1. Для них существуют публикуемые таблицы лидеров, 2. В использовании этих моделей существует множество нюансов (например, изменчивость модели, промт, сценарий использования, качество данных, конфигурация системы), что снижает полезность обсуждения их высокоуровневых параметров, 3. Важнее точности модели могут быть другие факторы: локальность данных, соответствие требованиям защиты конфиденциальности, поставщик облачных услуг, степень возможности кастомизации (например, fine-tuning или повторного обучения).
Что мы должны обсуждать, так это бенчмаркинг систем LLM. Это осмысленный и важный процесс, при котором мы рассматриваем применение конкретных моделей LLM (вместе с промтом и конфигурацией системы) в наших конкретных сценариях использования. Нам следует курировать датасеты из конкретных предметных областей, задействовать в их разметке и людей, и LLM для создания «золотого» датасета, позволяющего оценивать вносимые нами постоянные улучшения. Можно даже рассмотреть возможность публикации «золотых» датасетов бенчмарков.
Читать: https://habr.com/ru/articles/847002/
#ru
@big_data_analysis | Другие наши каналы
Как переподписка по CPU в облаке снижает производительность Arenadata DB: результаты, которых не ждёшь
Всем привет! Меня зовут Константин Малолетов, я архитектор облачных сервисов в компании Arenadata. Сегодня хочу рассказать, как мы решаем задачу эффективного размещения ресурсоёмких систем, таких как Arenadata DB, в облаке.
В статье рассмотрим несколько сценариев использования вычислительных ресурсов и их влияние на работу ADB, а также поделимся результатами проведённых тестов.
Читать: https://habr.com/ru/companies/arenadata/articles/851080/
#ru
@big_data_analysis | Другие наши каналы
Всем привет! Меня зовут Константин Малолетов, я архитектор облачных сервисов в компании Arenadata. Сегодня хочу рассказать, как мы решаем задачу эффективного размещения ресурсоёмких систем, таких как Arenadata DB, в облаке.
В статье рассмотрим несколько сценариев использования вычислительных ресурсов и их влияние на работу ADB, а также поделимся результатами проведённых тестов.
Читать: https://habr.com/ru/companies/arenadata/articles/851080/
#ru
@big_data_analysis | Другие наши каналы
Кейс оптимизации запросов для Greenplum
Всем привет! Меня зовут Андрей, я работаю дата аналитиком в Data Team продукта Dialog.X5/Insights в X5 Tech. Мы предоставляем аналитику по продажам и покупательскому поведению на данных X5 Group. Для обработки больших объёмов данных в продукте используется СУБД (система управления базами данных) Greenplum.
В статье рассмотрим ресурсоёмкую операцию для распределённых систем COUNT(DISTINCT) и два способа оптимизации. Для предварительного погружения в планы запросов можно прочитать вот эту хорошую статью.
Читать: https://habr.com/ru/companies/X5Tech/articles/851386/
#ru
@big_data_analysis | Другие наши каналы
Всем привет! Меня зовут Андрей, я работаю дата аналитиком в Data Team продукта Dialog.X5/Insights в X5 Tech. Мы предоставляем аналитику по продажам и покупательскому поведению на данных X5 Group. Для обработки больших объёмов данных в продукте используется СУБД (система управления базами данных) Greenplum.
В статье рассмотрим ресурсоёмкую операцию для распределённых систем COUNT(DISTINCT) и два способа оптимизации. Для предварительного погружения в планы запросов можно прочитать вот эту хорошую статью.
Читать: https://habr.com/ru/companies/X5Tech/articles/851386/
#ru
@big_data_analysis | Другие наши каналы
Под капотом GCN
Здравствуйте! Сегодня мы погружаемся в тему графовых сверточных сетей (GCN) и ключевых принципов, стоящих за ними. Если вам интересно узнать больше, я настоятельно рекомендую перейти на статью на Habr, где вы найдёте подробный анализ и актуальные примеры применения GCN.
Введение
GCN (Graph Convolutional Networks) — это масштабируемый подход к полуконтролируемому обучению, который применяется к данным, представленным в виде графов. Если вы хотите глубже понять, как сверточные нейронные сети (CNN) адаптируются для работы с графовыми структурами, загляните в статью на Habr.
Выбор архитектуры GCN основан на принципе локализованного приближения первого порядка спектральных сверток для графов. Что это значит? Мы рассматриваем только ближайших соседей узла, а спектральная свертка позволяет извлекать информацию с помощью спектра графа. В подробностях вы сможете разобраться, прочитав статью.
Метод
Рассмотрим задачу классификации узлов в графе, где метки доступны лишь для небольшого числа узлов. Графо-ориентированное полу-контрольное обучение предлагает интересные решения для такой задачи. Чтобы лучше понять использование графовой регуляризации и как она работает в функции потерь, обращайтесь к статье.
Не упустите шанс углубиться в эту увлекательную тему и раскрыть все нюансы GCN!
Читать: https://habr.com/ru/articles/851432/
#ru
@big_data_analysis | Другие наши каналы
Здравствуйте! Сегодня мы погружаемся в тему графовых сверточных сетей (GCN) и ключевых принципов, стоящих за ними. Если вам интересно узнать больше, я настоятельно рекомендую перейти на статью на Habr, где вы найдёте подробный анализ и актуальные примеры применения GCN.
Введение
GCN (Graph Convolutional Networks) — это масштабируемый подход к полуконтролируемому обучению, который применяется к данным, представленным в виде графов. Если вы хотите глубже понять, как сверточные нейронные сети (CNN) адаптируются для работы с графовыми структурами, загляните в статью на Habr.
Выбор архитектуры GCN основан на принципе локализованного приближения первого порядка спектральных сверток для графов. Что это значит? Мы рассматриваем только ближайших соседей узла, а спектральная свертка позволяет извлекать информацию с помощью спектра графа. В подробностях вы сможете разобраться, прочитав статью.
Метод
Рассмотрим задачу классификации узлов в графе, где метки доступны лишь для небольшого числа узлов. Графо-ориентированное полу-контрольное обучение предлагает интересные решения для такой задачи. Чтобы лучше понять использование графовой регуляризации и как она работает в функции потерь, обращайтесь к статье.
Не упустите шанс углубиться в эту увлекательную тему и раскрыть все нюансы GCN!
Читать: https://habr.com/ru/articles/851432/
#ru
@big_data_analysis | Другие наши каналы
Семь каверзных вопросов от преподавателей школы аналитиков данных МТС
Привет, Хабр! Меня зовут Максим Шаланкин, я вместе со своими коллегами — преподавателями в Школе аналитиков данных от МТС — подготовил семь каверзных вопросов, с которыми могут столкнуться начинающие специалисты в области Data Science, ML и Big Data. Ну что, поехали!
Читать: https://habr.com/ru/companies/ru_mts/articles/851450/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Меня зовут Максим Шаланкин, я вместе со своими коллегами — преподавателями в Школе аналитиков данных от МТС — подготовил семь каверзных вопросов, с которыми могут столкнуться начинающие специалисты в области Data Science, ML и Big Data. Ну что, поехали!
Читать: https://habr.com/ru/companies/ru_mts/articles/851450/
#ru
@big_data_analysis | Другие наши каналы
Метрологический дефицит в бигдате: что это такое и как с ним бороться
Добрый день. Сегодня я хотел бы поговорить о том, что вроде бы очевидно и должно быть везде, но когда я читаю статьи презентации, рекламные статьи, научные статьи, выступления на отраслевых конференциях и тексты «войди в айти и стань датасатанистом», я этого не вижу.
Речь о том, что данные, попадающие в машинное обучение, ИИ, цифровых двойников и т. п., не являются тем чем кажутся. Потому что между их изначальным физическим смыслом и числовым выражением внутри модели, стоит череда преобразований.
Но в этот раз речь пойдёт не о цифровом износе и моих многолетних наблюдениях за цифровыми объектами, а об измерительных приборах и ваших многолетних наблюдениях за производственными процессами.
Читать: https://habr.com/ru/articles/851526/
#ru
@big_data_analysis | Другие наши каналы
Добрый день. Сегодня я хотел бы поговорить о том, что вроде бы очевидно и должно быть везде, но когда я читаю статьи презентации, рекламные статьи, научные статьи, выступления на отраслевых конференциях и тексты «войди в айти и стань датасатанистом», я этого не вижу.
Речь о том, что данные, попадающие в машинное обучение, ИИ, цифровых двойников и т. п., не являются тем чем кажутся. Потому что между их изначальным физическим смыслом и числовым выражением внутри модели, стоит череда преобразований.
Но в этот раз речь пойдёт не о цифровом износе и моих многолетних наблюдениях за цифровыми объектами, а об измерительных приборах и ваших многолетних наблюдениях за производственными процессами.
Читать: https://habr.com/ru/articles/851526/
#ru
@big_data_analysis | Другие наши каналы
Инфраструктура для Data-Engineer Data Lake Apache Iceberg
В этой статье вы узнаете что такое Apache Iceberg, как его можно использовать и для чего он вообще нужен.
В статье также рассматривается вопрос Data Lake.
Читать: https://habr.com/ru/articles/850674/
#ru
@big_data_analysis | Другие наши каналы
В этой статье вы узнаете что такое Apache Iceberg, как его можно использовать и для чего он вообще нужен.
В статье также рассматривается вопрос Data Lake.
Читать: https://habr.com/ru/articles/850674/
#ru
@big_data_analysis | Другие наши каналы
ООП для типовых ML задач
Привет! Меня зовут Андрей Татаренко, я работаю Data Scientist-ом в Альфа-Банке. Я вам расскажу о своем опыте разработки Python-библиотеки для автоматизации разработки типовых ML-моделей. В статье привожу ту структуру основных классов, которая у меня получилась. Надеюсь, читатель сможет почерпнуть какие-то идеи, особенно если уже сталкивался с подобной задачей.
Читать: https://habr.com/ru/companies/alfa/articles/851154/
#ru
@big_data_analysis | Другие наши каналы
Привет! Меня зовут Андрей Татаренко, я работаю Data Scientist-ом в Альфа-Банке. Я вам расскажу о своем опыте разработки Python-библиотеки для автоматизации разработки типовых ML-моделей. В статье привожу ту структуру основных классов, которая у меня получилась. Надеюсь, читатель сможет почерпнуть какие-то идеи, особенно если уже сталкивался с подобной задачей.
Читать: https://habr.com/ru/companies/alfa/articles/851154/
#ru
@big_data_analysis | Другие наши каналы
Анализ тональности текста: зачем он нужен и как его использовать? Объясняем за 7 минут
Как компании выявляют эмоции в тысячах отзывов и комментариев? Почему одни маркетинговые кампании становятся невероятным успехом, а другие — провалом?
Анализ тональности текста — мощный инструмент, который помогает бизнесу не только считывать эмоции клиентов, но и на практике улучшать продукт, автоматизировать поддержку и управлять репутацией. Сегодня мы подробно разберем, как анализ тональности работает в реальных кейсах, и покажем, как вы можете внедрить его для достижения своих бизнес-целей.
Читать: https://habr.com/ru/companies/data_light/articles/851700/
#ru
@big_data_analysis | Другие наши каналы
Как компании выявляют эмоции в тысячах отзывов и комментариев? Почему одни маркетинговые кампании становятся невероятным успехом, а другие — провалом?
Анализ тональности текста — мощный инструмент, который помогает бизнесу не только считывать эмоции клиентов, но и на практике улучшать продукт, автоматизировать поддержку и управлять репутацией. Сегодня мы подробно разберем, как анализ тональности работает в реальных кейсах, и покажем, как вы можете внедрить его для достижения своих бизнес-целей.
Читать: https://habr.com/ru/companies/data_light/articles/851700/
#ru
@big_data_analysis | Другие наши каналы
👍2
Новые возможности с Oracle Data Integration Service
Узнайте, как Oracle Data Integration Service упрощает загрузку данных в Autonomous Data Warehouse, позволяя получить более глубокие аналитические инсайты в Oracle Analytics Cloud. Эта интеграция повышает эффективность работы с данными и открывает новые горизонты для аналитики.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Узнайте, как Oracle Data Integration Service упрощает загрузку данных в Autonomous Data Warehouse, позволяя получить более глубокие аналитические инсайты в Oracle Analytics Cloud. Эта интеграция повышает эффективность работы с данными и открывает новые горизонты для аналитики.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Utilize Oracle Data Integration Service to Load Data into Autonomous Data Warehouse for Enhanced Data Insights in Oracle Analytics…
Управление Oracle Analytics через Cloud Shell и Terraform
Узнайте, как эффективно разворачивать ресурсы Oracle Analytics Cloud с помощью Oracle Cloud Shell и OCI Terraform Provider. Подробное руководство поможет оптимизировать процесc управления облачными ресурсами и упростить автоматизацию задач в Oracle.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Узнайте, как эффективно разворачивать ресурсы Oracle Analytics Cloud с помощью Oracle Cloud Shell и OCI Terraform Provider. Подробное руководство поможет оптимизировать процесc управления облачными ресурсами и упростить автоматизацию задач в Oracle.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Deploy Resources for the Oracle Analytics Platform using Oracle Cloud Shell and the OCI Terraform Provider
Игра будущего: Oracle Foosball Frenzy
На Oracle CloudWorld 2024 был представлен AI-проект, демонстрирующий возможности облачных технологий Oracle. Система преобразует игру в настольный футбол в аналитические данные в реальном времени, показывая, как AI может интегрироваться в физические игры и другие индустрии.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
На Oracle CloudWorld 2024 был представлен AI-проект, демонстрирующий возможности облачных технологий Oracle. Система преобразует игру в настольный футбол в аналитические данные в реальном времени, показывая, как AI может интегрироваться в физические игры и другие индустрии.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Creating an AI foosball experience by integrating OCI technologies
Explore an AI-powered foosball demo showcased at Oracle CloudWorld 2024, aimed at highlighting Oracle’s AI and cloud technologies. By using computer vision, the team captured live gameplay, transforming it into AI-generated sports analytics in real-time.…
👍2
💡 Овладейте продвинутыми приемами SQL для анализа данных
Узнайте, как 25 советов помогут улучшить ваши навыки работы с SQL. Статья раскрывает использование функций QUALIFY, GENERATE_SERIES, и CUBE, упрощающих создание масштабируемых запросов. Ознакомьтесь с операциями JOIN для более эффективного управления и анализа данных.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Узнайте, как 25 советов помогут улучшить ваши навыки работы с SQL. Статья раскрывает использование функций QUALIFY, GENERATE_SERIES, и CUBE, упрощающих создание масштабируемых запросов. Ознакомьтесь с операциями JOIN для более эффективного управления и анализа данных.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Startdataengineering
25 SQL tips to level up your data engineering skills
As a data engineer, you always want to uplevel yourself. SQL is the bread and butter of data engineering. Whether you are a seasoned pro or new to data engineering, there is always a way to improve your SQL skills. Do you ever think:
> I wish I had known…
> I wish I had known…
Разметка изображений: самый полный гайд
Представьте себе, что от точности разметки изображений зависит успех вашего проекта: будь то способность нейросети распознавать сложные объекты или автоматизация рутинных задач. Но в чем ее специфика, какие виды разметки изображений существуют и какой тип аннотации лучше подходит под ваш проект?
В этой статье мы раскрываем все тонкости процесса, делимся проверенными методами и реальными кейсами от команды Data Light, чтобы помочь вам вывести проекты на новый уровень. Если вы хотите разобраться в разметке изображений и узнать, как избежать подводных камней, эта статья точно будет вам полезна.
Читать: https://habr.com/ru/companies/data_light/articles/852848/
#ru
@big_data_analysis | Другие наши каналы
Представьте себе, что от точности разметки изображений зависит успех вашего проекта: будь то способность нейросети распознавать сложные объекты или автоматизация рутинных задач. Но в чем ее специфика, какие виды разметки изображений существуют и какой тип аннотации лучше подходит под ваш проект?
В этой статье мы раскрываем все тонкости процесса, делимся проверенными методами и реальными кейсами от команды Data Light, чтобы помочь вам вывести проекты на новый уровень. Если вы хотите разобраться в разметке изображений и узнать, как избежать подводных камней, эта статья точно будет вам полезна.
Читать: https://habr.com/ru/companies/data_light/articles/852848/
#ru
@big_data_analysis | Другие наши каналы
Оценка LLM: метрики, фреймворки и лучшие практики
Дженсен Хуанг в своем выступлении на саммите «Data+AI» сказал: «Генеративный ИИ есть везде, в любой отрасли. Если в вашей отрасли еще нет генеративных ИИ, значит вы просто не обращали внимания на это».
Однако широкое распространение вовсе не означает, что эти модели безупречны. В реальных бизнес-кейсах модели очень часто не достигают цели и нуждаются в доработке. Вот тут-то и приходят на помощь оценки LLM: они помогают убедиться, что модели надежны, точны и соответствуют бизнес-предпочтениям.
В этой статье мы подробно разберем, почему оценка LLM имеет решающее значение, и рассмотрим метрики, фреймворки, инструменты и сложности оценки LLM. Мы также поделимся некоторыми надежными стратегиями, которые мы разработали в ходе работы с нашими клиентами, а также расскажем о лучших практиках.
Что такое оценка LLM?
Оценка LLM - это процесс тестирования и измерения того, насколько хорошо крупные языковые модели работают в реальных ситуациях. При тестировании этих моделей мы наблюдаем, насколько хорошо они понимают и отвечают на вопросы, насколько плавно и четко они генерируют текст и имеют ли их ответы смысл в контексте. Этот шаг очень важен, потому что он помогает нам выявлять любые проблемы и улучшать модель, гарантируя, что она может эффективно и надежно справляться с задачами.
Зачем вам нужно оценивать LLM?
Все просто: чтобы убедиться, что модель соответствует задаче и ее требованиям. Оценка LLM гарантирует, что она понимает и точно реагирует, правильно обрабатывает различные типы информации и общается безопасным, понятным и эффективным способом. Оценка LLM позволяет нам точно настроить модель на основе реальной обратной связи, улучшая ее производительность и надежность. Проводя тщательные оценки, мы гарантируем, что LLM полностью может удовлетворять потребности своих пользователей, будь то ответы на вопросы, предоставление рекомендаций или создание контента.
Читать: https://habr.com/ru/articles/852046/
#ru
@big_data_analysis | Другие наши каналы
Дженсен Хуанг в своем выступлении на саммите «Data+AI» сказал: «Генеративный ИИ есть везде, в любой отрасли. Если в вашей отрасли еще нет генеративных ИИ, значит вы просто не обращали внимания на это».
Однако широкое распространение вовсе не означает, что эти модели безупречны. В реальных бизнес-кейсах модели очень часто не достигают цели и нуждаются в доработке. Вот тут-то и приходят на помощь оценки LLM: они помогают убедиться, что модели надежны, точны и соответствуют бизнес-предпочтениям.
В этой статье мы подробно разберем, почему оценка LLM имеет решающее значение, и рассмотрим метрики, фреймворки, инструменты и сложности оценки LLM. Мы также поделимся некоторыми надежными стратегиями, которые мы разработали в ходе работы с нашими клиентами, а также расскажем о лучших практиках.
Что такое оценка LLM?
Оценка LLM - это процесс тестирования и измерения того, насколько хорошо крупные языковые модели работают в реальных ситуациях. При тестировании этих моделей мы наблюдаем, насколько хорошо они понимают и отвечают на вопросы, насколько плавно и четко они генерируют текст и имеют ли их ответы смысл в контексте. Этот шаг очень важен, потому что он помогает нам выявлять любые проблемы и улучшать модель, гарантируя, что она может эффективно и надежно справляться с задачами.
Зачем вам нужно оценивать LLM?
Все просто: чтобы убедиться, что модель соответствует задаче и ее требованиям. Оценка LLM гарантирует, что она понимает и точно реагирует, правильно обрабатывает различные типы информации и общается безопасным, понятным и эффективным способом. Оценка LLM позволяет нам точно настроить модель на основе реальной обратной связи, улучшая ее производительность и надежность. Проводя тщательные оценки, мы гарантируем, что LLM полностью может удовлетворять потребности своих пользователей, будь то ответы на вопросы, предоставление рекомендаций или создание контента.
Читать: https://habr.com/ru/articles/852046/
#ru
@big_data_analysis | Другие наши каналы
Что такое DWH?
DWH (Data Warehouse или по русски Хранилище данных) - это специализированная система для хранения и управления большими объемами данных, которые объединяются из разных источников с целью анализа и построения отчетов
Короче, это место, где все нужные данные из разных мест собираются и потом ими уже удобно пользоваться - строить разные отчетики, строить ИИ на благо всему человечеству и подобные вещи
Грубо говоря, задача при построении хорошего DWH состоит в том, чтобы построить Базу Данных и все необходимое вокруг него, в которой будут лежать правильные данные в удобном виде и в которую можно слать большие-сложные SQL запросы и не бояться, что что-то сломается и всем этим было удобно пользоваться
Читать: https://habr.com/ru/articles/852910/
#ru
@big_data_analysis | Другие наши каналы
DWH (Data Warehouse или по русски Хранилище данных) - это специализированная система для хранения и управления большими объемами данных, которые объединяются из разных источников с целью анализа и построения отчетов
Короче, это место, где все нужные данные из разных мест собираются и потом ими уже удобно пользоваться - строить разные отчетики, строить ИИ на благо всему человечеству и подобные вещи
Грубо говоря, задача при построении хорошего DWH состоит в том, чтобы построить Базу Данных и все необходимое вокруг него, в которой будут лежать правильные данные в удобном виде и в которую можно слать большие-сложные SQL запросы и не бояться, что что-то сломается и всем этим было удобно пользоваться
Читать: https://habr.com/ru/articles/852910/
#ru
@big_data_analysis | Другие наши каналы
Apache Flink: Unit и E2E-тестирование оператора с таймерами в Apache Flink
Привет, Хабр! На связи Александр Бобряков, техлид в команде МТС Аналитики. В предыдущей части я рассказал про создание Flink-джобы Kafka-to-Kafka с оператором на основе встроенных таймеров. Такой пайплайн позволяет создавать вызов через определенное время после обработки события.
В этом посте я расскажу, как можно протестировать операторы с таймерами и какие подводные камни могут возникнуть.
Весь разбираемый исходный код есть в репозитории AlexanderBobryakov/flink-spring. В master-ветке представлен итоговый проект по всей серии. Эта статья соответствует релизной ветке с названием release/8_Test_for_Trigger_Flink_Job.
Это мой девятый материал про Apache Flink. По мере выхода новых ссылки на них будут появляться ниже.
Список моих статей про Flink:
Читать: https://habr.com/ru/companies/ru_mts/articles/853200/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! На связи Александр Бобряков, техлид в команде МТС Аналитики. В предыдущей части я рассказал про создание Flink-джобы Kafka-to-Kafka с оператором на основе встроенных таймеров. Такой пайплайн позволяет создавать вызов через определенное время после обработки события.
В этом посте я расскажу, как можно протестировать операторы с таймерами и какие подводные камни могут возникнуть.
Весь разбираемый исходный код есть в репозитории AlexanderBobryakov/flink-spring. В master-ветке представлен итоговый проект по всей серии. Эта статья соответствует релизной ветке с названием release/8_Test_for_Trigger_Flink_Job.
Это мой девятый материал про Apache Flink. По мере выхода новых ссылки на них будут появляться ниже.
Список моих статей про Flink:
Читать: https://habr.com/ru/companies/ru_mts/articles/853200/
#ru
@big_data_analysis | Другие наши каналы