Викторина 4️⃣
Какая метрика чаще всего используется для оценки качества языковых моделей?

Развитие моделей невозможно без строгой оценки их работы. Для этого исследователи используют разные метрики: одни показывают точность перевода или классификации, другие — способность модели предсказывать последовательность слов. Но именно одна из них стала своего рода «золотым стандартом» в индустрии.

Знаете, о какой метрике идёт речь?⬇️

Разбор Викторины #4: Какая метрика чаще всего используется для оценки качества языковых моделей?

💜 Спасибо за участие в нашей викторине! Пришло время разобрать ваши ответы.

✅ Правильный ответ: б) Perplexity

🔍 Perplexity — это классическая метрика для языковых моделей. Она показывает, насколько хорошо модель предсказывает последовательность слов: чем ниже перплексия, тем точнее распределение вероятностей и тем лучше модель «понимает» язык. Перплексия десятилетиями используется в академических исследованиях и при сравнении базовых языковых моделей.

❗️ С ростом моделей и их применением в реальных задачах одной перплексии уже недостаточно. Она не всегда хорошо коррелирует с прикладным качеством ответов. Поэтому в дополнение используют другие подходы — от специализированных бенчмарков (MMLU, BigBench) до экспертных и пользовательских оценок.

📌 Почему другие варианты не подходят?

➖ BLEU: метрика для машинного перевода. Она сравнивает результат с эталонным текстом и хорошо работает для Machine Translation (MT), но не оценивает общие способности генерации текста моделями.

➖ Accuracy: измеряет долю верно классифицированных примеров и подходит для задач классификации вроде «позитивный/негативный отзыв». Однако это локальная метрика, а не показатель общей языковой компетенции.

➖ ROC-AUC: применяется для бинарных и многоклассовых классификаторов (например, в медицине или antifraud-системах). Для языковых моделей она неприменима, если только модель не решает именно задачу классификации.

Был ли ваш ответ верным? Делитесь в комментариях ⬇️

🤖 ИИ в деле: как персонализация на базе ИИ повышает конверсию

Продолжаем делиться практическими кейсами о том, как ИИ делает эффективнее разные сферы нашей жизни.

👤 Сегодня — про маркетинг: как алгоритмы персонализации позволяют компаниям кратно увеличивать конверсию, подстраивая опыт под интересы каждого пользователя.

📌 Чем ИИ полезен маркетологу?

1️⃣ Персональные рекомендации
Алгоритмы предсказывают интересы пользователя на основе истории покупок, просмотров и кликов. Так работает «Волна» в «Яндекс Музыке» или персональные DJ-сеты.
🔵Основная сложность здесь — эффект «cold start», когда у нового пользователя ещё нет данных. Решить её помогают демографическая кластеризация или быстрые опросы при регистрации.

2️⃣ Динамический интерфейс и визуал
ИИ не ограничивается товарами — он перестраивает сам интерфейс. Так онлайн-ритейлер SimpleWine внедрил полную персонализацию сайта с помощью ИИ: каждая страница перестраивается под интересы пользователя.
🔵Netflix использует тот же принцип в визуале: один фильм может иметь десятки постеров, и алгоритм выбирает тот, что с наибольшей вероятностью привлечёт конкретного зрителя. Всё чаще компании переходят к гиперперсонализации, учитывая не только предпочтения, но и контекст: время суток, устройство или даже погоду.

3️⃣ Таргетинг
Если классический таргетинг делит аудиторию на крупные сегменты, то ИИ работает точечно. ВТБ тестировал кампании, где разные группы получали разные креативы — это снизило стоимость привлечения и повысило точность. Важно, что такие алгоритмы должны работать за миллисекунды: иначе пользователь увидит нерелевантный баннер. Поэтому real-time inference и минимизация задержек становятся критически важными.

⚙️ Какие инструменты выбрать?

⚪️ Dynamic Yield — персонализация имейлов, витрин и приложений.
⚪️ Mindbox — CDP и омниканальные кампании (email, SMS, pop-up).
⚪️ Adobe Target — A/B-тесты и автоматическая персонализация.
⚪️ Яндекс.Метрика и Google Analytics — встроенные алгоритмы для анализа трафика и поведения.
⚪️ Mailchimp и HubSpot — персонализация рассылок и товарных рекомендаций.
⚪️ Conversica — AI-бот для общения с потенциальными клиентами.

А вы уже пробовали персонализацию на базе ИИ в своих проектах? Делитесь опытом в комментариях!⬇️

Еще больше об ИИ и науке читайте в DSCS.pro

📰Дайджест новостей в сфере ИИ: собрали главные инфоповоды недели

Неделя позади и мы спешим к вам с порцией свежих новостей: от запусков отечественных серверов для ИИ до разработки вирусов против бактерий. Читайте и будьте в курсе ⬇️

🇷🇺 В России:

Т-Технологии запустили агентский режим на базе Qwen3-Coder-480b внутри своей экосистемы ИИ-ассистентов для разработки

X5 Group встроила в мобильное приложение для сотрудников ИИ-ассистента для ответов на вопросы по HR-темам

ВГИК им. С.А. Герасимова и проект Сбера «Школа 21» запустили проект для обучения студентов использованию ИИ в кинопроизводстве

В Балтийском федеральном университете им. И. Канта разработали ИИ-систему для выбора научного руководителя

Росэл (входит в Ростех) запустил серийное производство новой линейки серверов для задач в области ИИ

Сбер и Т-Банк начали тестирование китайских ускорителей для ИИ. Такую возможность рассматривают и в Альфа-Банке

Яндекс добавил в чат-бот «Алиса» функцию генерации видео из изображений. Компания также запустила сервис для создания одностраничных сайтов с помощью ИИ

🌍 В мире:

YouTube открыл всем авторам доступ к инструменту синтеза речи на другом языке на базе Gemini. Есть поддержка перевода голоса на видео на русский

В Оксфордском университете (Великобритания) разработан ИИ-инструмент Virtual Research Assistant для поиска сверхновых звезд

В американском стартапе Thinking Machines Lab разрабатывают LLM, которая сможет воспроизводить собственные ответы — отвечать одинаково на один и тот же вопрос

В OpenAI создали GPT-5-Codex для агентного кодирования. Также компания начала увеличивать штат специалистов по робототехнике для работы над AGI

Языковая модель Ling-flash-2.0 появилась в открытом доступе

Учёные из Stanford и Arc Institute показали, что ИИ может создавать вирусы, убивающие бактерии

Видеохостинг YouTube представил набор ИИ-инструментов для авторов видео, в том числе чат-бота Ask Studio для получения аналитики по эффективности канала и генерации идей

Искусственный интеллект перестаёт быть просто аналитическим инструментом и становится ядром цифровых сервисов.

ℹ️Как ИИ помогает заинтересовать потребителей? Почему у предприятий с внедрением инновационных технологий повышается эффективность работы?

О плодотворном сотрудничестве людей с искусственным интеллектом в сфере услуг рассказал старший преподаватель СПбГУ Фёдор Бушмелёв.

🤩Подписаться на СПбГУ ➡️ MAX | ВК