🌐14 июля стартует бесплатный очный двухнедельный интенсив по NLP от Яндекс Образования и НГУ

Для участия необходимо зарегистрироваться на сайте, пройти отборочный контест и собеседование.

Что ждёт участников?
- Командные проекты и общение со специалистами из индустрии.
- Работа с моделями Яндекса вроде YandexGPT и актуальными opensource-решениями, такими как Qwen.
- Лекции и семинары от разработчиков NLP-систем и академических исследователей.
- Этическая составляющая как анализ галлюцинаций, защита от jailbreak-атак и т.п.
- Разбор трансформеров от базовой архитектуры до робастного обучения IRM и комбинации с внешними источниками знаний RAG.
- Акцент на многоязычность и устойчивость NLP-моделей.

Подать заявку на участие в студкемпе можно здесь.
Важно отметить, что студенты НГУ не могут быть участниками проекта, но могут быть приглашены в роли вольных слушателей в случае успешного прохождения отбора.
Доступ к первому этапу отбора (соревнованию в контесте) уже открыт. Его можно пройти до 23:59 мск 18 мая. Советуем не откладывать решение задач.

❗️ Если вы планируете поступать в магистратуру ММФ НГУ, то сертификат участия в любом студкемпе добавит вам 10 баллов в конкурсе индивидуальных достижений.

❗️Кроме того, участникам и вольным слушателям студкемпа в НГУ предоставится возможность пройти собеседование на программу «Прикладное машинное обучение и большие данные», которая реализуется при поддержке Школы анализа данных. Студенты 3 и 4 курсов, успешно прошедшие собеседование, смогут поступить на программу без экзаменов.

@nsuniversity

Всем привет!

Сегодня в 20:00 по Новосибирску / 16:00 по Иван @Bond_005 расскажет про статью Exploring the Latent Capacity of LLMs for One-Step Text Generation (https://arxiv.org/pdf/2505.21189) 👨‍💻

Ждём всех по ссылке: https://jazz.sber.ru/6hlguh?psw=OBYMChwQAgUGBgscQwQVFgkMFg

Наши коллеги из AGI NLP SberAI и GigaCode SberAI вместе с другими участниками команды MERA из МТС AI, Т-банка, Ростелекома и Сибирских нейросетей выпустили новый бенчмарк MERA Code. Он позволяет более точно оценивать результаты LLM в задачах программирования, в том числе с учётом требований, сформулированных на русском языке.

Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.

Что внутри

🔘 11 задач в форматах text2code, code2text, code2code на 8 языках: Python, Java, C#, JavaScript, Go, C, C++ и Scala.
🔘 Открытая платформа с единой системой оценки, рейтингом и удобным фреймворком для тестирования
🔘 Анализ как открытых моделей, так и проприетарных API для генерации кода
🔘 Кодовая база, разработанная на основе LM Evaluation Harness

Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:

вход → внутреннее состояние → выход

Исходя из этого, выделяются четыре базовых навыка:

🔘 восприятие (отвечает за входные данные)
🔘 логика и знания (внутренние характеристики модели)
🔘 генерация (отвечает за выходные данные)

Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.

➡️ Видеогайд, как замерить модель

MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!

Подписывайтесь на наш канал 👈