Learning from others' mistakes: Avoiding dataset biases without modeling them
Sanh et al. [Hugging Face]
Статья
В больших датасетах вроде MNLI с моделями случаются плохие вещи из-за низкого качества данных. Многие примеры можно правильно классифицировать с помощью эвристик, не имеющих ничего общего с задачей. Например, наличие слова “no” очень повышает вероятность класса “противоречие”.
Эту проблему можно решить очисткой датасета или нахождением конкретных эвристик и построением adversarial примеров для них. Но авторы этой статьи предложили метод, который не требует никакой ручной работы для исправления этой проблемы.
Идея в том, что в начале вы тренируете небольшую модель для классификации w, например TinyBERT из двух слоёв. Она выучивает самые простые зависимости в данных. Далее вы замораживаете эту модель и учите большую модель b на вот таком лоссе:
Идея в том, что градиенты для тех примеров, где простая модель ошибается будут большими, а там, где простая модель справля
Sanh et al. [Hugging Face]
Статья
В больших датасетах вроде MNLI с моделями случаются плохие вещи из-за низкого качества данных. Многие примеры можно правильно классифицировать с помощью эвристик, не имеющих ничего общего с задачей. Например, наличие слова “no” очень повышает вероятность класса “противоречие”.
Эту проблему можно решить очисткой датасета или нахождением конкретных эвристик и построением adversarial примеров для них. Но авторы этой статьи предложили метод, который не требует никакой ручной работы для исправления этой проблемы.
Идея в том, что в начале вы тренируете небольшую модель для классификации w, например TinyBERT из двух слоёв. Она выучивает самые простые зависимости в данных. Далее вы замораживаете эту модель и учите большую модель b на вот таком лоссе:
CrossEntropy(p_w * p_b, label).Идея в том, что градиенты для тех примеров, где простая модель ошибается будут большими, а там, где простая модель справля
🐍 Анимация градиентного спуска и ландшафта функции потерь на Python
Демонстрация работающих примеров визуализации ландшафта функции потерь и анимации процесса градиентного спуска.
Читать
@machinelearning_ru
Демонстрация работающих примеров визуализации ландшафта функции потерь и анимации процесса градиентного спуска.
Читать
@machinelearning_ru
Библиотека программиста
🐍 Анимация градиентного спуска и ландшафта функции потерь на Python
Демонстрация работающих примеров визуализации ландшафта функции потерь и анимации процесса градиентного спуска.
Разработка и развёртывание приложения машинного обучения: полное руководство
Читать
@machinelearning_ru
Читать
@machinelearning_ru
GraphTransformer: расширение языковой модели для графов
_GraphTransformer — это расширение Transformer языковой модели для графовых данных.__
Читать
@machinelearning_ru
_GraphTransformer — это расширение Transformer языковой модели для графовых данных.__
Читать
@machinelearning_ru
Neurohive - Нейронные сети
GraphTransformer: расширение языковой модели для графов
Graph Transformer - это Transformer модель для графов. Исследователи предлагают расширение традиционного трансформера с 4 отличительными характеристиками.
15 малоизвестных полезных моделей SkLearn, которые стоит использовать сейчас
Читать
@machinelearning_ru
Читать
@machinelearning_ru
Яндекс Дзен
15 малоизвестных полезных моделей SkLearn, которые стоит использовать сейчас
Некоторые из наиболее интересных моделей, которые можно использовать, из библиотеки SkLearn. Sk Learn, вероятно, является одним из самых популярных модулей машинного обучения для Python. На это есть веская причина, поскольку у SkLearn есть фантастический…
📊 Обучение Data Science: 11 необходимых специалисту по анализу данных концепций из статистики
Читать
@machinelearning_ru
Читать
@machinelearning_ru
Библиотека программиста
📊 Обучение Data Science: 11 необходимых специалисту по анализу данных концепций из статистики
Попробуем простыми словами объяснить ключевые для Data Scientist концепции из статистики, а также расскажем про книги, курсы и видеолекции, которые помогут их изучить.
Проверьте свои навыки: 26 вопросов и ответов с собеседований по Data Science
Статья
@machinelearning_ru
Статья
@machinelearning_ru
Библиотека программиста
📊 Проверьте свои навыки: 26 вопросов и ответов с собеседований по Data Science
Если вы уже освоили основы профессии, стоит проверить свои шансы на трудоустройство. Публикуем 26 вопросов и ответов с реальных собеседований на позиции в Data Science.
RL-Theory-book (rus)
Книга обучение с подкреплением
https://github.com/FortsAndMills/RL-Theory-book
@machinelearning_ru
Книга обучение с подкреплением
https://github.com/FortsAndMills/RL-Theory-book
@machinelearning_ru
📊 Проверьте свои навыки: еще 26 вопросов с собеседований по Data Science с ответами
https://proglib.io/p/proverte-svoi-navyki-eshche-26-voprosov-s-sobesedovaniy-po-data-science-s-otvetami-2021-01-19
@machinelearning_ru
https://proglib.io/p/proverte-svoi-navyki-eshche-26-voprosov-s-sobesedovaniy-po-data-science-s-otvetami-2021-01-19
@machinelearning_ru
Библиотека программиста
📊 Проверьте свои навыки: еще 26 вопросов с собеседований по Data Science с ответами
Статья продолжает тему первой публикации («26 вопросов и ответов с собеседований») и предлагает 26 новых вопросов для проверки навыков в Data Science.