Про текстовые аугментации
Нашел классную статейку, в которой автор разобрал и визуализировал методы аугментаций текста, начиная от тех, что базируются на TF-IDF, заканчивая генерацией нейронками.
Лично для себя подчеркнул wordMixup и Instance Crossover Augmentation, думаю вам тоже понравится.
Статья 🔥
NLP AUG [полезное]
TextAttack [полезное]
Нашел классную статейку, в которой автор разобрал и визуализировал методы аугментаций текста, начиная от тех, что базируются на TF-IDF, заканчивая генерацией нейронками.
Лично для себя подчеркнул wordMixup и Instance Crossover Augmentation, думаю вам тоже понравится.
Статья 🔥
NLP AUG [полезное]
TextAttack [полезное]
Amit Chaudhary
A Visual Survey of Data Augmentation in NLP
An extensive overview of text data augmentation techniques for Natural Language Processing
🔥22👍5
tqdm-joblib
Любите прогресс бары? А многопоточный парсинг?
joblib - хорошая библиотека для удобной работы с многопроцессорностью, а также кешированием в питоне.
joblib.Parallel позволяет в пару действий запустить парсер, но при этом предоставляет ограниченный вывод информации о состоянии процесса.
Так вот, ребята со stackoverflow написали костыль, который в 2 клика делает более удобный вывод, формата обычного tqdm. Причем tqdm-telegram тоже работает 👀.
Все что нужно:
stackoverflow
Любите прогресс бары? А многопоточный парсинг?
joblib - хорошая библиотека для удобной работы с многопроцессорностью, а также кешированием в питоне.
joblib.Parallel позволяет в пару действий запустить парсер, но при этом предоставляет ограниченный вывод информации о состоянии процесса.
Так вот, ребята со stackoverflow написали костыль, который в 2 клика делает более удобный вывод, формата обычного tqdm. Причем tqdm-telegram тоже работает 👀.
Все что нужно:
pip install tqdm_joblibНужная в хозяйстве вещь.
stackoverflow
👍28🔥2
1. A yellow book and a red vase.
2. Hovering cow abducting aliens.
3. One cat and one dog sitting on the grass.
4. A black apple and a green backpack.
5. A banana on the left of an apple.
6. A sign that says 'Deep Learning'.
7. A wine glass on top of a dog.
8. A small blue book sitting on a large red book.
9. A brown bird and blue bear.
10. A panda making latte art.
Новая top1 text2image модель не может сгенерировать большую часть drawbench
2. Hovering cow abducting aliens.
3. One cat and one dog sitting on the grass.
4. A black apple and a green backpack.
5. A banana on the left of an apple.
6. A sign that says 'Deep Learning'.
7. A wine glass on top of a dog.
8. A small blue book sitting on a large red book.
9. A brown bird and blue bear.
10. A panda making latte art.
Новая top1 text2image модель не может сгенерировать большую часть drawbench
😁15👍4😢4🔥2🎉2👎1
Forwarded from Love. Death. Transformers.
Тут друзья просят заполнить формочку сравниения генеративных моделей.
https://forms.gle/5dvcCPtdemzfVuoz9
for science propouses как всегда.
https://forms.gle/5dvcCPtdemzfVuoz9
for science propouses как всегда.
Google Docs
Сравним генерации
👍10👎1
Forwarded from Градиент обреченный
#nlp #colab
⭐️ Сделал простой colab с визуализацией мультиязычного пословного выравнивания.
Выравнивание происходит при помощи mBERT эмбеддингов. Авторы статьи дообучили его на дополнительных задачах (objectives), чтобы улучшить качество (parallel sentence identification, consistency optimization, etc.).
В GitHub'е есть скрипты для дообучения на своем параллельном корпусе, так что можно расширить под ваш язык (в изначальном mBERT'е было 100+ языков).
Визуализацию сделал на graphviz.
👉 Colab | GitHub | Huggingface
⭐️ Сделал простой colab с визуализацией мультиязычного пословного выравнивания.
Выравнивание происходит при помощи mBERT эмбеддингов. Авторы статьи дообучили его на дополнительных задачах (objectives), чтобы улучшить качество (parallel sentence identification, consistency optimization, etc.).
В GitHub'е есть скрипты для дообучения на своем параллельном корпусе, так что можно расширить под ваш язык (в изначальном mBERT'е было 100+ языков).
Визуализацию сделал на graphviz.
👉 Colab | GitHub | Huggingface
👍22❤2
Forwarded from Борис опять
Немного негодования про ключевые слова.
Я очень любил собирать навыки когда начинал. Каждый как засечка. Выкатил контейнеры в прод и все, круто, теперь я владею Docker. Прям чувствуешь как зарплата растет с 299кк/сек до 300кк/сек.
Теперь это ощущается как цирк. "Какими навыками вы владеете?",- спрашивает форма отклика. Я впадаю в ступор. Представьте себе: столяр заполняет форму отклика. "Опыт работы с молотком пять лет, с пилой четыре года, со стамеской пять лет..." Чушь какая-то. Но в IT почему-то так принято: владею Python, SQL, HTML. Что мне писать? Я могу и фронт на JS сделать, и плагины для NGINX на LUA, могу даже C вспомнить, могу на контекстно-независимых грамматиках парсер SQL замутить. Если все базворды перечислять за сотню перевалит. Я инженер, блин, я не "владею технологиями", я решаю проблемы. Разберусь в COBOL, если надо будет. Буквально часть моей работы в том, чтобы выбирать подходящий инструмент для решения задачи и часто он будет не из тех, с которыми я работал раньше. Зачем оценивать инженера по инструментам? И с позициями так же: разве бывает "Python программист"? Звучит как как "молотком работник". Работа бить молотком, а гвозди это задача другой команды.
Но это так, ворчание, а по факту лучше ничего не придумали, надо с этим жить. Приходится так: с точки зрения резюме я владею теми навыками, которые нужны в интересных вакансиях, а всеми остальными не владею.
Я очень любил собирать навыки когда начинал. Каждый как засечка. Выкатил контейнеры в прод и все, круто, теперь я владею Docker. Прям чувствуешь как зарплата растет с 299кк/сек до 300кк/сек.
Теперь это ощущается как цирк. "Какими навыками вы владеете?",- спрашивает форма отклика. Я впадаю в ступор. Представьте себе: столяр заполняет форму отклика. "Опыт работы с молотком пять лет, с пилой четыре года, со стамеской пять лет..." Чушь какая-то. Но в IT почему-то так принято: владею Python, SQL, HTML. Что мне писать? Я могу и фронт на JS сделать, и плагины для NGINX на LUA, могу даже C вспомнить, могу на контекстно-независимых грамматиках парсер SQL замутить. Если все базворды перечислять за сотню перевалит. Я инженер, блин, я не "владею технологиями", я решаю проблемы. Разберусь в COBOL, если надо будет. Буквально часть моей работы в том, чтобы выбирать подходящий инструмент для решения задачи и часто он будет не из тех, с которыми я работал раньше. Зачем оценивать инженера по инструментам? И с позициями так же: разве бывает "Python программист"? Звучит как как "молотком работник". Работа бить молотком, а гвозди это задача другой команды.
Но это так, ворчание, а по факту лучше ничего не придумали, надо с этим жить. Приходится так: с точки зрения резюме я владею теми навыками, которые нужны в интересных вакансиях, а всеми остальными не владею.
🔥47👍9❤5❤🔥3👎3
Forwarded from AI для Всех
Pre-Train Your Loss
Глубокое обучение все больше пользуется парадигмой transfer learning, при которой большие базовые (или как у нас их тут в Стенфорде называют - фундаментальные) модели дообучаются на последующих задачах.
Впечатляющий коллектив авторов, под руководством Вилсона (со-автор таких проектов как loss landscape и SWA) и ЛеКуна, показывает, что можно изучить высокоинформативный posterior исходной задачи с помощью supervised или self-supervised learning, которые затем служат основой для priors, изменяющих всю поверхность потерь в последующей задаче.
Этот простой модульный подход обеспечивает значительный прирост производительности и более эффективное обучение на различных последующих задачах классификации и сегментации, выступая в качестве замены стандартных стратегий предварительного обучения.
📖 статья 🤖 код
Глубокое обучение все больше пользуется парадигмой transfer learning, при которой большие базовые (или как у нас их тут в Стенфорде называют - фундаментальные) модели дообучаются на последующих задачах.
Впечатляющий коллектив авторов, под руководством Вилсона (со-автор таких проектов как loss landscape и SWA) и ЛеКуна, показывает, что можно изучить высокоинформативный posterior исходной задачи с помощью supervised или self-supervised learning, которые затем служат основой для priors, изменяющих всю поверхность потерь в последующей задаче.
Этот простой модульный подход обеспечивает значительный прирост производительности и более эффективное обучение на различных последующих задачах классификации и сегментации, выступая в качестве замены стандартных стратегий предварительного обучения.
📖 статья 🤖 код
👍23🔥4
Из жизни
Решил начать изучать что-то новое, выбор пал на uplift моделирование, покопался на платформе ODS, перешёл на курс, посмотрел 2-3 урока, понял что темп медленный - дропнул.
На следующий день решил поискать инфу в гугле, вспомнил про scikit-uplift, нашел доку, почитал описание, перешёл к туториалам.
Начал с азов, читал, вникал и думал.
Под вечер вышел в магазин и понял к какому типу клиентов могу себя отнести. Так сказать, подкрепил теорию практикой.
*uplift - персонализация, на кого потратить деньги, чтобы получить ещё больше денег.
scikit-uplift
Решил начать изучать что-то новое, выбор пал на uplift моделирование, покопался на платформе ODS, перешёл на курс, посмотрел 2-3 урока, понял что темп медленный - дропнул.
На следующий день решил поискать инфу в гугле, вспомнил про scikit-uplift, нашел доку, почитал описание, перешёл к туториалам.
Начал с азов, читал, вникал и думал.
Под вечер вышел в магазин и понял к какому типу клиентов могу себя отнести. Так сказать, подкрепил теорию практикой.
*uplift - персонализация, на кого потратить деньги, чтобы получить ещё больше денег.
scikit-uplift
👍17🔥5
Stability CLIP, новые возможности
Все ещё помните модели, что текст и картинку сравнивают?
Их теперь обучили на 2х миллиардах изображений LAION-2B, в отличие от прошлых 400от миллионов Open AI.
Встречайте, ViT-g/14 224x224 (5.5гб) и ViT-H/14 224x224 (4гб)
github
paper
colab
benchmark
csv табличка с результатами на датасетах
Все ещё помните модели, что текст и картинку сравнивают?
Их теперь обучили на 2х миллиардах изображений LAION-2B, в отличие от прошлых 400от миллионов Open AI.
Встречайте, ViT-g/14 224x224 (5.5гб) и ViT-H/14 224x224 (4гб)
github
paper
colab
benchmark
csv табличка с результатами на датасетах
🔥22👍5