AI для Всех

Новая реплика gpt-3. Работает лучше (или сравнимо) оригинала.

Colab
Online demo

#NLP #GPT #generative

Google

GPT-J-6B Inference Demo.ipynb

Run, share, and edit Python notebooks

161 viewsArtemii, edited 06:18

AI для Всех

Уроки дистилляции

#distillation

Twitter

Knowledge distillation: A good teacher is patient and consistent pdf: arxiv.org/pdf/2106.05237… abs: arxiv.org/abs/2106.05237 sota ResNet-50 model for ImageNet, which achieves 82.8% top-1 accuracy

96 viewsArtemii, edited 05:24

AI для Всех

Классная идея использовать генеративные сетки для репрезентативного обучения:

Project

Но подозреваю что тренировать этого монстра очень и очень сложно.

#ContrastiveLearning #generative #GAN

79 viewsArtemii, edited 05:47

AI для Всех

Сам такой хотел когда-то написать, но руки так и не дошли. Код который помогает расчитать размеры сверток

#CNN

Twitter

François Fleuret

I wrote a piece of code that, given an input and output tensor sizes and a depth, computes all the sequences of kernel sizes / strides that do it! No padding. I hate paddings. fleuret.org/git-extract/py… @PyTorch

82 viewsArtemii, edited 06:44

AI для Всех

Токсичный GPT? Кажется есть решение.

#GPT #NLP #generative

Openai

Improving language model behavior by training on a curated dataset

Our latest research finds we can improve language model behavior with respect to specific behavioral values by fine-tuning on a small, curated dataset.

77 viewsArtemii, edited 06:57

AI для Всех

Не уверен, насколько человек сделал верно обучение и тд, надо чекать, если это вообще возможно.

Но идея сделать датасет с наборами текстов от разных писателей/разных тем и на таком датасете показывать некоторые примеры для гумов кажется приятноф

Colab

#NLP

Google

Копия блокнота

Colaboratory notebook

80 viewsDmitry Penzar, edited 16:26

AI для Всех

Дипфейки шагнули на новый уровень. Теперь можно подделать почерк по одному слову.

Twitter пост

#generative #nlp

Twitter

Facebook AI

Today, we’re introducing TextStyleBrush, the first self-supervised AI model that replaces text in existing images of both scenes and handwriting — in one shot — using just a single example word: ai.facebook.com/blog/ai-can-no…

81 viewsArtemii, edited 21:08

AI для Всех

https://twitter.com/mtutek/status/1403290550820814853?s=21
#joke

Twitter

Martin Tutek

Going through students' lab assignment submissions and ran into this

76 viewsArtemii, edited 06:53

AI для Всех

Forwarded from эйай ньюз

Китайцы очень любят делать объёмные обзоры той или иной подобласти машинного обучения с перечислением основных работ и главными прорывными идеями. Статей выходит очень много каждый день, и невозможно все прочесть. Поэтому такие обзоры ценны (если качественно написаны, конечно, что довольно редко).

Недавно вышла очень неплохая статья-обзор различных вариантов Трансформеров с фокусом на моделировании языка (NLP). Это мастр-рид для всех, кто начинает работать с NLP и интересуется Трансформерами. В статье рассматриваются базовые принципы работы self-attention и такие подробности современных вариантов Трансформеров как модификации архитектуры, претрейнинг и их приложения.

Статья: A Survey of Transformers.

74 viewsArtemii, 07:43

AI для Всех

Блог известный, но тут еще ссылку на него не кидали вродь.
Статьи интересные и дают вопросы "на понимание".

https://dyakonov.org/

#resources

Анализ малых данных

КвазиНаучный блог Александра Дьяконова

87 viewsDmitry Penzar, edited 16:02

AI для Всех

Кажется придётся новый курс изучить: https://huggingface.co/course/chapter1

#NLP

huggingface.co

Introduction - Hugging Face LLM Course

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

81 viewsArtemii, 17:34