VideoDalle - как генерация гифок, только лучше 🙆

Пост назад мы говорили что выпустим код, и так, теперь его можно найти в репозитории ruDalle.

Суть работы в том, что вместо генерации одной картинки мы обучаем генерировать сразу несколько. Это позволяет делать картинки более связанными и последовательными.

Спасибо каналу Love. Death. Transformers за пост и код ревью.

Колаб ноутбук

Победили в хакатоне по ИИ 🥳

👉 Тут недавно Сбер организовывал хак по распознаванию рукописного текста на тетрадных листах, ну и админы решили принять участие.

👀 В течение трех недель решали задачи сегментации(выделения слов) и их последующее распознавание(задача OCR). В качестве метрики использовалась комбинация IOU и CER.

Сегодня стал доступен приватный лидерборд и оказалось, что один из админов как был на первом месте, так и остался, а второй отлетел со второго места на четвертое(с разницей в 5/10000) 😕.

В итоге удалось унести макбук и сбер портал.

Лидерборд

Как быстро спарсить фотки из гугла/яндекса? ⚡️

👉 Представим ситуацию - вам необходимо собрать набор данных для генерации картинок, но вы слишком уставши, чтобы искать готовые решения или просто писать код.

Что делать в такой ситуации? Поспать Просто следуйте следующей инструкции:

1️⃣ Откройте хром, вбейте нужный запрос в поисковую систему(я пользуюсь яндексом, так как фильтры удобные)

2️⃣ Медленно прокрутите страницу с выдачей до нужного количества изображений

3️⃣ Сохраните страницу "полностью". Создастся один файл и папка с картинками

4️⃣ Запускаем файл converter.py и указываем полный путь к папке. Скрипт создаст папку images со всеми картинками в разрешении примерно 480 * 270

Опционально: запускаем delete.py и указываем полный путь, чтобы удалить дубли по хешу

🔥 В итоге, буквально за 5 минут можно спарсить порядка 1500 изображений, что довольно дёшево и сердито.

Мы на паблике - первые 🥇

Ну или почти, в любом случае, можно и нужно подвести некоторые итоги финала Олимпиады НТО по распознаванию рукописного текст в тетрадях на русском и английском.

👉 Как обычно, начнем с хорошего:

1️⃣ Заняли первое место лидерборда с самого начала соревнования. 🔥

2️⃣ Использовали кристофари, что сильно помогло вырваться вперёд за счёт объёма памяти(32гб). Разрешение картинок на входе 2160 X 3130.

3️⃣ Обучали предобученную на Digital Peter CRNN (с аугментациями и чуть более расширенной версией бейзлайна) + статистически-языковую модель(KenLM) для beam search.

4️⃣ KenLM обучали на собранном датасете заданий с текстом из ОГЭ/ЕГЭ для русского и на датасете соревнования Feedback(сочинения на англе) с кагла.

5️⃣ Использовали detectron2 с аугментациями и чуть-чуть почищенным сетом, моделька X101 - топ зоопарка на датасете COCO.

👉 Что не вышло?

1️⃣ Хотели прикрутить алгоритм CopyPaste для сегментации, но обучалось слишком медленно.

2️⃣ Отказались от идеи с другими датасетами сегментации и OCR, так как у них другая тематика.

3️⃣ Пытались использовать аугментацию Сбера Handwriting Blots, но тоже работало медленно.

Наше решение, которое заняло первое место на паблик лидерборде в НТО ИИ.
https://github.com/Lednik7/nto-ai-text-recognition

Поздравляем всех с праздником 🎉

Нам очень приятно, что на нас подписаны не только трушные датасаентисты, но и прелестные дамы 🙌

Поэтому мы захотели сделать кое-что для вас, то что в наших силах и бюджете, а именно - нейропоздравлялку в тг🔥

@red_letter_day_bot - делитесь с друзьями, нам будет приятно

Очень крутая подборка материалов по MLOps на английском.

GitHub
Сайт ml-ops.org

Авторское право в ИИ

Я думаю не секрет, что весь ML построен на использовании чего-то существующего обучении, будь то музыка, картинки или текст с 3D реконструкцией. Эти наборы зачастую состоят из публичных данных собранных в интернете, но не все из них, согласно их лицензии, разрешено использовать в своих целях.

Связи с этим возникает вопрос, а что использовать вообще можно? Если по правилам, то почти всё что имеет свободную лицензию, например лицензии Creative Commons. Специально для поиска свободных материалов существуют сайты по типу CC Search.

Что интересно, многие законы по защите авторского права используют понятия, ключевым моментом которых является человек. Из-за этого возникают путаницы.

Из недавнего. 14 февраля 2022 люди пытались зарегистрировать авторские права на картинку, сгенерированную нейронкой DABUS, на что в ответ получили:

Закон copyright защищает только "плоды интеллектуального труда", которые "основаны на творческих силах человеческого разума", отметив, что "картина была автономно создана искусственным интеллектом без какого-либо творческого вклада со стороны человеческого актера"(перевод с англа).

Подытожив можно сказать, что пока границы авторского права ИИ не определены.

Больше примеров авторского права и ИИ

Про платформы для исследований

Кажется, подключить без костылей колаб про/про+ больше не получится, поэтому стоит искать альтернативу.

Тут сразу можно вспомнить кагл, но его бывает мало(около 40 гпу часов ~ 3 ночи обучения).

— Data Sphere (до 31 декабря 2022)
Как вариант, отправить заявку на грант от Яндекса. Дадут сумму до 100к для исследований на их платформе. V100 доступна.

Грант, выданный в рамках Программы, должен быть использован в течение шести месяцев с даты его зачисления на аккаунт.

— Toloka Research Grant (до 31 марта)
Это грантовая программа для поддержки любых исследований, где есть много данных, будь то ML, лингвистика или социология. Грант представляет собой промокод на сумму от 100 до 500 долларов, активировав который, исследователь получает возможность запускать проекты по сбору и разметке данных в Яндекс.Толоке. Подать заявку может каждый, единственное условие — мы просим лауреатов указывать в статьях и на конференциях, что данные для исследования они собирали с помощью нашего сервиса.

Доступ к продуктам JetBrains

Компания приостановила продажу своего продукта.

Неприятно конечно, но решение есть и оно бесплатное.
Чтобы получить халявный промокод на All Products Pack, достаточно выполнить следующие действия:

1) Решить штук 10 задач по проге на stepik.org

2) Подождать часик-другой. Уведомление придет на почту(вроде) и в уведомления на сайте

3) Следовать инструкции из уведомления

Profit. Вот вам и доступ на 3 месяца.

Ну и ещё один вариант - отправить справку, что вы студент/школьник из образовательного учреждения, тогда доступ будет на год.

THE AI INDEX REPORT

Тут Стенфорд выкатил полный отчет по различным аспектам ИИ, начиная от научных публикаций и заканчивая финансированием исследований и разработок.

Вообщем-то документик большой, 200+ страниц. В целом, суть такова - ну очень большой интерес к этой сфере, много надежд на разработку различных черных коробок.

Пара интересных фактов:
— 21% PHD связаны с ИИ
— Больше всего времени на обучение тратится на тяжелые модели для обнаружения объектов и RL
— Климат и здравоохранение - самые популярные темы научных статей, влияющих на мир
— ИИ стал доступнее, обучение моделей для базовых задач уже не такое затратное (всё таки, отточенные пайплайны и no-code решения играют большую роль)

Потыкать графики можно тут
PDF файл