Топ 10 постов в канале NN for Science за 2022 год. 9ое место.

Близится Новый год, а значит пора подводить итоги и разбирать что произошло дальше.

9ое место (21.9к прочтений) занимает октябрьский пост про то, как Stable Diffusion можно использовать в Augmented Reality (AR).

С тех пор инференс SD ускорили в несколько раз, а значит и на мобильных устройствах он работать стал быстрее.

Коммерческих продуктов пока не встречал, но думаю что они не за горами, вопрос уже не в технологии, а в том, что бы найти хорошее применение (например прикрутить туда Dreambooth, находить объект, дергать 20 более менее разных кадров, дообучать и стилизировать объект в AR).

Ох, что нас ждёт в 2023!!!

Как ИИ помог человечеству в 2022 году.

Искусственный интеллект (ИИ) может помочь в решении больших проблем и улучшении нашей жизни. От решения проблемы изменения климата до обнаружения смертоносного оружия и диагностики опасных проблем со здоровьем - ИИ продемонстрировал свой потенциал положительного влияния на мир. Вот лишь несколько примеров того, как ИИ меняет мир к лучшему:

🍀 Борьба с изменением климата: Исследователи используют ИИ для визуализации будущих последствий наводнений и лесных пожаров, улучшения процесса принятия климатических решений, мониторинга лесов и обмена данными. Среди других проектов в области климата с использованием ИИ - создание цифровых двойников планеты для проверки влияния различных мер по смягчению последствий потепления и картирование истончения морского льда.

🥗 Улучшение доступа к питательным веществам и воде: ИИ используется для точного определения мест, где население подвергается риску недоедания из-за дефицита питательных веществ. В США алгоритм помогает местным органам власти находить и удалять токсичные свинцовые трубы, которые препятствуют доступу к чистой воде.

💣 Обнаружение смертоносного оружия: Исследователи работают над системой искусственного интеллекта, которая с помощью съемок с беспилотников и машинного обучения выявляет неразорвавшиеся мины на расстоянии, чтобы их можно было безопасно обезвредить. Другой алгоритм ИИ, созданный на основе глаза мухи, может обнаруживать беспилотники, которые могут быть использованы в неблаговидных целях.

🏁 Удивительные видеоигры: Недавно программа ИИ победила человеческих чемпионов в ультрареалистичной гоночной игре Gran Turismo. Это поможет разработчикам игры создать в игре реально крутого автоматизированного соперника. Успех программы также может вдохновить исследователей на создание самоуправляемых автомобилей в реальном мире.

😷 Диагностика проблем со здоровьем: Исследователи завершили полевые испытания программы ИИ для выявления сепсиса - основной причины смерти в больницах. Результаты показали, что программа снизила количество осложнений и смертей от сепсиса, и получила положительные отзывы от медицинских работников. ИИ также используется для диагностики бактериальной инфекции на оливковых деревьях.

🧬 Взлом белкового кода: Компания DeepMind, принадлежащая Google, объявила, что ее программа ИИ AlphaFold предсказала молекулярные структуры почти всех известных белков - около 200 миллионов предполагаемых форм белков. Это крупное достижение в области биологии принесло создателям ИИ премию Breakthrough Prize в размере 3 миллионов долларов.

🍷Обзор вина и пива: Языковые модели могут помочь вам решить, что пить, объединяя существующие обзоры в сжатые, обобщенные описания. Потенциально программа может быть расширена для обзора других продуктов.

🦠 Предсказание вирусов с пандемическим потенциалом: Исследователи используют инструмент ИИ для анализа вирусных мутаций и предсказания того, когда появятся и станут доминирующими новые варианты, такие как вариант COVID-19 Omicron. Другие алгоритмы изучают эволюцию вирусов, чтобы выявить потенциальные пандемические вирусы до их появления.

Это лишь несколько примеров того, как ИИ используется для оказания положительного влияния на мир. К 2023 году стало очевидно, что эта технология обладает потенциалом для решения больших проблем и улучшения нашей жизни.

По материалам Scientific American

Топ 10 постов в канале NN for Science за 2022 год. 8ое место.

Близится Новый год, а значит пора подводить итоги и разбирать что произошло дальше.

8ое место (22.7к прочтений) занимает июньский пост про расшифровку речи китов.

С тех пор особо ничего нового не случилось, разве что Бронштейн искал себе аспирантов на этот проект.

Надеюсь в следующем году нас порадуют датасетом и какой-нибудь первичной моделькой.

Гуглу конец? ChatGPT взял лидерство в соревновании по поиску.

Вы когда-нибудь искали что-то в Гугле и были разочарованы результатами? Вы не одиноки.

Недавно компания Surge AI провела исследование, сравнив производительность ChatGPT, большой языковой модели, разработанной OpenAI, с Google по ряду поисковых запросов. Результаты оказались удивительными: несмотря на то, что ChatGPT не был специально разработан для поиска, он превзошел Google по запросам о програмировании и сравнялся с ним по общим информационным запросам. Более того, когда дело дошло до специфических запросов по програмированию, ChatGPT был признан лучшим в 70% случаев.

Эти результаты свидетельствуют о том, что большие языковые модели, такие как ChatGPT, могут представлять угрозу для традиционных поисковых систем, таких как Google. Так что в следующий раз, когда вы будете испытывать трудности с поиском нужной информации, попробуйте воспользоваться ChatGPT.

🔗 Блог-пост

Почувствуй себя ChatGPT

Нейронкам необъяснимо сложно даются пальцы: и рисовать, и считать. Зная эту уязвимость, все давай ее спрашивать, сколько у кого пальцев, глаз, ушей и прочих частей тела... Тоже думаете, это тривиально?

Тада, нате вам задачка из детской книжки:

Топ 10 постов в канале NN for Science за 2022 год. 7ое место.

Близится Новый год, а значит пора подводить итоги и разбирать что произошло дальше.

7ое место (26.1к прочтений) занимает июльский пост про то, как нейросети ускоряют разработку новых чипов GPU.

С тех пор вышли новые GPU от NVidia, при проектировании которых использовалась эта нейросеть. Но у железа цикл годовой, так что ждём следующего года и новых открытий.

Релокейш дестинейшн мечты для МЛ инженера

К слову о гпу. В ходе полевых исследований обнаружен район, в котором регистрационные знаки транспортных средств сплошь GPU. От жука до трактора. Умираю от зависти. Хочу жить среди графических процессоров на колесах

📍Где: Польша, г. Пуцк
🗿Пруф

@GingerSpacetail

Всем приветики из Нью-Йорка! Буду тут до 27ого, кто хочет встретиться - пишите

В продолжение поста свежая статья от New York Times, согласно которой Гугл очень серьёзно относится к возможности смены парадигмы в поиске: https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html

Статья за пейволлом, но телеграммовское instant view в мобильном приложении, похоже, позволяет без проблем её прочитать.

Google объединил self-supervised NLP подходы и получил профит на 50 задачах

Обычно GPT-like (только декодер) модели обучаются на Language Modeling (LM), энкодер-декодер - на Span Corruption (SC). Первая задача больше про экстраполяцию, вторая - про интерполяцию. Поэтому GPT умеет во few-shot и в целом лучше для генерации текстов, а условный T5 хорош в понимании классификации текста.

Ученые из гугла решили обучить модель, которая бы хорошо себя показывала на всех задачах (генерация, классификация, retrieval, QA, …) и в разных постановках (supervised дообучение, zero/few - shot).

Обучали на миксе трех лоссов:
- S-denoiser - LM-like
- R-denoiser - SC
- X-denoiser - extreme SC: спаны длиннее и/или их больше

В итоге дообучение модели с таким претрейном дает им профит на большинстве из 50+ различных задач и постановок. То есть они двигают Парето границу качества, улучшая его по нескольким направлениям.

Ещё из интересного:
- Mode switching: обучали, добавляя токен задачи [R], [S] или [X]; на дообучении помогает подставлять соответствующий токен
- X-denoiser помогает, но его одного недостаточно (и много чего ещё в ablations)
-  Их модель UL2 20B получает профит от Chain of Thought промптинга. Это эмерджентное свойство не наблюдалось у моделей средних размеров (да, 20B - средний размер :) )
- Дают soft advice: используйте энкодер-декодер архитектуру (разделение весов); похуже: только декодер, но с bidirectional attention на префикс; ещё хуже - vanilla decoder only; encoder only - deprecated
- Веса UL2 20B в открытом доступе

Paper; Blogpost

Подписывайтесь: https://t.iss.one/building_singularity
Здесь больше интересных постов про AI :)

The first prize in generative art should be this

Друзья, с наступающим или наступившим Новым годом вас! В этом году наше уютное коммьюнити выросло до размеров о которых я и мечтать не мог, а что же нас ждёт в следующем году?

Желаю всем нам, что бы война закончилась и началось светлое и прекрасное будущее!

Happy New Year!

Как построить карьеру в AI. Руководство от Andrew Ng

Новый Год 🎄, время строить планы. Если хочется научиться что-то делать в AI, но не знали с чего начать, то читайте дальше!😉

Самый главный популяризатор AI выложил в открытый доступ руководство как построить карьеру в AI.

Руководство очень просто написано и является сборником полезных советов. Можно использовать вместо ментора. Состоит из 3-х основных глав:

1️⃣ Как научиться
2️⃣ Как выбрать проект
3️⃣ Как найти работу

Эндрю дает простые, но важные советы как побороть синдром самозванца, нужно ли глубоко знать математику, и пожалуй самое главное, как правильно выбирать проекты для своего AI портфолио (спойлер, лучше сразу делайте что-то на пересечении вашей экспертизы/того что вам интересно и AI)

Инджой

Выпал на новогодние праздники (которые у меня в этом году случились по всем календарям кроме русского), и конечно же миллион событий и осознанных встреч. Но давайте попробуем вкатиться обратно.

Обнаружение марсотрясений с помощью методов машинного обучения

Ребята из ETH рассказывают как наконец то смогли убедить упертых геологов, что машинное обучение это круто и как его можно использовать для изучения Марса ☄️.

Блог-пост

фотка кстати настоящая со спутника