эйай ньюз
77.3K subscribers
1.72K photos
890 videos
7 files
2.03K links
Культурно освещаю самые и не самые важные новости из мира AI, и облагораживаю их своим авторитетным профессиональным мнением.

Ex-Staff Research Scientist в Meta Generative AI. Сейчас CEO&Founder AI стартапа в Швейцарии.

Aвтор: @asanakoy

PR: @ssnowysnow
Download Telegram
VoiceCraft: Zero-Shot редактор речи и Text2Speech

VoiceCraft - это нейрокодек, который может в редактирование записанной речи, позволяющий заменять сказанные слова на новые. На все про все ему нужно пару секунд референса, который можно взять из остальной записи.

Получается, можно полноценно редактировать какой-нибудь подкаст, вырезая лишнее и генеря заново текст.

Модель представляет собой авторегрессионный трансформер на 830М параметров, обученный на Gigaspeech XL. Чтобы перевести аудио в latent space используется модель EncodecModel с 56М параметров, натренированная по принципу VQGAN.

VoiceCraft генерит 13 секунд аудио примерно за 8 секунд на RTX 3080 (те быстрее самой записи), что по идее дает возможность редактировать речь в риалтайме.

Пока доступен только английский язык.

В перспективе, как уже сказано, можно использовать для монтажа подкастов, а также закадрового голоса. На данный момент, это вроде как SOTA из того, что есть в опенсорсе.

Ну а если прикрутить еще какой-нибудь wav2lip, то и видосы тоже можно будет редачить.

Статья
Сайт проекта с примерами
Код
Потыкать самостоятельно в хаггинге
Notebook

@ai_newz
❤‍🔥69🔥27👍13105🤯5😁1
Илонка молодец, Илонка анонсировал новую версию своей языковой модели Grok 1.5V. Теперь она понимает картинки. Судя по табличке с бенчмарками, Vision часть модели работает плюс-минус на уровне GPT-4V (правда, непонятно с какой версией они сравнивали).

Ещё и новый бенчмарк (RealWorldQA) зарелизили, для проверки того, как хорошо модель умеет понимать загружаемые фото. Там 700 фото и вопросов к этим фото, нацеленных оценить именно пространственное мышление модели – с этим у них часто проблемы, и Grok 1.5V на этом бенчмарке сильно лучше чем GPT-4V и Claude 3 Sonnet.

Доступ обещают "скоро", но базовой Grok 1.5 обещали на прошлой неделе, а всё ещё не релизнули. Напомню, что Grok-1 выпустили в опенсорс только месяц назад, но модель слишком большая, чтобы быть юзабельной (314 B параметров).

Ждем веса и код новой модели! 😑

@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8316👍12🫡6😁3😍3
OpenAI запустила новую модельку GPT-4 Turbo в чатик. Теперь все подписчики могут на себе оценить возможности новой версии. Судя по твитам, помимо прочих улучшений и матеши, ответы стали более человечными. Жду ваши тесты в комментах! БТВ, катофф ее знаний все еще декабрь 2023.

Должна появиться у всех через какое-то время.

@ai_newz
🔥74👍20❤‍🔥76
Там на NeurIPS (топовая конфа по AI) объявили о создании трека для старшеклассников, чтоб они сабмитил научные статейки еще со школы.

Кажется, без двух статей на Нипсе скоро даже в бакалавриат брать не будут. 👀

Сейчас уже на PhD в топовые лабы не пробиться без top-tier публикаций. Я еще на дурничку проскочил в 2015, когда не было такого хайпа, и почти ни у кого до аспирантуры не было серьезных публикаций.

П.с. напишите в комментах, если хотите пост с моим мнением по поводу "нужно ли делать PhD".


@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥188🤯59🦄19😁107🙏5👍4😱2
Нейродайджест за неделю (#13)

1. Заметки
Канада выделила 1.5 млрд долларов на AI кластер. Молодежь радуется шансу разбогатеть. Государственики медленно просыпаются к AI-лихорадке.
ШАД от Яндекса - бесплатная программа по фундаменту в ML. Хороший буст по знаниям.
llm.c от Андрея Карпатого - тренируй LLM на умных лампочках
NeurIPS трек для старшеклассников. Скоро без статей на Нипсе и в шарагу не возьмут?

2. Релизы и обновления

JetMoE - очень дешевый трейн LLM. Можно юзать как основу для файнтюнов.
GPT-4 - теперь с картинками через API. В целом значительно лучше. Обнову уже завезли и в чатик.
Дроп Mixtral-8x22B. Веса уже на торренте.
Grok 1.5V от Маска с виженом и любовью. Скоро.

3. Утилиты и приложения

Креативный апскейл от Леонардо. Дают опрокинуть 5 бесплатных грузовиков с деталями в день.
Lightning Studio - альтернатива Google Colab с бесплатным хранилищем и интеграцией IDE. 22 GPU-часа бесплатно в месяц.
VoiceCraft - редактор речи. Как поменять кусок текста в аудиозаписи.

4. Подкасты
Разговор о RAG с Олой Пиктус, ресерч инженерном из Cohere. И о том как перекатиться из SWE а ресерч на ее примере.

5. Личное
Об авторе канала + подборка избранных постов для новоприбывших.

#дайджест
@ai_newz
❤‍🔥60👍37🔥963
Chatbot Arena: Альтман наносит ответный удар

Пару недель назад Claude 3 Opus сместил GPT-4 с вершины пищевой цепочки по общему рейтингу, но тут подоспели результаты новой GPT-4 Turbo 2024-04-09 в чатбот арене. Новая модель OpenAI смогла победить Opus, который продержался на первом месте чуть меньше трёх недель. Claude 3 Opus всё ещё лучше в отдельных задачах: понимании длинного контекста и китайском языке.

А ещё появились результаты DBRX, всё плохо: модель оказалась на 26 месте и отстаёт от Mixtral, у которого в два раза меньше параметров.

Под конец приведу цитату классика: "Сейчас я доверяю только двум бенчмаркам LLM: Chatbot Arena и разделу комментариев r/LocalLlama."

@ai_newz
🔥112👍1917🤯5💯2🦄2
Adobe закупается видосиками

По интернету и так ходят слухи, что в нём закончилась дата для тренировки диффузионок. А если ты Adobe и хочешь все делать на лицензионном контенте, то и того хуже. Так что теперь адобченко платят по 3 доллара (доходит и до $7) за минуту видео-контента для своих моделей. При чем на видео люди просто живут, двигают руками, ногами; злятся и говорят по телефону. Что, наверное, не так часто снимают специально. Может быть, таких данных действительно не хватает.

Никогда бы не подумал, что для того чтобы успеть в гонке ии-моделек, весь бигтех дружно перейдет на пиратский контент (хотя, считать это fair use или нет все еще является дилеммой). Кстати, слышал где-то, что 6-ю версию Midjourney тренировали на кадрах из фильмов. Поэтому там такие красивые картинки. Файнтюн на эстетику.

Ну, и теперь, очевидно, что Adobe готовят свою видео модель, конкурента SORA.

@ai_newz
🤯65👍3517🔥3🦄2❤‍🔥1
Решил я стать промпт-инженером и получать $300кк/сек, поэтому посмотрел курс Эндрю Ына "ChatGPT Prompt Engineering for Developers". Шучу, конечно. Просто хотелось понять, насколько полезны такого рода курсы, может там действительно учат заклинать нейронки – я впервые смотрел лекции по промпт-инжинирингу.

Мой честный отзыв:
– Курс будет полезен для новичков, которые слабо представляют как работать с LLM, и что у нее можно просить (и как). Классно, что параллельно с видео можно самому играться с промптами и вызывать GPT-3.5 через API в бесплатном ноутбуке, который встроен в интерфейс курса.
– Кроме этого, особо ничему там не научат. Разве, что я увидел прикольную тулзу redlines для подсветки разницы между двумя текстами в python (см скрин в первом коммментарии).

Так что для новичков — рекомендую. Для остальных — нет, лучше почитайте статьи какие-нибудь.

Ссылка на курс (бесплатно)

#туториал
@ai_newz
💯72👍5017🔥10🤯21
TikTok тестирует AI-инфлуенсеров для интеграции в рекламный кабинет.

Уже были попытки реализовать что-то подобное, завирусившееся в твиттере, правда там было не совсем ai generated (там был простой липсинк). Но выглядело очень правдоподобно – говорящая голова эмоционально зачитывает любой рекламный текст за несколько десятков $.

И вот в сеть утекла информация, что тикток и сам пробует нечто похожее. Неясно, как это будет реализовано и еще более неясно, как на это отреагирует аудитория. А вот криэйторам стоит побеспокоиться, ведь их доход в основном состоит из таких вот партнерств с брэндами, которые AI-аватары могут перетянуть на себя. Криэйторам там и так не платят, а теперь еще и спонсоров хотят отжать. О этот новый дивный мир!

@ai_newz
💯34😁19🤯12❤‍🔥6👍53
До сих пор довольно мало инфы известно о реализации модели SORA. Есть только спекуляции, и часто ошибочные. Основная идея — это то, что там огромный и медленный DiT (диффузионный трансформер), натренированный на большом объеме качественных видео.

Я наткнулся на запись доклада, где основные авторы SORA Tim Brooks & Bill Peebles трут о модели на каком-то митапе в Долине. Запись шакальная, как экранная копия кино, снятого с сони-эриксона в кинотеатре (ну зато субтитры приделали). Но все равно, думаю, интересно послушать про Сору от самих авторов, хоть и глубоких деталей они все равно не дают, конечно.

@ai_newz
🤩30🔥20👍1211😁3
Вышел AI Index Report 2024 - ежегодный отчет от Стенфорда про тренды в AI (не только в ресерче).

1. AI местами уже обходит людей в задачах связанных с классификацией изображений и пониманием (английского) языка. Но еще не везде (пока).

2. Бигтех продолжает жестко доминировать в АИ ресерче выпустив, помимо прочего, 51 достойную модель, пока академия лишь 15.

3. По оценкам AI Index, затраты на обучение современных моделей ИИ достигли беспрецедентного уровня, например, на обучение GPT-4 от OpenAI было потрачено около 78 млн $, а на Gemini Ultra от Google - 191 млн $ .

4. США – лидер в AI гонке, а Китай в робототехнике. Китай клепает много статей, но реально крутых моделей у них меньше чем у Американцев.

5. Остро стоит вопрос алайнмента. Сейчас нет каких-то бенчмарков или утвержденных эталонов для оценки ответственности LLM, что затрудняет систематическое сравнение рисков и регуляцию моделей между сосбой.

6. Инвестиции в AI резко возросли, почти в восемь раз по сравнению с 2022 годом и достигли 25,2 миллиарда долларов, несмотря на общее снижение частных инвестиций в нишу в прошлом году.

7. AI повышает производительность труда, а также сужает разрыв между начинающими и опытными сотрудниками. Так что учимся пользоваться!

8. Научный прогресс ускоряется еще больше благодаря AI. В 2023 году были запущены AI-интсрументы во всех сферах научной деятельности, начиная с AlphaDev, повышающего эффективность алгоритмической сортировки, до GNoME, облегчающего процесс открытия новых материалов.

9. Мы видим все больше регуляций AI со стороны государств. Количество нормативных актов, связанных с AI, в США резко возросло за последний год и последние пять лет, в 2023 году их было 25, а в 2016 – всего один.

10. До людей постепенно доходит что AI это вам не NFT, согласно опросу Ipsos, доля тех, кто считает, что искусственный интеллект кардинально повлияет на их жизнь в ближайшие три-пять лет, увеличилась с 60% до 66%, а 52% выражают обеспокоенность в отношении AI. Люди боятся того, чего не понимают.

Репорт в PDF

@ai_newz
👍102🔥3219🤯7🦄3🫡2
Кажется, мы стали забывать, сколько стоит тренировка Gemini Ultra... ее оценивают в 191.4 миллиона долларов $$$!

Это почти в 2.5 раза больше чем GPT-4, и тут еще не учтены остальные эксперименты, которые не выгорели.

Но и инференс же тоже не дешевый. Уверен, что гугл сейчас в убыток раскатывает свои модели в прод.

@ai_newz
🤯129🔥13😁98👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Новый Atlas от Boston Dynamics

Только вчера они прощались с классической моделью Атласа, над которым как только не измывались, а сегодня уже показывают его замену. В отличие от прошлых, гидравлических, поколений, новое поколение Atlas - полностью электрическое, что делает его сильнее и ловче.

Выглядит прикольно - дизайном напоминает фантастику 50-х. Мелкой моторики Optimus мы тут, конечно же, не увидим, но двигается он гораздо живее. И, самое важное, его возможно будет купить после бета-тестирования клиентами (пока что это только Hyundai). Но, смотря на цену Spot (да-да, та самая робо-собачка) в $75k, страшно и представить сколько попросят за гуманоидного робота.

@ai_newz
92😱28👍16🔥15❤‍🔥3🤩2🤯1
🔥Там релизнули Stable Diffusion 3 API.

Потыкался в API SD3 Turbo (разбор статьи), и вот мои результаты. End2end задержка ~2.5 сек.

Может из меня плохой промпт инженер, но не выглядит, что она лучше чем MJ6 – слишком много артефактов. Основные авторы ушли из стабилити и, возможно, релиз был сделан кувырком совсем другими людьми.

1&2. Moloch whose eyes are a thousand blind windows, whose skyscrapers stand in the long streets, whose smoke-stacks and antennae crown the cities! 
3. A photograph of a pig with a unicorn’s horn.
4. A shark fighting an alligator
5. a cat in boots and dog
6. Emma Watson eating noodles
7. cute cotton candy monster, flirty cute stubborn determined, style of krenz cushart and craig davison, highly detailed
8. Spiderman fighting Dinosaur in jurassic park


Colab ноутбук (нужен API ключ - получить здесь)

@ai_newz
🔥34🫡24😁117👍5🦄4😍1