🤬 Осторожно, нецензурщина!
Сегодня некий доброжелатель слил 44 гигов исходников разных продуктов Яндекса. Архив можно нагуглить, ссылку постить тут не буду.
Особо ничего полезного, свой Яндекс на коленке из этого снепшота не соберёшь, ведь очень много чего завязано на их инфру, да и код не полный.
Из занятного, там есть часть данных, на которых тренили, например Алису. На скринах стоп слова и всякие ругательства, которые, видимо, использовали чтобы "фильтровать базар" пользователей.
А теперь, представьте, что будет если дообучить LLM на этом богатстве и сделать матную Алису 2.0 без цензуры. Еще поставить такую у себя дома, чтобы гостей развлекала 😅.
@ai_newz
Сегодня некий доброжелатель слил 44 гигов исходников разных продуктов Яндекса. Архив можно нагуглить, ссылку постить тут не буду.
Особо ничего полезного, свой Яндекс на коленке из этого снепшота не соберёшь, ведь очень много чего завязано на их инфру, да и код не полный.
Из занятного, там есть часть данных, на которых тренили, например Алису. На скринах стоп слова и всякие ругательства, которые, видимо, использовали чтобы "фильтровать базар" пользователей.
А теперь, представьте, что будет если дообучить LLM на этом богатстве и сделать матную Алису 2.0 без цензуры. Еще поставить такую у себя дома, чтобы гостей развлекала 😅.
@ai_newz
January 26, 2023
January 26, 2023
Нейродайджест за неделю (#5)
🤯 Бекенд исключительно на GPT: проект победителей scaleAI хакатона
Участники реализовали приложение со списком дел, где функциональную часть бекенда заменили промптами для GPT. Чтобы не использовать БД, предыдущее состояне списка добавляется к текушему промпту. В результатае возможно задавать эндпроинты как deleteAllTodosDealingWithFood() или sorttodosbyestimatedtime(), которые не были определены в коде.
🧑🏫 Лекция от Andrej Karpathy по имплементации GPT с нуля
🦖 Разбавим новости про GPT и диффузионне модели: StyleGAN-T
Работает хуже, чем диффузия, но быстро (~0.1c). ГАНы все еще в деле! [Прыгнуть на пост]
👩💻 cursor.so: IDE в которой интеграция с AI-ассистентом выходит на новый уровень
Глубоко интегрированная LLM позволяет задавать открытые текстовые запросы, задавать вопросы про уже написанный код, описывать требуемые изменения и многое другое.
📈 Модели от OpenAI теперь доступны в рамках Azure OpenAI Service. Microsoft продолжает интегрировать технологии OpenAI.
🎷 MusicLM: Модель от гугла для генерации музыки по текстовому запросу.
MusicLM может генерировать семплы длиной в несколько минут с гармоничным звучанием. Модель так же может стилизовать по текстовому запросу обычные напевы в диктофон. Кода нет, но есть примеры.
🎧 playlistAI: Приложение, которое генерит плейлисты для Spotify и Apple Music по текстовому запросу.
🧠 Новое поколение поисковиков набирает обороты.
Пока Гуглу пытается угнаться за ChatGPT, несколько новых поисковиков-стартапов уже интегрировали LLM в свои продукты. Говорить, что они перевернули игру еще рано, но уже можно затестить. [Прыгнуть на пост]
❱❱ Читать предыдущий нейродайджест
@ai_newz
🤯 Бекенд исключительно на GPT: проект победителей scaleAI хакатона
Участники реализовали приложение со списком дел, где функциональную часть бекенда заменили промптами для GPT. Чтобы не использовать БД, предыдущее состояне списка добавляется к текушему промпту. В результатае возможно задавать эндпроинты как deleteAllTodosDealingWithFood() или sorttodosbyestimatedtime(), которые не были определены в коде.
🧑🏫 Лекция от Andrej Karpathy по имплементации GPT с нуля
🦖 Разбавим новости про GPT и диффузионне модели: StyleGAN-T
Работает хуже, чем диффузия, но быстро (~0.1c). ГАНы все еще в деле! [Прыгнуть на пост]
👩💻 cursor.so: IDE в которой интеграция с AI-ассистентом выходит на новый уровень
Глубоко интегрированная LLM позволяет задавать открытые текстовые запросы, задавать вопросы про уже написанный код, описывать требуемые изменения и многое другое.
📈 Модели от OpenAI теперь доступны в рамках Azure OpenAI Service. Microsoft продолжает интегрировать технологии OpenAI.
🎷 MusicLM: Модель от гугла для генерации музыки по текстовому запросу.
MusicLM может генерировать семплы длиной в несколько минут с гармоничным звучанием. Модель так же может стилизовать по текстовому запросу обычные напевы в диктофон. Кода нет, но есть примеры.
🎧 playlistAI: Приложение, которое генерит плейлисты для Spotify и Apple Music по текстовому запросу.
🧠 Новое поколение поисковиков набирает обороты.
Пока Гуглу пытается угнаться за ChatGPT, несколько новых поисковиков-стартапов уже интегрировали LLM в свои продукты. Говорить, что они перевернули игру еще рано, но уже можно затестить. [Прыгнуть на пост]
❱❱ Читать предыдущий нейродайджест
@ai_newz
X (formerly Twitter)
DY (@DYtweetshere) on X
We're releasing our @scale_AI hackathon 1st place project - "GPT is all you need for backend" with @evanon0ping @theappletucker
But let me first explain how it works:
But let me first explain how it works:
January 29, 2023
This media is not supported in your browser
VIEW IN TELEGRAM
Хорошие новости для представителей дизайнерских профессий. Теперь Stable Diffusion зашёл в Photoshop бесплатно (не то, что предыдущий плагин за $50/мес).
Более того новый плагин Stable.art ещё и в оупенсорсе и лежит на гитхабе. Плагин использует Automatic1111 как бекенд, который крутит сеть локально либо в Google Colab. Нужна только машина с GPU либо подписка на Коллаб.
@ai_newz
Более того новый плагин Stable.art ещё и в оупенсорсе и лежит на гитхабе. Плагин использует Automatic1111 как бекенд, который крутит сеть локально либо в Google Colab. Нужна только машина с GPU либо подписка на Коллаб.
@ai_newz
January 30, 2023
В проекте по анализу картин во время моего PhD мне нужно было парсить сайты музеев и краулить картинки с них. Я часто пытался расколупать какую-то API и мне приходилось реверсинженерить скрипты на javascript. Так вот теперь бы у меня было гораздо меньше боли, потому что ChatGPT заявляет свое превосходство.
На вход - обфусцированный жабасскрипт. На выходе - нормальный код с вменяемыми названиями переменных и функций.
Если на пальцах, то это работает, потому что сеть бьет все на токены, да еще и во время обучения на исходниках она учит инвариантность к названиям объектов. Ведь в коде важнее инструкции и их последовательность, а не то как называется переменная.
🌀Еще, вчера вышло обновление ChatGPT, в котором ей добавили знаний по математике.
#карьера
@ai_newz
На вход - обфусцированный жабасскрипт. На выходе - нормальный код с вменяемыми названиями переменных и функций.
Если на пальцах, то это работает, потому что сеть бьет все на токены, да еще и во время обучения на исходниках она учит инвариантность к названиям объектов. Ведь в коде важнее инструкции и их последовательность, а не то как называется переменная.
🌀Еще, вчера вышло обновление ChatGPT, в котором ей добавили знаний по математике.
#карьера
@ai_newz
January 31, 2023
This media is not supported in your browser
VIEW IN TELEGRAM
Google Research, 2022 & beyond: Language, vision and generative models
Джефф Дин — это как раз тот чел из Гугла, который компилирует и запускает свой код перед коммитом, но только чтобы проверить на баги компилятор и CPU.
Так вот Джеф написал классный блогпост, подытоживающий, что же они там наделали за 2022 год в сфере языковых моделей, CV, мультимодальный моделей и генеративок. Хорошо для чтения на досуге.
@ai_newz
Джефф Дин — это как раз тот чел из Гугла, который компилирует и запускает свой код перед коммитом, но только чтобы проверить на баги компилятор и CPU.
Так вот Джеф написал классный блогпост, подытоживающий, что же они там наделали за 2022 год в сфере языковых моделей, CV, мультимодальный моделей и генеративок. Хорошо для чтения на досуге.
@ai_newz
January 31, 2023
Гугл пытается выкатить на публику свою диалоговую систему LaMDA, очень уж ChatGPT хайпует. Можно записаться в вейтлист на получение доступа. Я уже жду.
Тем временем сегодня Сергей Брин в первые за годы закомитил код в прод. Совпадение?
@ai_newz
Тем временем сегодня Сергей Брин в первые за годы закомитил код в прод. Совпадение?
@ai_newz
February 1, 2023
🥂🍾 Нас теперь 26.000!
Очень рад видеть, как нас становится все больше и больше – энтузиастов и экспертов в эйай. Значит я пишу не зря и вы находите мой контент полезным/интересным. А это очень мотивирует.
Для новеньких: Добро пожаловать в наше уютненькое сообщество! А вот в этом посте я рассказывал про себя, и чем я занимаюсь.
Кстати, я не забыл про обещанный стрим по разбору статьи. Давайте остановимся на папирах по зрению, т.к. в этой области у меня наиболее глубокая экспертиза.
Накидайте статей в комментариях, которые бы вы хотели, чтоб я разобрал. Я сделаю шорт-лист и проведем голосование.
@ai_newz
Очень рад видеть, как нас становится все больше и больше – энтузиастов и экспертов в эйай. Значит я пишу не зря и вы находите мой контент полезным/интересным. А это очень мотивирует.
Для новеньких: Добро пожаловать в наше уютненькое сообщество! А вот в этом посте я рассказывал про себя, и чем я занимаюсь.
Кстати, я не забыл про обещанный стрим по разбору статьи. Давайте остановимся на папирах по зрению, т.к. в этой области у меня наиболее глубокая экспертиза.
Накидайте статей в комментариях, которые бы вы хотели, чтоб я разобрал. Я сделаю шорт-лист и проведем голосование.
@ai_newz
February 3, 2023
Stanford Webinar - GPT-3 & Beyond
Вчера посмотрел эту прелестную лекцию из Стенфорда о новейших Языковых моделях. Проф С. Potts очень классно дал общий обзор языковых моделей и быстренько рассказал, как мы докатились до таких чудес как, например, GPT-3 и ChatGPT. Затем он порассуждал о том, в каких подтемах NLP можно еще что-то привнести обычному смертному, если у вас нет миллионов долларов на обучение SOTA моделей.
И вот какие актуальные темы для рисерча:
🔵 Retrival augmented in-context learning (условно, как поженить поиск и LLM)
🔵 Создание лучших бенчмарков, датасетов
🔵 "Last mile" for productive apps: Адаптация огромных моделей для конечных приложений, упрощающих жизнь
🔵 Исследования в сторону объяснения и верификации результатов, выданных LLM (огромными языковыми моделями).
Сами они в научной группе этого профа, с его слов, почти перестали тренировать модели и, кажется, занимаются промт-инженирингом и докручиванием уже натренированных LLM по вышеуказанным направлениям.
Получилась не очень тяжелая, но очень вдохновляющая лекция! Может после этого вы захотите написать диссер в области NLP. Ну, либо создать стартап.
@ai_newz
Вчера посмотрел эту прелестную лекцию из Стенфорда о новейших Языковых моделях. Проф С. Potts очень классно дал общий обзор языковых моделей и быстренько рассказал, как мы докатились до таких чудес как, например, GPT-3 и ChatGPT. Затем он порассуждал о том, в каких подтемах NLP можно еще что-то привнести обычному смертному, если у вас нет миллионов долларов на обучение SOTA моделей.
И вот какие актуальные темы для рисерча:
🔵 Retrival augmented in-context learning (условно, как поженить поиск и LLM)
🔵 Создание лучших бенчмарков, датасетов
🔵 "Last mile" for productive apps: Адаптация огромных моделей для конечных приложений, упрощающих жизнь
🔵 Исследования в сторону объяснения и верификации результатов, выданных LLM (огромными языковыми моделями).
Сами они в научной группе этого профа, с его слов, почти перестали тренировать модели и, кажется, занимаются промт-инженирингом и докручиванием уже натренированных LLM по вышеуказанным направлениям.
Получилась не очень тяжелая, но очень вдохновляющая лекция! Может после этого вы захотите написать диссер в области NLP. Ну, либо создать стартап.
@ai_newz
YouTube
Stanford Webinar - GPT-3 & Beyond
GPT3 & Beyond: Key concepts and open questions in a golden age for natural language understanding
Listen in as Professor Christopher Potts discusses the significance and implications of recent Natural Language Understanding developments including GPT-3.…
Listen in as Professor Christopher Potts discusses the significance and implications of recent Natural Language Understanding developments including GPT-3.…
February 3, 2023
This media is not supported in your browser
VIEW IN TELEGRAM
Стартапчик Hex Magic запилил что-то типа помощника внутри Jupyter Notebook на базе языковой модели GPT-3 либо Codex.
У парней своя платформа, которая может чуть больше чем ноутбук — там можно и питон запускать и писать скрипты на SQL, и еще что-то, и во всем этом вам будет помогать LLM.
Забавная фича у них есть — если у вас скрэшилась ячейка в ноутбуке, то можно натравить языковыю модель найти ошибку и предложить автоматический фикс. Должно быть удобно для простых ошибок типа "забыл преременную инициализировать."
Идет закрытая бета, можно стать в очередь.
Почитать их блогпост
@ai_newz
У парней своя платформа, которая может чуть больше чем ноутбук — там можно и питон запускать и писать скрипты на SQL, и еще что-то, и во всем этом вам будет помогать LLM.
Забавная фича у них есть — если у вас скрэшилась ячейка в ноутбуке, то можно натравить языковыю модель найти ошибку и предложить автоматический фикс. Должно быть удобно для простых ошибок типа "забыл преременную инициализировать."
Идет закрытая бета, можно стать в очередь.
Почитать их блогпост
@ai_newz
February 4, 2023
Инфоцыгане и всевозможные Гуру "зарабатывай $10000 /мес, тратя час в день" добрались до AI и активно мусолят эту тему на ютубе. До этого были легкие бабки на крипте и Dogecoin, а теперь вот ChatGPT. Ведь когда есть хайп, всегда можно заработать на развесивших уши простачках.
Если бы все действительно было так просто, то они бы свои секретики заработка легких денег так не выдавали. ChatGPT — это не панацея, а инструмент.
Новые инструменты и технологии нужно изучать, чтобы идти в ногу с прогрессом и оставаться актуальным (или даже лидером) на рынке труда, но но нужно фильтровать информационный мусор.
@ai_newz
Если бы все действительно было так просто, то они бы свои секретики заработка легких денег так не выдавали. ChatGPT — это не панацея, а инструмент.
Новые инструменты и технологии нужно изучать, чтобы идти в ногу с прогрессом и оставаться актуальным (или даже лидером) на рынке труда, но но нужно фильтровать информационный мусор.
@ai_newz
February 5, 2023
Нейродайджест за неделю (#6)
🤓 Математические способности ChatGPT
Исследователи сравнили способности ChatGPT решать математические задачи уровня выпускника ВУЗа. Задачи формулировались на естественном языке с использованием Latex для формул, например
Пока что модель значительно проигрывает среднему выпускнику. Авторы так же планируют выложить датасет, так что можно будет сравнить свои скиллы против AI.
🔎 OpenAI представил тулзу для детекции сгенерированного текста
Однако в пояснении к модели явно указано, что авторы еще не оценили качество классификации досконально. Кажется, пока не очень хорошо работает.
🌟 BuzzFeed планирует использовать AI для помощи в генерации персонализированного контента
На фоне этого сообщения акции компании взлетези на 150%.
📈 Гугл планирует показать демо поискового движка с чатботом
А так же множество новых продуктов, основанных на AI. После выхода ChatGPT и объявления "code red" в Гугле, к вопросу подключились даже основатели - Сергей Брин и Ларри Пейдж, которые в последнее время отошли от дел. Сергей даже закоммитил код в прод.
📖 Семинар от Стенфорда про GPT [прыгнуть на пост]
🖌️ Появился бесплатный опенсоурсный плагин для Photoshop со Stable Diffusion
[прыгнуть на пост]
❱❱ Читать предыдущий нейродайджест
@ai_newz
🤓 Математические способности ChatGPT
Исследователи сравнили способности ChatGPT решать математические задачи уровня выпускника ВУЗа. Задачи формулировались на естественном языке с использованием Latex для формул, например
Suppose X is a vector space. Prove that $0x = 0 = a0$ if $x in X$ and $a$ is a scalar.Пока что модель значительно проигрывает среднему выпускнику. Авторы так же планируют выложить датасет, так что можно будет сравнить свои скиллы против AI.
🔎 OpenAI представил тулзу для детекции сгенерированного текста
Однако в пояснении к модели явно указано, что авторы еще не оценили качество классификации досконально. Кажется, пока не очень хорошо работает.
🌟 BuzzFeed планирует использовать AI для помощи в генерации персонализированного контента
На фоне этого сообщения акции компании взлетези на 150%.
📈 Гугл планирует показать демо поискового движка с чатботом
А так же множество новых продуктов, основанных на AI. После выхода ChatGPT и объявления "code red" в Гугле, к вопросу подключились даже основатели - Сергей Брин и Ларри Пейдж, которые в последнее время отошли от дел. Сергей даже закоммитил код в прод.
📖 Семинар от Стенфорда про GPT [прыгнуть на пост]
🖌️ Появился бесплатный опенсоурсный плагин для Photoshop со Stable Diffusion
[прыгнуть на пост]
❱❱ Читать предыдущий нейродайджест
@ai_newz
Telegram
эйай ньюз
Хорошие новости для представителей дизайнерских профессий. Теперь Stable Diffusion зашёл в Photoshop бесплатно (не то, что предыдущий плагин за $50/мес).
Более того новый плагин Stable.art ещё и в оупенсорсе и лежит на гитхабе. Плагин использует Automatic1111…
Более того новый плагин Stable.art ещё и в оупенсорсе и лежит на гитхабе. Плагин использует Automatic1111…
February 5, 2023
Media is too big
VIEW IN TELEGRAM
Gen-1: The Next Step Forward for Generative AI
Полундра! Более качественные диффузионны модели по генерации и редактированию видео уже на подходе!
Мой одногруппник Патрик Эссер, один из авторов SD, который сейчас работает в RunwayML, выкатил новую диффузионку для видео. В основном она про стилизацию контента и изменению текстур.
♥️Модель умеет:
- Стилизовать видео по референсным картинкам стиля или тексту
- Сегментировать и изменять объект на видео по заданному промпту
- Рендерить синтетические данные в определенном стиле
💔Результаты лучше, чем то, что я видел до этого. Однако, видны и ограничения:
- В основном меняются только текстуры (а не геометрия)
- Довольно слабая консистентность текстур между соседними кадрами, если есть движение камеры (это болезнь многих Style Tranfer подходов)
- Разрешение и Детализированность сгенерированных видео все еще оставляет желать лучшего.
Конечно, это только начальные шаги развития в сфере генераци видео, и нас ждут более мощные модели!
❱❱ Сайт проекта
@ai_newz
Полундра! Более качественные диффузионны модели по генерации и редактированию видео уже на подходе!
Мой одногруппник Патрик Эссер, один из авторов SD, который сейчас работает в RunwayML, выкатил новую диффузионку для видео. В основном она про стилизацию контента и изменению текстур.
♥️Модель умеет:
- Стилизовать видео по референсным картинкам стиля или тексту
- Сегментировать и изменять объект на видео по заданному промпту
- Рендерить синтетические данные в определенном стиле
💔Результаты лучше, чем то, что я видел до этого. Однако, видны и ограничения:
- В основном меняются только текстуры (а не геометрия)
- Довольно слабая консистентность текстур между соседними кадрами, если есть движение камеры (это болезнь многих Style Tranfer подходов)
- Разрешение и Детализированность сгенерированных видео все еще оставляет желать лучшего.
Конечно, это только начальные шаги развития в сфере генераци видео, и нас ждут более мощные модели!
❱❱ Сайт проекта
@ai_newz
February 6, 2023
Интересненько. У Майкрософта сегодня внезапный ивент в офисе в Редмонде. Рассказывают, про то, какие крутые ИИ продукты они строят. Только что анонсировали поиск Bing и браузер Edge с ChatGPT и шлюхами. Ещё и Copilot в Edge будет! 🤯
Вот тут прямо сейчас идёт текстовая трансляция, если интересно.
П.с., не зря я сегодня немного акций Майкрософта прикупил.
@ai_newz
Вот тут прямо сейчас идёт текстовая трансляция, если интересно.
П.с., не зря я сегодня немного акций Майкрософта прикупил.
@ai_newz
The Verge
Microsoft announces new Bing and Edge browser powered by upgraded ChatGPT AI
Microsoft pushes AI to unseat Google’s dominance.
February 7, 2023
Мда, рыночек ошибок не прощает. Демка Bard обошлась Гуглу в 120 млрд долларов. И это не считая расходов на разработку 🥸. OpenAI, как закрытая компания (простите за каламбур), может себе позволить бóльшие риски с экспериментами.
Кстати, Андрей Карпатый возвращается в OpenAI. Напомню, что до этого он был один из AI директоров в Tesla, а в последнее время просто делал видосы на ютубе.
@ai_newz
Кстати, Андрей Карпатый возвращается в OpenAI. Напомню, что до этого он был один из AI директоров в Tesla, а в последнее время просто делал видосы на ютубе.
@ai_newz
February 9, 2023
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати, в комментах спрашивали, нахрена Microsoft интегрирует ChatGPT в свой браузер. Так вот вам ответ.
Модель прямо в браузере может суммаризировать 15-страничные PDF-ки и отвечать на вопросы по тексту документа. Довольно удобно, если работаешь с огромной свалкой статей или документов статей.
@ai_newz
Модель прямо в браузере может суммаризировать 15-страничные PDF-ки и отвечать на вопросы по тексту документа. Довольно удобно, если работаешь с огромной свалкой статей или документов статей.
@ai_newz
February 11, 2023
Нейродайджест за неделю (#7)
Неделя получилась горячая, наверно никого не обошли новости противостояния титана поиска Гугла и цунами ChatGPT и ее внедрение в Bing.
Если вдруг вы что то пропустили:
📈 Майкрософт внезапно организовал закрытый ивент, на котором представили обновленный поисковик Bing и бразуер Edge, которые теперь обладают силой ChatGPT. Сейчас чтобы попробовать новый Bing нужно записаться в лист ожидания.
📉 Следом и Гугл организовал свой ивент, на котором рассказал про свою подобную модель Bard. Однако мероприятие обратилось провалом: из за фактологической ошибки в сгенерированном ответе, акции компании обрушились, а сотрудники стали клепать мемы про CEO.
Очень интересно попробовать новый Bing в деле. Пока, кажется, что обычный ChatGPT отвечает получше поисковиков, основынных на LLM (хоть и врёт иногда).
❱❱ Читать предыдущий нейродайджест
#дайджест
@ai_newz
Неделя получилась горячая, наверно никого не обошли новости противостояния титана поиска Гугла и цунами ChatGPT и ее внедрение в Bing.
Если вдруг вы что то пропустили:
📈 Майкрософт внезапно организовал закрытый ивент, на котором представили обновленный поисковик Bing и бразуер Edge, которые теперь обладают силой ChatGPT. Сейчас чтобы попробовать новый Bing нужно записаться в лист ожидания.
📉 Следом и Гугл организовал свой ивент, на котором рассказал про свою подобную модель Bard. Однако мероприятие обратилось провалом: из за фактологической ошибки в сгенерированном ответе, акции компании обрушились, а сотрудники стали клепать мемы про CEO.
Очень интересно попробовать новый Bing в деле. Пока, кажется, что обычный ChatGPT отвечает получше поисковиков, основынных на LLM (хоть и врёт иногда).
❱❱ Читать предыдущий нейродайджест
#дайджест
@ai_newz
Telegram
эйай ньюз
Интересненько. У Майкрософта сегодня внезапный ивент в офисе в Редмонде. Рассказывают, про то, какие крутые ИИ продукты они строят. Только что анонсировали поиск Bing и браузер Edge с ChatGPT и шлюхами. Ещё и Copilot в Edge будет! 🤯
Вот тут прямо сейчас…
Вот тут прямо сейчас…
February 12, 2023