📖 Со-основатель OpenAI Андрей Карпаты опубликовал 4-часовую лекцию о том, как создать GPT-2 с нуля (!) на Python. Начиная с пустого файла он объясняет каждое действие, включая архитектуру и оптимизацию.

Это ещё не всё — на его Ютуб-канале целый стартер-пак для каждого ИИ-ресерчера!

• Введение в LLM за час
• Как создать GPT Tokenizer
• Как обучить нейросеть
• Интро в Language Modeling
• Как создать GPT с нуля за два часа

Начинаем понедельник с полезного — сохраняем годноту в закладки.

@notboring_tech

👀 Поделюсь впечатлениями от WWDC глазами чувака, который пишет про нейросети *с 2019 года* еще до хайпа. Главные новинки — в трехминутном видео выше, мои комментарии ниже:

• Хитрые купертиновцы 66 минут молчали про ИИ, но последние 33 минуты целиком и полностью посветили AI — Apple Intelligence (название на грани кринжа и гениальности).
• Как я предсказал, новая Siri управляет вашим экраном — находит сообщения, добавляет будильники и пересылает ссылки. Это нововведение я выделю лучшим с бесконечным числом применений. Коллаб с ChatGPT многообещающий.
• Все из движухи знают, что многие ИИ-фичи на WWDC уже были реализованы — исследователями, конкурентами и кем-то еще. Техно-прорыва не случилось, Apple-GPT не вышел. Почему иначе быть не могло?
• Масштаб Apple — более миллиарда пользователей. Большинство из них не пользовались ChatGPT и iOS 18 станет для них первым касанием в возможности ИИ, поэтому их нужно приучить пользоваться новыми фишками.
• Это не произойдет в одночасье, но нейросети теперь будут по-настоящему у каждого в повседневной жизни. Забудьте про 180 миллионов юзеров ChatGPT — теперь это потенциальные 1,5 миллиарда (!!!) юзеров самых массовых устройств на Земле.

@notboring_tech

💉 Нанотехнологии становятся мощнее — китайцы изобрели нано-материал, который подавляет рост опухолей на внушительные 80%. Он сдерживает раковые клетки, сохраняя нормальные ткани.

Наноматериал, вводимый через инъекцию, прошел лабораторную проверку на клеточном и биологическом уровне, показав результат 80-90% успеха. Впереди — клинические тесты на людях в больницах.

Победа над раком стала на шаг ближе.

@notboring_tech

📚 Появился лучший учебник по промптам на 76 страниц — как устроена цепочка запросов, как грамотно их писать и как обходить лимиты. Научитесь юзать LLM на топовом уровне.

Внутри — 33 главных термина, 58 техник для текстового ввода и 40 методов для генераторов видео, картинок и музыки. Инфа разбита по главам и актуальна для разных нейронок!

Мастрид на ночь тут.

@notboring_tech

🪱 Нашел занятие на вечер: запустить симуляцию червя на своем ПК с точностью до каждого нейрона. В «матрице на минималках» он ползает, ест и живет точно так же, как в жизни.

Проект OpenWorm переносит в цифру идентичную копию червя — 959 клеток, 302 нейрона и 95 мышц. Симуляцию можно модифицировать и переписать код на более крупное существо.

Мы живем *здесь*, когда в любой ноут можно заселить реальный организм. Гайд здесь.

@notboring_tech

🎨 Midjourney выпустили классную фишку — теперь можно персонализировать нейронку под себя. Она рисует все генерации в вашем любимом стиле, без необходимости повторять одинаковый запрос.

Нужно лайкнуть 200 картинок от Midjourney и система подстроится под ваши желания! Степень персонализации тоже можно настроить. Наконец-то интересный прорыв в генераторах картинок.

Подробности на сайте.

@notboring_tech

🏆 Только что NVIDIA выложила в опенсорс самого мощного конкурента GPT-4o — Nemotron-4 340B местами даже обгоняет короля! Он уже побеждает Mixtral 8x22B, Claude sonnet и Llama3 70B.

Новый лидер открытых LLM знает 50+ языков, 40+ языков кодинга и разрешает коммерческое использование. Nemotron-4 340B настолько масштабный, что для локального запуска требуется больше терабайта памяти.

Исходники уже на Hugging Face, онлайн доступ скоро появится тут.

@notboring_tech

🐞 Вау, нейросети теперь обучают сами себя — ресерчеры попросили LLM найти лучшие способы оптимизации своей работы. На выходе машина открыла новый подход DiscoPOP.

Он повышает производительность нейросети в суммировании, генерации и выполнении задач. Команда опубликовала код подхода, а главное — процесс, как заставить LLM самообучаться.

Полностью автономные ИИ-исследователи, которые улучшают свои способности, уже не за горами.

@notboring_tech

🧬 Немыслимый прорыв в излечении рака: учёные впервые обнаружили ген, который заставляет раковые клетки распространяться по всему телу. Именно он вызывает 90% смертей.

«Выключение» этого гена в лабораториях уже сейчас предотвращает рост и распространение опухоли. Результаты исследования особенно важны для излечения рака поджелудочной железы.

@notboring_tech

🫡 Конец эпохи: OpenAI скоро станет коммерческой организацией. Источник The Information слил инфу, что Сэм Альтман и совет директоров уже обсуждают идею отказа от статуса НКО.

Результат переговоров будет в течение недели. Если OpenAI станет коммерческой — нас ждет смена руководства, стратегии и вектора развития. Также OpenAI смогут провести IPO и выпустить акции.

@notboring_tech

🎞️ Runway показал GEN-3 — генератор видео с прорывным бустом в качестве! Появилась детализация, плавные переходы и длительность 10 секунд. Планируются кастомные стили и настройки генерации.

Релиз намечен на этой неделе, на видео — сравнение с мегахайповой Luma. Теперь в ряду видео-генераторов еще один заметный игрок! Здесь уже соревнуются Luma, Krea, Pika, Stable Video и закрытая Sora.

Оставил ссылки, чтобы могли затестить.

@notboring_tech

🎧 В дополнение ко вчерашнему посту ElevenLabs научили ИИ генерировать любые звуки для видео! Просто загружаете ролик и получаете подходящий аудиоэффект.

Справится с чем угодно: от шума двигателя до взрыва бутылки. Под капотом GPT-4o придумывает описание звука, а API ElevenLabs за секунды выдает варианты сэмплов.

Video to Sounds Effects доступен бесплатно всем желающим тут.

@notboring_tech

⚡️ Главная бомба недели: Илья Суцкевер открыл свою компанию по созданию AGI. Один из основателей OpenAI родом из Нижнего Новгорода был уволен после того, как попытался свергнуть Сэма Альтмана в ноябре.

Сегодня он вместе с небольшой командой запустил свою лабораторию с офисами в Пало Альто и Тель-Авиве. Главная цель — создать безопасный сверхинтеллект, не подвергаясь коммерческому давлению.

Обещают революционные прорывы, с большим интересом буду следить за успехами.

@notboring_tech

🪶 Microsoft выпустил лучшую нейросеть для распознавания текста — Florence-2 Demo превращает любые рукописи в читаемые записи. Больше не страшен неразборчивый почерк, как на картинке.

Способов применения миллион: свои заметки из блокнотов теперь можно безошибочно оцифровать, восстанавить рукописи столетней давности и даже расшифровать почерк врачей!

Затестить можно онлайн.

@notboring_tech

🦠 Учёные из Венгрии изобрели нано-роботов, которые манипулируют отдельными клетками! Лазерно-оптический пинцет точечно контролирует клетки, которые в сотни тысяч раз меньше сантиметра.

Мини-пакман выполняет любые манипуляции — захватывает, перемещает и высвобождает клетки, а также сканирует их в 3D. В отличие от прошлых методов, клетки не разрушаются и сохраняют свою работу.

Геном можно контролировать без повреждений, звучит как новая эра в медицине.

@notboring_tech

💫 Это случилось: Claude 3.5 Sonnet создал рабочий клон ChatGPT за одну минуту. Энтузиаст закинул в чат скриншот интерфейса и запрос «сделай этот сайт на React».

Во втором промпте он попросил добавить бэкенд и вуаля — клон ChatGPT готов! Под капотом опенсорсная Llama-3, которая работает бесплатно и 100% на компьютере.

По моим наблюдениям, Claude 3.5 Sonnet — самая продвинутая нейросеть для генерации кода, пробуйте тут.

@notboring_tech