#llm #petproject

#startup #softskills

Кевин Уэйл - CPO OpenAI: как строить AGI‑будущее и не потерять здравый смысл

(конспект живого Q&A в AGI House, San Francisco — на который мне довелось сегодня сходить)


1. От физики элементарных частиц к OpenAI

Кевин мечтал стать профессором, поступил в PhD по физике в Стэнфорде, но… встретил будущую жену‑стартапершу, увидел реальный «драйв Долины» и бросил аспирантуру:

«За 40 лет я мог бы открыть один новый бозон. А мог — написать код и завтра им воспользовались бы миллионы. Я выбрал второе».

После пары “невыстреливших” стартапов он оказался 40‑м сотрудником Twitter, вырос до VP Product к IPO, потом ушёл в Instagram (был один из авторов Stories) и запустил внутри Meta криптопроект Libra. Дальше — Planet Labs (200 мини‑спутников, 40 ТБ снимков Земли в день) и, наконец, OpenAI.


2. OpenAI = исследовательский институт + продуктовая фабрика

> Q: Как совмещать фундаментальную науку и массу коммерческих релизов, да ещё и с новой некоммерческой структурой?

Ответ: «Миссия — принести AGI всему человечеству. Для этого нужны две ноги:

1. топ‑уровень исследований;
2. реальные продукты, максимально дешёвые.

НКО даст деньгам “правильную” социальную траекторию, а for‑profit‑часть остаётся мотором разработки».


3. 25 продукт‑менеджеров на всю компанию

> Q: На подкасте Лэнни вы сказали, что у вас всего 25 PM. Как так?

«Слишком много ПМ‑ов = море слайдов и ноль кода.
Инженеры и дизайнеры делают фичи, ПМ — клей. Когда клея мало, команда свободна рисковать, выпускать недоваренные версии, ловить ошибки в проде и чинить».


4. Страх «AI заберёт работу» и почему это миф

Кевин — оптимист: «Посмотрите Hidden Figures: когда‑то люди вручную считали траектории ракет, но ракетные инженеры никуда не делись — они просто перестали ковыряться в логарифмических линейках. То же будет с кодом. Роботы заберут скучное, а мы возьмёмся за сложное».


5. «Почему вы выбираете большие бренды, а не гаражи?»

«Я не выбираю большие компании. Twitter был маленьким, Insta — тоже, Planet — 400 человек. Меня интересует эффект на мир на одного инженера.»


6. Libra и боль платежей

> Q: Если запускать Libra сегодня, что кроме платежей?

A: «Только платежи! Перевод денег должен быть так же прост, как сообщение в WhatsApp. Особенно для тех, кто сейчас отдаёт 10 % комиссий Western Union».


7. Чат = лишь интерфейс, не рамка исследований

Deep Research, Operator‑агенты, мультимодальные фичи — всё это выходит за рамки «болтушки». Массовая обратная связь подсказывает, какие способности модели нужны людям сейчас а не в теории бенчмарков.

8. AI × Climate: 40 ТБ данных в день — вручную не осилишь

Planet Labs снимает Землю с разрешением 3м каждый день. Разметка «что изменилось» требует дорогих специалистов. Модели должны автоматизировать анализ: от контроля вырубки леса до отслеживания войск.

Кстати, мегапроект Stargate (до $500 млрд на ЦОДы и энергетику в США) заставит OpenAI самим изобретать «зелёные» дата‑центры.


9. Личный рост: завтракайте с незнакомцами

Главный совет: «Выходите из пузыря. Ходите на завтраки “не по теме”, говорите с людьми умнее себя, выращивайте сеть контактов. Через 10 лет удивитесь, как это стреляет».

Часть 2

Часть 2. Интервью с CPO OpenAI

10. Где сетевые эффекты?

Сейчас ChatGPT = «человек <-> модель». Но уже 500 М еженедельных пользователей ставят 👍/👎 — и этим тренируют модель для всех. Следующий шаг — совместные «треды» с друзьями, но нкжно отполировать как все будет устроено в продукте.


11. Не хотим «сладкого» ИИ‑друга

Случай, когда модель стала льстиво рассказывать, что у вас IQ = 180, заставил OpenAI откатить релиз и публично разобрать ошибки: эмоциональная зависимость — зло.


12. Сколько “базовых” моделей останется на рынке?

Две‑три крупные «семьи моделей» , а поверх — тысячи маленьких специализированных моделей с приватными данными. Инструменты обучения становятся дешевле — значит, срециализированную доменную «наномодель» сможет зафайнтюнить любой стартап.


13. Учиться быстрее: «объясни, как пятилетнему»

Уэйл читает, но часто спрашивает GPT: «Разжуй пост‑тренинг‑технику на уровне детсада, теперь поглубже». Его 10‑летний сын учит код, играя с ChatGPT, а дети уже воспринимают разговор с ИИ как норму, «как включить лампу».



14. Чего не хватает данным?

«Поехать в обычную квартиру в Джакарте и посмотреть, как юзер тупит в интерфейсе». Качественного эмпатического ресёрча мало; метрики из дашборда не покажут, где реальные затыки.


15. Где граница платформы и стартапов?

Принцип «TCP/IP в Windows‑95»: если 20 команд пилят одну и ту же прослойку, платформа должна встроить её и освободить тысячи разработчиков для более высоких уровней. Не конкурировать, а поднимать уровень абстракции.


16. Агентам нужен делегированный доступ

Идеал: «Мой агент читает только метку Receipts в Gmail и тратит до $100 в Instacart». Сейчас такого гранулированного OAuth нет — это ключевой затык в масштабировании.


17. Разница с Twitter

В Twitter идеи вязли в консенсусе: 5 «за», 2 «против» — и стоим. В OpenAI идея → делай. Переключатель «некоммерческая / коммерческая» в новой структуре даёт инвесторам понятную доходность, а НКО — капитал на добро.


18. Как строить доверие к агентам?

Всегда спрашивать подтверждение перед важным действием, пока пользователь сам не скажет «делай молча». Контроль порождает доверие.


19. Неожиданная польза: физики + O3 Mini = новая формула Изинга

Учёные из Лос‑Аламоса использовали O3 Mini, чтобы вывести точное решение модели Изинга в “экзотической” размерности — задача считалась нерешённой. Модели не «изобретают» сами, но ускоряют людей‑учёных в разы.

20. «Хороший характер» модели: 80‑страничный Model Spec

Перед релизом проверяют:

1. Соответствует ли спецификации (что отвечать про третьего римского императора, как реагировать на просьбу о суициде и т.д.).
2. «Вайб‑тест» живых людей. Если криво — дообучаем или переписываем сам Spec.

Часть 1

#dl #cv

Что такое Restoration в компьютерном зрении?

Это способ обратить процессы деградации, с которыми сталкиваются сигналы в реальном мире — изображения, видео, звук.

У Restoration есть несколько характерных особенностей:

📌 Нехватка обучающих данных: собрать качественное GT очень сложно, поэтому важно извлекать максимум информации из минимального количества данных. Часто используют синтетику, но она не может полностью заменить реальные данные.

📌 Высокая степень переобучения: алгоритмы легко переобучаются даже на небольших наборах данных.

📌 Грань между генерацией и реальностью: модель может галлюцинировать, вместо восстановления исходного изображения придумывает детали сама.

📌 Простота: у Restoration задач достаточно простая постановка по сравнению с другими областями в ML, но при этом в них критически важны детали и правильное построение пайплайна.

Restoration включает разные методики восстановления информации. Чаще всего работа идёт в трёх направлениях:

🔍 Super-resolution — увеличение разрешения. Используется, например, в компьютерных играх, телевизорах или для восстановления старых фильмов. На GitHub загружено больше 1300 репозиториев, посвящённых super-resolution.

🔍 Denoising — устранение шума. Для этого применяют разные методы: от классической свёртки Фурье до современных диффузионных моделей. Главная задача — отличить шум от реального сигнала.

🔍 Deblurring — устранение размытия с изображений и видео, например, из-за движения камеры на смартфоне. Алгоритмы деблюринга пытаются восстановить утерянные детали изображения с помощью предсказания движения по смазу.

💜 Этот пост написал Никита Алутис, ML-разработчик в Точке

#dl #cv

Кто за рулём?! Трансформер

Автономные автомобили — технология, в которой множество задач на уровне как софта, так и железа. В новой статье разбираем одну из ключевых задач — планирование движения, где на первый план выходит архитектура-трансформер.

Вы узнаете:
- какие существуют подходы к проектированию автономных автомобилей, их преимущества и недостатки
- как трансформеры обрабатывают дорожные сцены и предсказывают траектории
- какие ловушки подстерегают ML-планировщики — от «эффекта подражателя» до физической нереализуемости

Читайте статью по ссылке!

Вам нужно разобраться с устройством GPU, если захотите уйти от моделек в апишках.

Раньше я не понимал, что делать, когда «оно такое медленное». Сейчас понимаю, куда копать. Больше всего мне помогла статья, очень ее рекомендую.

Почему про это надо думать?

Инференс LLM отличается от обычных моделей. LLM делает авторегрессию.
То есть инференс проходит токен за токеном. Нельзя предсказать следующий токен, не узнав предыдущий.

Это создает кучу проблем.
Из-за этого вам приходится постоянно в GPU гонять информацию (слои/активации и тд) туда сюда для каждого токена по очереди. Это значит, что чаще всего ваши вычисления ограничены скоростью передачи данных, а не вычислительной мощностью. Вы не используете GPU на полную катушку.

С этим можно бороться. Самый рабочий вариант - батчевание. Вы делаете авторегрессию, но хотя бы для кучи примеров одновременно.

Читайте статью, задавайте вопросы в комментарии или в личку.
Буду выкладывать больше материалов по локальной работе с LLM.

Если ваша генеративная модель училась на всём интернете, рано или поздно вы столкнетесь с тем, что она периодически семплит даркнет 🌚 В LLM проблему решают алайнментом — модель учат не отвечать или уходить от прямого ответа на провокационные темы. Модели генерации картинок не могут не отвечать. Как быть?

1. Unlearning Concepts in Diffusion Model via Concept Domain Correction and Concept Preserving Gradient
GAN снова приходит на помощь. Адверсариальную компоненту можно использовать не только для дистилляции, но и для забывания нежелательных концептов. Учить дискриминатор отличать финальные генерации не удобно из-за Марковости диффузии

Метод:
- Берем уже обученную диффузионку
- Генерим ей некий семпл х
- Зашумляем его прямым процессом до некого t
- Расшумляем, используя промт с проблемными концептами c* и нормальными с
- Учим дискриминатор отличать эти два случая, дотюниваем на этом сигнале диффузионку

2. R.A.C.E. Robust Adversarial Concept Erasure for Secure Text-to-Image Diffusion Model
Идея в том чтобы использовать текстовую инверсию и адверсариальные атаки. Суть в получении текстового эмбединга проблемного концепта и последущем дообучении с GAN лоссом на то чтобы по этому эмбеду получалась не проблемная картинка. Более детальный разбор тут

3. MACE: Mass Concept Erasure in Diffusion Models
Описанные выше методы хорошо работают для удаления нескольких концептов, но могут плохо справляться, когда их количество увеличивается до десятков и сотен. Авторы этой работы замечают, что отвечающие за нежелательные концепты слова часто встречаются вместе. Исправить генерации по этим сочетаниям можно шатанием cross attn

Суть метода в том чтобы по набору промтов с проблемными концептами дообучить матрицу проекций W_k так, чтобы замаппить ключи (keys) аттеншена проблемных концептов или даже категорий концептов в любые не проблемные категории. Помимо этого авторы показывают, что дообучение можно делать с помощью нескольких LoRA, которые далее можно некоторым образом мерджить для удобства работы

4. Set You Straight: Auto-Steering Denoising Trajectories to Sidestep Unwanted Concepts
Другая известная проблема concept erasure — методы портят качество генерации в целом. Авторы этой работы предполагают, что проблема в том что мы учимся менять всю траекторию семплирования из маргинального распределения для проблемных концептов, что может иногда приводить нас в моды с субоптимальным качеством.

Предлагается простой фикс: давайте при больших занчениях шума не мешать модели делать свое дело. Вместо этого, будем тюнить её на то чтобы траектория менялась только в точках t < t’. В качестве fine-tuning objective можно использовать, например, описанный выше MACE

#recommender #papers