e/acc
68.6K subscribers
595 photos
99 videos
8 files
940 links
Пишу про будущее: AI, web3, технологии и общество. Ускоряемся.

Автор: @sgershuni
Инвестирую: cyber.fund
Построил: Credentia, Deep Skills, Codex Town
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Каждый ускоряется как умеет (видео не ускорено). Вот эта платформа выдает инференс Llama-3.1-8B/70B/405B (без квантизации) аж до 1200 ток/сек.

А ваш синьор так умеет? Одно из преимуществ LLM не только в том, что они могут держать в голове сотню тысяч страниц информации, но и в том, что за несколько секунд они могут попробовать тысячи способов решения проблемы и понять какие из них не работают.
Ну что, дождались! OpenAI выкатил новую супер-модель.

o1 отличается от предыдущих моделей встроенной способностью к "рассуждениям" (reasoning). В модель "вшита" способность к логическим выводам и самокритике/саморефлексии через chain of thought. Полный отчет по модели можно скачать тут. Модель уже доступна для всех разработчиков с доступом к API tier-5, но скоро будет доступна и в бесплатной версии GPT.

Выводы:

1. Скейлинг работает. Больше денег, больше данных = круче модель. Ужасные рассказы о том, что LLM уперлись в потолок снова оказались просто разговорами. Вместо скейлинга pre-training, теперь скейлится test time compute (то бишь инференс).

2. В точных задачах, типа математики o1 показывается в 7-8 раз круче результаты, чем gpt4o. В коде — в 8-9 раз. В задачкаъ по химии, физике — около 15% прироста.

3. OpenAI прямо зуб дают, что математические способности o1 не хуже, чем у победителя международной олимпиады по математике, а по точным наукам типа физики она работает не хуже кандидата наук.

4. В принципе, закиданный всеми на прошлой неделе в твиттере помидорами Reflection70B делал то же самое. Но не сделал. А Сэм — мужик. Сэм взял и сделал.

5. Стоит $60 за миллион токенов, а значит интеллект у нас теперь достанется только богатым.

6. Это пока что дорогая и медленная модель. Но именно используя эту новую парадигму ("думай, а потом говори"), OpenAI за ближайшие годы сделает o1 в десятки или даже сотни раз дешевле, быстрее и умнее.

7. "o1 думает, но думает несколько секунд. в будущих версиях она будет думать над сложными задачами несколько часов, дней или даже недель" OpenAI
Итак, по итогам первого дня:

о1 это не продукт, а парадигма. Текущая версия не должна быть лучше 4ки, но потенциал масштабирования у неё в сотни раз больше, чем классический претрейн трансформера. Потому что задачи размышления и поиска ответа вынесены из модели в агентский слой. Это RL система и ее тренировка только начинается. В том числе, вами, и в каждый из вас будет платить $20/мес за возможность в этом поучаствовать. Что мы пока что видим:

1. o1 рассказывает как приготовить метамфетамин не хуже других моделей.

2. Знает, что 9.8 > 9.11 (по крайней мере у меня, первая картинка). А на второй картинке он объяснил почему 9.11 > 9.8 (речь о датах или версиях)

3. В кодинге прям мощный прогресс по сравнению с предыдущими версиями. Особенно, для использования о1 в сложных агентских workflow. Cursor + o1-mini это разрыв.

4. Математика математикой, но вот задачу (картинка 3), которую мы ему дали решить не смог.

Мой личный вывод: агентская парадигма только начинается. Именно благодаря ей мы увидим следующие 100х улучшения в ИИ (о чем я писал тут). Если вы тоже готовитесь к мультиагентному будущему и делаете там ультра-прорывные проекты, то стоит пообщаться.
О токенизации и будущем владения в 2034

Давайте прикинем как будет выглядеть концепция владения любой материальной дорогой собственностью через 10 лет на примере простого и понятного рынка недвижимости.

- Доступ к рынку ритейл инвесторов.
Фракционное владение через токенизацию RWA откроет рынок недвижимости с высоким порогом входа для всех ритейл инвесторов. Оунеров станет кратно больше, и это бустанет мировую экономику. Ваши друзья будут покупать токены или NFT, которые дают нам право собственности на часть недвижимости, а, соответственно, и доход от ренты, пропорциональный нашей доли владения. Скоро твой сосед дядя Миша будет рассказывать тебе как он владеет долями нескольких вилл в Испании и на Бали (хотя купил от силы на $5к).

- Глобальная ликвидность
Эти активы начинаются торговаться между совладельцами на DEX. Ликвидность неликвидных ранее активов становится нормой, а границы между физической и цифровой собственностью стираются. Такие гиганты как Black Rock, Delloite уже дают рост доли ВВП за счет переход таких активов в цифру.

- Более безопасные инвестиции
Эта более безопасная гавань бетона будет сильно выиграшнее текущих вариантов для тех, кто не имеет желания и времени исследовать хай-риск активы типа акций и крипты, в то время когда доходность по облигациям едва покрывает инфляцию. Сидя где-то за тысячи км вы можете за пару минут с телефона купить часть виллы на Бали, которая моментально начинает генерировать вам доход от аренды.
За счет снижения порога входа вам открываются возможности диверсификации вашего портфеля. Далее начнут создаваться индексы на токенизированную недвижимость, которые лучше обезопасят и упростят процесс инвестирования.

- Построение инфраструктуры
Прямо сейчас создаются платформы по токенизации, которые позволят на полном пассиве заработать на недвижимости без головной боли с управлением и затрат времени на рисерч. Кроме того, что они за вас делают проверку (due dilligence) объектов, а также организовывая весь процесс цепочки распределения дохода. Эти платформы объединят инвесторов, застройщиков, управляющие компании и нотариусов, чтобы токенхолдеру капал доход через смартконтрат (привет DAO LLC в Вайоминге).

- Управление через DAO
Все совладельцы объединяются в кооперативы и управляют недвижимостью через DAO. Захотели - подняли аренду, сменили управляющую компания или вовсе продали объект.

- Интеграция с DeFi и Новые финансовые инструменты
При достижении хорошей ликвидности такие активы с минимальной волатильностью будут легко брать в залог другие DeFi платформы. Т.е. Оцифровка и токенизация ранее неликвидного актива вольет триллионы дол. ликвидности в крипторынок. Появятся новые деривативы и стейблкоины, обеспеченные реальными активами и это усилит стабильность и привлекательность крипторынка.

Все эти изменения не произойдут в одночасье, но фундамент для них закладывается уже сейчас. Binaryx Platform - это инновационная площадка, которая уже предоставляет возможности для инвестирования в токенизированную недвижимость и участия в новом экономическом порядке.

Хайлайты:
- Проект запущен 1,5 года назад и уже имеет на борту более 1100 совладельцев для 9 объектов недвижимости, управляющиеся через DAO
- Выплачено $130 000 дохода за этот период.
- Диверсифицируйтесь в рамках одной локации и по всему миру. Сейчас площадка предлагает объекты на Бали и в Черногории. В ближайших планах - Испания и ОАЭ.
- Два типа туристической недвижимости. Для более консервативных инвесторов покупайте доли в арендной недвижимости, которая УЖЕ приносит ренту (в среднем 12% APR)
- Хотите больше? Инвестируйте в недвижимость на этапе строительства, где доходность достигает до 40% APR.
- Под капотом американский лигал Wyoming DAO LLC со смартконтрактом на Polygon.
- Высокая ликвидность за счет вторичного рынка - токены продаются за минуты.

Вступайте в закрытое комьюнити уже существующих совладельцев, где вы можете задать все интересующие вас вопросы.

https://t.iss.one/+3q1EMGEAgC8xY2Qy

Также по промокоду “E/ACC” вы получите 3% кешбек на покупку токенов недвижимости.

Стать лендлордом

#реклама
InternetOfIntelligence.wav
35.2 MB
А вот еще один релиз, который меня впечатлил даже больше чем o1: Google выкатил обновление для своего NotebookLM. Теперь вы можете загрузить туда любую статью или PDF и бесплатно сделать качественный подкаст, который объясняет какую-то сложную тему.

Я попробовал со своей статьей. Результат можно послушать прям тут.
Коллега из cyber.fund в моем любимом крипто подкасте «Базовый Блок» о том как меняется рынок MEV в Эфире и куда он пойдет в будущем.

MEV это один из самых динамичных (по скорости роста и изменениям структуры) рынок в крипте. Фактически, это программируемая экономика. В подкасте Артём очень понятно рассказывает об истории и всех секретах рынка.

- что такое MEV и почему это рынок в миллиарды долларов?
- какие бывают типы MEV и как на этом зарабатывают?
- текущие проблемы и структура рынка?
- как и куда эволюционирует рынок пропоузеров, сёрчеров, билдеров?

Посмотреть крутейшую визуализацию того, о чем говорит Артём, в реальном времени можно тут (ОСТОРОЖНО: дико залипательно, ибо вы в прямом эфире видите как математика из воздуха делает миллионы долларов): https://sorellalabs.xyz/dashboard

Слушать тут в телеграме или тут в ютубе. Жутко интересно, крайне рекомендую!
В чем прикол о1, простыми словами?

Модели типа GPT/Llama/Claude с каждым сгенерированным токеном увеличивают шанс ошибки (из-за авторегрессии). В о1, поскольку сама модель на каждом шаге «проверяет» свои рассуждения, внутреннее состояние модели меняется в «нужную» сторону, что важно для сложных задач требующих долгих рассуждений. То есть, модель выполняет роль промт-инженера для самой себя.

о1 не лучше gpt в задачах генерации текста, потому что знания, выученные в самом трансформере те же самые. Объем её «знаний» не изменился. Но она сильно круче в задачах логики, программирования и математики.

Это происходит потому что тренировка о1 происходила за счет генерации множества цепочек рассуждения и зачем применения reinforcement learning к тем цепочкам, которые привели к правильному ответу (то есть, выдавания модели «конфетки» за «правильные» рассуждения). Такой ответ в математике и программировании можно заранее рассчитать для бесконечного количества примеров, поэтому можно провести миллионы раундов обучения. Но нельзя сделать миллион обучений модели по написанию красивых стихов, просто потому что у вас не хватит денег и времени для ручной проверки того хороший или плохой был результат.

Итого: в машинном обучении работают те вещи, обучение которым можно автоматизировать и выполнять огромное количество раз. Это дешево и быстро масштабируется. А ручное обучение очень медленно и имеет потолок в виде человеческого ресурса. Поэтому последние версии трансформеров, хоть и имели, но относительно небольшой прирост в своей полезности.

Открытый вопрос в том, приведет ли улучшение логики и мат способностей модели к эмерджентному улучшению в других областях. Как показывает история развития человечества, это во многом так. Поэтому реальный эффект от этого подхода мы еще увидим в ближайшие годы по мере того как OpenAI и другие будут собирать больше данных и дообучать эту архитектуру.
Так же как в 2015-2016 мне казалось и везде писал, что ничего важнее крипты в мире технологий и экономики не происходит, так же сегодня кажется диким не заниматься ИИ.

И я не про то, что любой из нас может конкурировать с OpenAI — конечно, нет.

Я про то, что, как и крипта, эта технология открывает новую парадигму и создает новые рынки, которых не было год назад. Как и крипта, это создаст триллионы долларов в форме ценности. И в отличии от крипты, адопшен этих технологий будет стремительный, глобальный и универсальный по индустриям.
OpenAI опубликовал свой роадмап по достижению AGI. С релизом о1 мы официально на втором уровне.

Уровень 1: Чат-боты, ИИ с естественным языком
Уровень 2: Рассуждающие системы, решение задач на уровне человека
Уровень 3: Агенты, системы, которые могут принимать решения и автономно действовать
Уровень 4: Инноваторы. ИИ может помогать в изобретениях
Уровень 5: Организации. ИИ который может выполнять работу целой организации
Media is too big
VIEW IN TELEGRAM
Пятилетка за 2 часа сделал игру с физикой, игровым магазином, несколькими локациями, графоном, музыкой и финальным боссом.

100% кода, графики, музыки сгенерировано ИИ: Cursor, Replit, Suno AI и Stable Diffusion / Flux. Я только писал текстом промты и его идеи.

Разработка продуктов уже не будет прежней ;)

Играть тут: spacegam.replit.app (кнопка справа снизу для полноэкранного режима с полным погружением)
Код тут: https://github.com/Gerstep/factory-LEV
Спрашивали как и через что сделали игру. Расскажу.

В 2015 на лекции в МФТИ Виталик сказал "не играйте в игры, кроме тех, что вы сами разработали", мне эта фраза запомнилась на всю жизнь.

Сначала мы придумали идею про космических пиратов, которые собирают золото на разных планетах. Я написал задачу в одну строчку и закинул в Replit. Просто спросил сделай самую простую игру в браузере с 2D графикой. Тот сделал шаблон без картинок и текстов, используя движок Phaser.

Я никогда в жизни с игровыми движками, особенно на JS не работал, поэтому это был полноценный эксперимент человека ровно с 0 опыта в домене.

Дальше я склонировал репу и открыл в Cursor’e. Используя модель Claude 3.5 Sonnet начали делать геймплей. Клод почти всегда с первого раза добавлял всякие фичи: фон, меню, корабль, управление, сцены.

Для картинок сцен и спрайтов (сундуки, корабли, босс, выстрелы лазера) использовали Flux/SD. Простой промт, типа «pixelart low definition image top-down map/spaceship/monster/etc». Хватило 100 бесплатных генераций на сайте, чтобы сделать все ассеты.

Музыку сделали в Suno. Тоже хватило бесплатных генераций. В итоге сработал промт что-то типа «space synth sleep».

По самой разработке все делал в Курсоре используя Sonnet 3.5 (o1 слишком медленный, а Колд моментальный).

Сын придумывал все игровые механики, я записывал его идеи прямо в чат курсора. Прикрепляю лог чата с Курсором. Код не копируется, но тут именно текстовое общение между блоками кода. Как видно, большую часть фич и просьб он делает идеально с первого раза. При этом моя криворукость и ровно 0 секунд опыта с фреймворком требовали от чата иногда чуть больше пояснений. Для всего проекта подавляющее большинство ответов Клода заработали с первого раза, некоторые потребовали 2-3 раза попробовать заново.

Несколько советов по использованию курсора:
- просить добавить по одной фиче (сделай сцену, добавь кнопку, сделай корбаль управляемым, добавь жизни у босса). если их смешивать, то может не хватить длины контекста
- если вылазит ошибка, смело копируйте ее текст и клод все поправит; если застряли: "help me debug"
- не бояться использовать гит и возвращаться в последнюю рабочую версию, если запутались (мне не пришлось, но для совсем новичков помогает)
Сегодня мы анонсировали раунд, который мы лидили в компании Scade. Тезис простой: Scade делает ИИ агентов доступными каждому.

А именно, благодаря трём шагам:

1) любой может создавать сколько угодно сложных агентов с разными модальностями (текст, видео, картинки, музыка, голос, OCR, всего 1,500+ моделей) в простом no-code редакторе

2) про пользователи могут монетизировать агентов прямо там на платформе. сделали крутой конфиг ComfyUI? сделали сложный мультиагентный промт? подготовили редкий датасет? зафайнтьюнили модель? собрали RAG агента из кучи шагов? вы можете назначить цену за одну генерацию и начать зарабатывать прямо там.

3) для бизнесов Scade даёт доступ сразу ко всем возможностям ИИ в одном интерфейсе: от написания SEO и создания графики для маркетплейсов до face-swap, брендинга, сравнения чатботов и многих тысяч других агентов, которые скоро появятся в маркетплейсе Скейда.

Подробнее о видении и стратегии компании (и почему мы инвестировали) я описал в блоге: https://cyber.fund/content/scade

Попробовать и посмотреть что тысячи клиентов делают на платформе можно на их сайте. Программа Earn with Scade запустится уже этой осенью. Ускоряемся!
Продолжая тему с играми, нашел еще кучу примеров, которые были созданы с помощью ИИ-инструментов. Это не убийцы GTA VI пока что, но сам факт что они созданы людьми без опыта в дизайне, текстурах и программировании радует.

Приходит в голову аналогия с телевидением. Раньше у нас было несколько каналов, где крутили одну программу на всех. С 2005 я телевизор не смотрю, потому что ты можешь выбрать в интернете любое шоу, которое тебе хочется.

Так же и с софтом. Раньше у нас был единый софт созданный для всех: Salesforce, Spotify, Angry Birds. Теперь каждая компания и каждый человек может просто пообщаться с ботом, объяснить что ему надо и получить персонализированный и уникальный софт.

Например, Scade из предыдущего поста запускает авто-агентов, то есть возможность через чат создавать для себя агентов.

А CEO Klarna, гигантской платежной компании, сказал, что они отказываются от SaaS платформ в пользу внутренних ИИ-инструментов (и еще увольняют кучу народа в пользу ИИ, но это неизбежно и повсеместно — таким не удивишь).
Не первый раз уже встречаю в комментариях так называемых «отчаявшихся скептиков». Любопытно, в чем причина такого феномена?

Это люди, которые обычно глубоко и лично обижены тем, что у кого-то в мире что-то получается.

Они ожесточенно требуют доказательств. Как в том меме про SpaceX: «вот когда полетит б/у ракета, тогда поговорим», а потом «вот когда начнут возить людей, тогда поговорим» и так далее двигая цель всегда немного в будущее.

Доказательств им всегда мало, а любой успех воспринимается как атака на их личность. Кажется, что целью является сам спор, хоть все и знают, что спорить в интернете — это самое бесполезное занятие. Кроме тех случаев, когда все участники твердо нацелены на поиск истины и изменение своей картины мира. Но в случае, когда есть эго и желание остаться в споре правым — это больше похоже на психологический театр маленьких детей.

Они уже 10 лет ждут, что ВСЯ крипта окажется скамом только потому что не послушали и не купили битков по $100. И, конечно, яростно радуются, когда на диком рынке находят действительно скам-проекты, но боятся отличить биткоин от битконнекта, ибо для них — все одно.

Они продолжают ждать когда же «весь этот ИИ хайп» превратится в тыкву, и никакие MMLU их не убедят, потому что слов таких они не слышали и слышать не хотят. Они требуют «КЕЙСОВ ПРИМЕНЕНИЯ!» почему-то не осознавая, что когда кейсы работают и очевидны всем, то про это говорить смысла нет. Вы говорите о влиянии технологии ж/д рельс на вашу жизнь?

Они не верят в вакцины, в солнечную энергетику и космонавтику, но из-за интернета они способны создать себе информационный пузырь и эхо-камеру, в которой любая теория заговора будет бесконечно усиливаться её сторонниками, без какой-то необходимости в объективности.

А вы как думаете?
Как преуспеть в пост-AI экономике? Если ИИ автоматизирует все работы, то что люди будут делать?

Из того, что я вижу сейчас — ни у кого толком нет хорошего ответа на таймлайн этой великой автоматизации и как именно к ней готовиться. При этом, очевидно, что масштаб будет огромный, и он приведет как к позитивным, так и негативным последствиям.

В прикрепленном сообщении из одного нашего закрытого чатика от экс-фаундера Stability AI, он говорит важную мысль: трудовая денежная система перестаёт иметь смысл. Это не произойдёт одномоментно и повсеместно, но это точно будет в сотни раз быстрее, чем прошлые переходы, как например индустриальный.

Капитализм работает за счет решения проблем. Неэффективности рынков. Но в ситуации, когда ты можешь автоматизировать поиск неэффективностей, такие возможности будут исчезать еще до того, как человек об этом подумает. Все эти микро- и мини-бизнесы типа студий дизайна, инстаграм-магазинов, консалтинга, рекламных и обучающих компаний, локальных юристов, бухгалтеров не смогут конкурировать с машинным интеллектом, который делает все то же самое, но в сотню раз быстрее и дешевле.

Вот возьмём какой-нибудь купи-продай онлайн бизнес. ИИ умеет анализировать любые метрики с амазона и гугла, тестировать сотни гипотез, мгновенно писать софт или отбирать из тысяч китайских поставщиков и заключать контракты с лучшим. Любая возможность на рынке моментально эксплуатируется до того, как предприниматель, который может её решить вообще задумается об этом.

Для GPU-rich ситуация немного лучше. Маск построил ИИ-датацентр на $3 млрд, Мета делает что-то похожее. Потому что для технологической компании скорость роста и выживание зависит от того насколько быстро она сможет "отъесть" рынок за счет автоматизации, будь то роботы на заводе или работа журналиста, аналитика, маркетолога.

Ответ на вопрос в начале поста не очевиден. UBI и всякий там социализм может звучать как хорошая идея, но это не проработанные идеи, у которых нет реального опыта внедрения. Я думаю, эта тема совершенно недостаточно изучена и хочется продолжать сюда копать в следующих постах.

Самым глупым в данном контексте мне кажется отрицание эффекта только из-за того, что люди смотрят на конкретный датапоинт вместо тренда. Типа, мол, "у меня gpt не смог ответить на вопрос Х, поэтому он не сможет никогда". Это типичная fallacy. Потому что в ML важны законы масштабирования, а не текущая производительность. GPT открыл и проехался на 3-4 порядка перформанса на одном таком законе, с о1 теперь начинается новая горка, и явно не последняя. Вот, например, вчерашний пейпер из Стенфорда, который говорит: “Мы математически доказали, что трансформеры могут решать любую задачу, если им разрешено генерировать столько промежуточных токенов рассуждения, сколько потребуется. Удивительно, но постоянная глубина достаточна.”

Я думаю, что глупо и безответственно как отрицать, что произойдет фундаментальный сдвиг структуры рынка труда в течении 3-4 лет, так и считать что из-за этого сдвига "все пропало, надо рыть бункер". Как будто, и первое и второе это побег от реальности. Но вот подумать об оптимальной стратегии и правильных шагах очень хочется.