Делюсь личным. Радостные новости для всех кто хейтил и следил за нашей попыткой сделать курс — мы решили его отменить, и вот почему:

1. Я пришел к выводу, что любое образование хорошее только если оно бесплатное. Поэтому все материалы, лекции, вебинары, воркшопы, которые планировались в рамках курса будут доступны публично.

Контент должен быть таким, чтобы он менял жизнь. Этого у нас пока нет. А научиться промптингу, генерации музыки и видео по тексту, или как запускать langchain агентов можно и на ютубе.

2. Я не вижу ценности в этом продукте для большинства. Грубо говоря, есть две целевые группы — (1) люди с опытом ML-разработки и фаундеры ML-стартапов, которым интересно что-то продвинутое и практическое, (2) новички, попробовавшие 2-3 промпта в ChatGPT. Первым нужен mastermind+консалтинг, для вторых лучший контент всегда бесплатный.

3. Русскоязычный рынок образования микроскопически мал. Тратить столько же сил ради 0,5-1% рынка нет смысла.

4. Все это стоило 1,5 месяца работы и кучу денег. Такой себе опыт, но так правильно. Продаж было достаточно для прибыльности курса, но в конечно итоге:

— Я не могу делать курс для новичков и брать деньги за то, что доступно в твиттере и на реддите. Я уверен, на эту поляну набегут скамеры и фуфлологи всех мастей.

— Я понял, что пока что уникального контента недостаточно на полноценный многомесячный курс, но зато хватит на серию вебинаров на тему агентов, AI+web3, истории ИИ и может еще что-то.

Всем оплатившим деньги уже вернули или вернем сегодня-завтра (нужны обратные адреса тех, кто платил криптой, детали у вас в почте).

Бесплатный вебинар состоится в этот четверг в 18:00 МСК / 17:00 СЕТ / 16:00 Лондон, где мы расскажем о том как и куда развивается ИИ и покажем крутейшие уникальные кейсы по использованию GPT в работе, выстраданные и вымученные на личном опыте. Можете добавить в свой календарь.

Новый выпуск подкаста, сегодня говорим с DevRel менеджером и ведущим разработчиком протокола ICP (Dfinity).

Сегодня мы говорим о том, чем ICP отличается от блокчейнов (куда дешевле, производительнее, более масштабируемый чем Ethereum, Solana, Avalanche) и от облачных сервисов (безопаснее, децентрализованнее чем Google, AWS). Обсудим как устроена работа протокола внутри, что это дает в плане пользовательского опыта, адопшена и опыта разработки. Поговорим про сообщество ICP, грантовую программу и как каждый из вас может поучаствовать в этом проекте.

В гостях у меня Дарья Чернозуб и Роман Кашицын, смотрите в Youtube, слушайте на сервисах подкастов:

YouTube: https://youtu.be/SKDeKP57dgM
Podcasts: https://spotifyanchor-web.app.link/e/VnFClYOHCAb

Напоминаю, что сегодня в 16 по Лондону, 17 СЕТ, 18 МСК пройдёт вебинар «Бесконечный потенциал ИИ», где мы разберем теорию и практику применения ИИ в бизнесе, творчестве, образовании, создании продуктов. Рассмотрим пару интересных практических кейсов и поговорим о том что это значит для разных инсдутрий. Бесплатно для всех, запись будет.

https://lu.ma/codextown

Запись вебинара доступна в Youtube: https://www.youtube.com/watch?v=r-zYWz_Gy6I

Тайм коды:
00:10 -- Рассказ об истории, возможностях, мифах относительно ИИ
19:15 -- О цифровой форме жизни
25:23 -- о вариантах будущего
35:50 -- Кейсы использования GPT в бизнесе
1:10:01 -- Ответы на вопросы

Вы наверняка уже прочитали этот пейпер, ведь он вышел в доисторические времена по меркам ИИ. А именно, позавчера.

GPT-4 дали несколько тысяч новых задач из университетского курса MIT по математике, программированию, электромеханике, ни одна из которых гарантированно не участвовала в данных для тренировки модели.

GPT-4 из коробки справился на 90% без каких-либо дополнительных действий, НО

Самое интересное, что использование всех описанных в этом канале ранее методов промтинга дали результат в 100% верно решенных задач. В таблице приведена разница в качестве в зависимости от механик промптинга. Вот краткое их описание:

1. Few-shot: промт с примерами решения других задач
2. CoT: просьба модель озвучить свою цепочку рассуждений и мыслей
3. ToS: я описал тут
4. Программирование: вместо решения задачи, LLM пишет код, который детерминированно решает эту и подобные задачи
5. Критик: модель критикует сама себя
6. Эксперт: модель «косплеит» эксперта («представь что ты профессор ЭмАйТи по математике…»)

Вывод: это не модель тупая, а промптер криворукий

Я писал, что есть те, кто идут в технологии ради прогресса, а есть те, кто ради хайпа. Но есть еще одна грань этого феномена.

Вот берём крипту, ДАО или ИИ. С поверхности это можно рассматривать просто как новые рынки, как способность создавать более качественные, крутые, дешевые и эффективные продукты. Способ удешевления решения работ (JTBD) и способ создания более эффективных бизнесов.

Но большинство по-настоящему крутых людей в этих областях, которых я знаю — они тут не ради продуктов и бизнесов. Они видят в технологиях долгожданный способ изменения мира. Где бизнес может быть одним из инструментов, но не обязательно.

Веб3 позволяет избавиться от неэффективных ручных иерархических институтов, типа государств, корпораций. ИИ позволяет убрать из процесса принятия решений, особенно коллективных, личные эмоции, мотивации, коррупцию, жадность. Биткоин помогает построить экономику, в которой ни один человек или организации не решает правила игры за закрытыми дверям (олды вспомнят SegWit митинг на Consensus-2017). ДАО позволяет создавать тесные, искренние сообщества, где люди делают то, что по-настоящему любят, помогают и выручают друг друга в сложных ситуациях, совместно растут.

Это далеко не все преимущества, и не обязательно что все этом лучится прям завтра. Но именно это, а не желание грязно разбогатеть (пусть и упорно работая) двигает прогресс и самых талантливых людей в индустрии.

Новый подкаст! Мы поговорили с Андреем Великим, основателем Allbridge и легендарных криптохомяков.

В этом подкасте мы обсуждаем как Allbridge взломали и украли больше $500,000, и как команде удалось вернуть эти деньги. Так же говорим о приватности и регуляции в крипте, будущих трендах и вспоминаем историю рынка крипты в перспективе.

Смотреть: https://youtu.be/Nq2yBOaZESw
Слушать: https://podcasters.spotify.com/pod/show/cryptoessay/episodes/ep-e25v15d

Дано: AGI грядёт; человеческий труд не потеряет смысл, но потеряет ценность (потому что не будет ничего, что человек может делать на равне с машиной); маржинальная стоимость товаров и услуг стремится к нулю.

Наивное предположение: ну, раз так, значит будет UBI и государство всем раздаст денег.

Реальность (по мнению экспертов Твиттера): никаких бесплатных денег не будет. Производителям все равно будет нужен рынок сбыта. Товары действительно будут дешевле, но платить за них вы будете не зарплатой (ведь вы теперь permanently безработный), а активами — акциями Теслы и Биткоинами.

Вывод: у вас есть буквально 2-3 года, пока еще существует экономика, чтобы грязно разбогатеть в получить все деньги мира. После случится снепшот и экономическое неравенство будет сохранено на тысячи поколений вперед.

Одна эта логика для многих оправдывает мошенничество, инфобизнес, продажу токенов, ибо перед лицом смерти Экономики (очевидно, неизбежным) любая копеечка — последняя.

Агенты выросли.

Месяц назад многие впервые столкнулись с Auto-GPT и громко возмущались что, мол, агенты ваши эти ничего не умеют, только производят видимость разумных рассуждений.

Но люди не понимают, что та версия ИИ, которую они используют сегодня, это самое худшее (в смысле примтивное и простое), что они увидят в жизни. Это примерно как кошелек Mist для эфира (в 2015 - единственный, ужасный, требовал часов 8 синхронизации прежде чем отправить транзакцию). А вот пара примеров в каком направлении развиваются агенты:

GPT-Engineer, набравший умопомрачительные 25к звездочек на гитхабе, умеет писать код. Фишка этого агента в том, что он придирчиво и детально начнет спрашивать вас о том что конкретно вы хотите видеть в финальном приложении или сайте. Благодаря более детальному ТЗ, код в результате получается куда более точный и почти всегда работает (по моему опыту).

GPT-Author может написать вам книгу в 10-15 глав + красивую обложку за ~$1,5. Книги в общем и целом получаются нормальные, но пока что не Стивенсон или Достоевский. Как известно посадив миллион GPT-обезьян за печатные машинки, в итоге вы получите что-то, что продастся тиражом "Войны и Мира". Я делал много литературного контента через GPT, и абсолютно могу вам гарантировать, что он в состоянии создавать интересные сеттинги, героев, сюжетную арку — но высокое литературное качество требует от человека чуть больше, чем нажатие одной кнопки (пока).

P.S. Если помните, мы решили отменить платный курс по GPT потому что это позор, но зато я решил сделать бесплатные живые вебинары, домашние задания и (закрытое или открытое, пока не решил) сообщество с менторством и персональной помощью. Цель — сделать лучше, качественнее, понятнее, полезнее, чем любой курс за деньги. Причина — ИИ больше, чем что-либо сегодня влияет на мир; я хочу помочь стать экспертами многим.

В пятницу я проведу вебинар про промт-инжиниринг и про то, как раскрыть возможности GPT на 100%. Поговорим о всех типах и техниках промтинга, рассмотрим сотню (literally) ультра-полезных примеров НЕ ИЗ ТВИТТЕРА, расскажу как работает GPT изнутри очень простым языком. Записываться, как всегда, тут (кому-то требуется VPN).

Внезапно выяснилось, что если обучать нейронки не на двачерах с реддита, а на качественных очень тщательно курируемых учебниках, то их производительность вырастет в разы.

phi, новая модель, превосходит по качеству GPT в области написания кода и некоторых других задачах, при этом имеет в сто раз меньше параметров и обьем данных для тренировки.

Я уже писал, что GPT мало кто понимает изнутри. Но мы точно знаем, что это очень неэффективная архитектура, которая вследствие довольно случайных решений разработчиков смогла интернализировать все знания и «понятийное поле» всех языков человечества, сохранив их в форме весов нейронов модели. И это нифига не оптимальный способ кодирования всей информации о мире, а так же операций с этой информацией.

Так что в будущем модели будут куда более компактные, работающие локально, при этом имеющие куда более высокую производительность.

Кстати, напоминаю, что мы делаем серию бесплатных живых вебинаров и (закрытое или открытое, пока не решил) сообщество с менторством и персональной помощью. Цель — сделать лучше, качественнее, понятнее, полезнее, чем любой курс за деньги. Причина — ИИ больше, чем что-либо сегодня влияет на мир; я хочу помочь стать экспертами многим.

В пятницу я проведу вебинар про промт-инжиниринг и про то, как раскрыть возможности GPT на 100%. Поговорим о всех типах и техниках промтинга, рассмотрим сотню (literally) ультра-полезных примеров, расскажу как работает GPT изнутри очень простым языком. Записываться, как всегда, тут (кому-то требуется VPN).

Ровно 6 лет назад. И до сих пор люди пытаются привязать токен к обычной централизованной компании (которая обречена потом всю жизнь вместо продукта заниматься исключительно безуспешными попытками не дать токену обнулиться).

Тот факт, что пирамиды вроде LUNA и FTX рухнули и казино вроде Yield Farming и GameFi окончательно победили своих бедных посетителей, а регуляторы возбудились на этом фоне и начали спешно беспорядочно метаться — ничего из этого не играет существенной роли в реальности.

Смысл крипты и веб3 — создание институтов, а не создание продуктов. От того что ты добавишь голосование и токен в сервис такси, доставки еды и на форум, они не станут от этого лучше. Институты не поддаются регуляции, потому что это социальный консенсус относительного того как работает мир.

Аргументы скептиков все те же, что и шесть лет назад: «я токенизировал маршрутку и не стал миллиардером и еще мне штраф пришел, крипта скам» или «почему Паша (Дуров) разбогател на крипте, а я бомж?». Но цель крипты не ваше личное обогащение. Даже не в том чтобы создавать бизнес-модели продуктов, которые работают прекрасно и без крипты. Даже не в том, чтобы под этим соусом запустили CBDC-говно.

Напоминаю, что завтра в 17:00 CET (18:00 МСК, 16:00 Лондон) пройдет вебинар в рамках серии уроков и воркшопов об ИИ для работы, бизнеса, творчества и инвестиций.

Завтра будет вводный урок про промтинг. Мы поговорим о том ​как работает GPT? Что такое токен, трансформер, архитектура нейронных сетей, контекст, температура, векторные эмбединги — всё простыми словами. Обсудим что такое промтинг и как стать профессионалом в этой области? Все это вместе с десятками разных практических и работающих примеров, так как автоматическая генерация промтов, контракты и договоры,​ код, маркетинговые материалы, финансовые документы, сказки, стихи и рассказы, продажи.

Во второй части вебинара (в другой день) будут примеры advanced промтинга, сложные стратегии и ещё больше живых примеров. В общей сложности у меня 100+ слайдов и в целом в них я расскажу почти все, что вы узнаете в других курсах о промтинге.

Бесплатно, регистрация тут (может требоваться VPN)

Marc Andreessen, VC в a16z (фонд на $35 млрд, больше только у Sequoia), web3-максималист + зарождал инет браузером Netscape (куплен AOL за $4 млрд в 1999), на борде Fb, дал интервью #368 на 3 часа “AI спасет мир” Lex Fridman (AI ученый в США из РФ/Украины):

LLM/языковые нейронки
- Все становится диалоговым, пусть мы и просим иногда URL’ы, инет начал с каталогов, потом 20 лет поиск, а AI дает новые пути взаимодействия со знанием, хз будет ли Google через 5-10 лет. Они 15 лет строили графы/выдачу ответов без кликов, а тут нагрянули LLM
- Люди хотят LLM без цензуры, но кто их будет выпускать, хакеры? Новые LLM будут использовать в тч диалоги с ними самими и это вопрос на $1 трлн: улучшат ли synthetic data LLM (тк signal is already there), но есть же океан возможных диалогов, которые не изучить на людях (типа как люди обсуждают учебники экономики в Твиттер, но мы это в 1000x ускорим)
- Глюки LLM? Это когда нам не нра, а когда нра - называем creativity=) Le Cun считает глюки не убрать, а отрасль верит, что засолвят
- Biase’ы? Идея Wikipedia я думал бред, но сработало же в выработке нейтрального тона (тыщи лет люди считали “вот она, истина”, но она же все время “плывет”..)

Золотая лихорадка
- Еще вопросы на трлн’ы $: побьют ли малые модели большие? Будут ли 2-3 god-level модели на весь мир? Идут дебаты оставить ли open source AI законным/regulatory capture от лоббистов. Победят техгиганты или стартапы (да, IBM придумали базы данных, но Oracle построил Larry Ellison; почему GPT сделали OpenAI, а не DeepMind/Гугл)? Битва гигантов (много GPU + sophistiction) vs. пробующие радикальные идеи стартапы - оба подхода дают успехи: и перфекционизм Apple, и incremental lean hackers как стартапы
- Роль фаундеров излишне романтизировали, нервно + крутые фаундеры часто с опытом своей индустрии, или год всесторонне изучали идею

Инет
- В 1989 в универе увидел быстрый инет+суперкомпы Cray = дало инсайты что грядет (а все думали, что ПК, emails - это для nerdy прогеров) и щас 5 млрд людей онлайн. Много вспоминает про Apple I, TCP IP драйвера в Win 3.1, роль JPEG в эпоху модемов, HTML, JavaScript (написан за лето), SSL (шифры были военной технологией) + “autistic” языки программирования
- Браузер = единое окно в мир на ПК, за ним что угодно + развивается во времени. Аппы = на телефонах, но и там соблазн лепить супераппы, как Маск в Twitter или китайцы
- Похоже, мы идем к open source everything, не только AI, тк productivity boost - он ваще, 1000x отдельному кодеру. Software - это современный философский камень

AI спасет мир
- Написал эссе (вот саммари Гершуни): страх AGI - просто мы христиане, ждем Апокалипсис + порождаем культы + саморадикализуемся. Это религиозные, не testable гипотезы. Von Neumann считал надо сразу ударить по СССР ядерной бомбой, ибо 3ья мировая неизбежна. А по факту, ядерное оружие убрало риски 3ей мировой. И даже где у нас и есть прогнозные модели - ну вы помните спектр жутких прогнозов про корону и policy makers избыточно полагались на этих [псевдо]-ученых, 8 млрд людей замоделить..
а
- Intelligence - это сбор, обработка, синтез инфо, и к чему не приложишь - все улучшает (умные люди во всех сферах жизни имеют лучшие outcomes - похоже, это гены, что печаль), но тут на сцене и появляется AI - на благо всех - каждому нарастит IQ
- Generative AI/фэйки? Ставишь другой AI - охранять своего ребенка=)
- Зарегулировать AI сложно, особенно с open source/люди кто делают прорывы есть где угодно/модель GPT уже тренят на мощном ПК итд
- Страхи неравенства от AI = неомарксизм, в реальности automation невероятно увеличил душевой ВВП, секрет всех CEO, что техногиганты хотят продать AI каждому на Земле
- Переучивание из-за новых работ больно, но уже 300 лет так живем, а луддиты были и будут

Китай? Их публичный AI план себе+миру: слежка, social score = 100% авторитаризм + Digital Silk Road

Благотворительность? Ларри Пейдж хочет все $ передать Маску

Книги? Читает про историю, US, политику, Ленина, French revolution, Рим, Грецию

Смысл жизни? Satisfaction/being useful, но я за imbalanced life/крен в productivity

Запись вебинара о том зачем нужен GPT, как работает GPT и основах промтинга доступна на Youtube.

Тайм-коды:
0:03 -- Что здесь происходит? Что такое codex town? Что будет сегодня?
5:00 -- В чем ценность GPT для каждого человека. Примеры и кейсы
29:00 -- Как работает GPT?
32:25 -- Как работает embbedding? Что такое "поле смыслов"?
46:32 -- Как была создана модель GPT-3?
54:50 -- Отличие модели GPT и продукта ChatGPT
55:39 -- Системный промпт
59:09 -- Температура
1:02:00 -- Контекст и "память"
1:06:15 -- Завершение

Больше информации, запись на мероприятия: www.codex.town

Буду благодарен если пошарите ссылку с друзьями или сообществами, которым это может быть интересно.

Запись на следующий вебинар.

Следующим этапом после того как мы отойдем от шока языковых моделей будут "always-on" агенты.

В особняке за $100M в Сан Матео прошел хакатон от AGI House на тему автономных агентов. Мы выжали из него самый сок, специально для вас.

От скептиков вы услышите: "я потратил 10 часов на этот ваш Auto-GPT и ничего, кроме внятно звучащей простыни текста, там нет". Причина такого искажения — в том, что люди смотрят на прошлые эксперименты (в основном, не сильно удачные), но игнорируют то, что строится уже сегодня или будет построено завтра.

Вот что кажется неизбежным в течении ближайших месяцев:

1. Плеяда крайне специализированных агентов со своим собственным инстурментарием. Вместо генерации текста по любому поводу и без — смесь вызова API, детерменированных функций и кода, написания кода и продвинутого промтинга (про это будем говорить на следующем вебинаре в пятницу).

2. Скамота и вчерашние криптотрейдеры, конечно, будут пытаться выжать из вас деньги под соусом агентов. Особенно, если вы хомяк или фонд. Но это не может позитивно или негативно влиять на мощь технологии.

3. Команда из NVIDIA показала Майнкрафт-агента, который прошел игру используя только диалог нескольких агентов (GPT-4 пишет код для автоматизации действий персонажа, GPT-3.5 критикует, в виде Embedding'ов хранится библиотека уже выученных навыков агента). Они называют это agent lifelong learning. Звучит как очень верная архитектура для еще более полезных агентов.

4. Создание агентов часто даже не требует программистов. Один промт для того, чтобы сгенерировать код агента. Второй, третий и вплоть до миллионного — чтобы задать его поведение. У вас не просто будут тысячи агентов, не уступающих человеку-ассистенту в телефоне, вы будете создавать таких сами по необходимости и бесплатно. "Создай мне агента, который напишет всем моим друзьям по поводу планов на выходные, проанализирует ответы, согласует время, забронирует время. А еще — обнови свой код, если кто-то из друзей придумает для тебя новый функционал".

5. Самые популярный кейсы, которые все пилят: медицина (консультация, сбор информации, расшифровка диагноза), юриспруденция (обучение агента на нормах права, корпоративных документах, стандартных процессах), наука (агенты для формулирования и проверки научных гипотез). Ну, не считая, прикладных ассистентов типа "найди инфу в интернете, сравни, купи, напиши текст".

Можно пойти у хомяка рейзить или инфобизнес корпоратам втюхать (кстати, сделаю для вашей компании индивидуальный курс), но можно и вместе пилить/рассуждать/тестировать как будет выглядеть мир, где у каждого в кармане тысяча агентов. Для этого и хотелось сделать codex.town