#agents #books #courses

Если вдруг вы пропустили, пара полезных ресурсов про Agentic AI

1. "Agentic AI" course by Andrew Ng
https://www.deeplearning.ai/courses/agentic-ai/

2. "Agentic Design Patterns" book by Antonio Gulli
https://docs.google.com/document/d/1rsaK53T3Lg5KoGwvf8ukOUvbELRtH-V0LnOIFDxBryE/preview?tab=t.0

#llm #petproject

Больше хороших референсных имплементаций!

https://github.com/karpathy/nanochat

This repo is a full-stack implementation of an LLM like ChatGPT in a single, clean, minimal, hackable, dependency-lite codebase. nanochat is designed to run on a single 8XH100 node via scripts like speedrun.sh, that run the entire pipeline start to end. This includes tokenization, pretraining, finetuning, evaluation, inference, and web serving over a simple UI so that you can talk to your own LLM just like ChatGPT. nanochat will become the capstone project of the course LLM101n being developed by Eureka Labs.

#analytics #metrics #books

#llm #petproject

🚀 Manus 1.5: Обновление ИИ-платформы для разработки

Компания Manus выпустила версию 1.5 своей платформы с несколькими значимыми улучшениями.

Основные изменения:

⚡️ Ускоренный движок — задачи выполняются заметно быстрее благодаря оптимизации архитектуры

🎯 Повышенное качество вывода — интерфейсы, переходы и выравнивание стали более профессиональными и точными

📊 Неограниченный контекст — возможность работы с крупными проектами без потери данных и истории, что упрощает командную работу (немного про то, как manus делает context engineering, будет в следующей заметке)

🛠 App Builder — создание полноценных приложений с фронтендом, серверной логикой, базой данных и аутентификацией по одному запросу.

Я с использованием этого App Builder в 1 промпт сделал приложение по генерации картинок при помощи YandexART и Nano Banana (на выбор), результаты можно посмотреть в комментариях. Можно сравнить с приложением от Lovable, которое мной создавалось по тому же промпту чуть ранее.
Мне результат от Manus App Builder очень понравился. Похоже, что у нас есть новый лидер Vibe Coding'а с самым низким порогом входа. Весь предварительный ресерч, подготовка PRD и спецификации на разработку - все делается автоматически. Особенно меня порадовало, что добавить YandexART в этот генератор картинок оказалось предельно просто: добавь пожалуйста поддержку модели yandexart с необходимостью ввода credentials: folder id и api key (добавь ссылку на инструкцию где их взять https://telegra.ph/Kak-i-otkuda-brat-kredy-dlya-dostupa-k-YandexGPT-10-09).
Чуть позже я напишу в комментариях как с добавленим YandexART справился Lovable и Genspark AI Developer.
Пару дней назад я для демонстрации заказчику делал простенького веб-бота на базе yandexart (исходники здесь) , использовал: Github Codespaces, claude code (частично онлайн claude code в рамках бета тестирования), а также поиск рабочих код-снипетов в yandex cloud ml sdk и примерно представляю уровень неудобств. К слову, онлайн Codex так и не смог мне сгенерировать рабочий код такого бота.

🖼 Генерация и поиск изображений — интеграция с пониманием намерений пользователя

Для кого актуально:

1️⃣ Разработчики, работающие с ИИ-инструментами
2️⃣ Команды, создающие веб-приложения
3️⃣ Специалисты по автоматизации процессов
4️⃣ Пользователи, работающие с большими объемами данных

Обновление направлено на повышение производительности и расширение возможностей платформы для решения сложных задач разработки.
Если к этому добавить еще возможность отправки задач в manus по email, интеграцию manus с внешними инструментами и зарождающийся в документации API интерфейс к продукту, то Manus в скором времени может стать самым крутым универсальным ИИ-помощником. Который можно будет использовать и в "личном" общении, и в программном коде.

@llm_notes

#manus #ai #vibecoding #automation #productivity #app

Доверительные интервалы, часть 2

Привет, товарищи-статистики!

Можно ли при стат.значимом результате добирать аудиторию для получения более суженного доверительного интервала эффекта? Хороший вопрос, так как кажется, что тут нет никакого подвоха, результат-то стат. значимый, можем открывать шампанское и вообще. Но все не так просто.

1) Концептуально, мы не застрахованы от того, что наш результат это ошибка 1-го рода, отсюда это мало чем отличается от обратной ситуации “донаберем данных до стат. значимости”. Стат. значимость не делает эффект достоверным, нам просто так удобнее думать.

2) Мы продолжим работать с условными CI, что охватили истинный эффект, то есть с 95 из 100, но после донабора охватывать истинный эффект будет уже 94. И вот тут вряд ли есть где-то ошибка в очень дубовой симуляции.

Почему так происходит? Дело в том, что каждые новые данные это реализация случайной величины с определенным разбросом, отсюда CI не только сужаются, но и колеблются, а поэтому из CI, которые уже охватили эффект, могут не охватить при новом наборе данных.

При этом CI как механизм охвата истинного параметра не сломаются, полна группа такая после добора:
CI охватил эффект | CI охватил эффект = 94,
CI не охватил эффект | CI охватил эффект = 1
CI не охватил эффект | CI не охватил эффект = 4,
CI охватил эффект | CI не охватил эффект = 1

Чуть перетасуем и получим более читаемый вид:
CI охватил эффект | CI охватил эффект = 94,
CI охватил эффект | CI не охватил эффект = 1

CI не охватил эффект | CI охватил эффект = 1
CI не охватил эффект | CI не охватил эффект = 4

п.2 порождают риск того, что ваш следующий интервал будет не стат. значимый. И что вы будете делать тогда? Мета-анализ зависимых гипотез? Но был ли он у вас в дизайне? Сможете ли вы его объяснить заказчику?

Я думаю, запланировать донабор возможно, но это потребует корректировки альфы и мощности; можно запланировать и мета-анализ. Просто это выглядит избыточным, мудреным и абсолютно не нужным. А незапланированный набор выглядит как, грубо говоря, подлог, который нужно штрафовать на уровне оценки объективности теста.

Если вам нужен узкий доверительный интервал, то на этапе дизайна:
- обратите внимание на то, что стандартная ошибка (вшитая в CI, если что) пропорциональна 1/корень(n). Это значит, например, увеличение в 2 раза выборки приведет только лишь к сокращению в 1.41 раза ширины CI, то есть на ~29%:
1/корень(1) - 1/корень(2) = 1 - 1/корень(2) = 1 - 0.71 = 0.29

—
Пользуйтесь эвристикой, вывод ее простой, сначала обобщим пример выше:
1 - 1/корень(1+k) = d, где d - доля снижения, где k - наш множитель

Через ряд алгебраических преобразований, мы получим:

k = (1 / (1-d) )^2, - смотри картинку поста для читаемости

Указывай долю снижения = получай множитель.
—

- подберите прокси-метрику с меньшей дисперсией, сохраняя тот же размер выборки по базовой метрике, но только помните про требования к таковой - связанность и сонаправленность с этой базовой

P.S. И к слову о штрафах. Так как игнорирование дизайна это бич стат. анализа, то уже давно думаю над тем, как внедрить как раз оценку объективности теста. Пока в голове просто прикидка а-ля пускай тест, задизайненный как следует и сделанный как планировалось, имеет объективность 100 баллов. За каждое отклонение, будь то “че-то еще давай посмотрим” или техническая проблема, минус сколько-то баллов. Само собой, не хватает конкретики, за что и насколько будем штрафовать, но мысль уже есть, думаю, рано или поздно что-нибудь да развернется. А если у вас что-то готово, делитесь :)

#llm #petproject

#quant #interview