4 вывода после 7 дней использования ИИ-агента OpenHands.

1. С ростом кодовой базы затраты на токены сильно возрастают. Грубый пример: за первые 2 дня вы можете реализовать 80% функционала, затратив 20% бюджета. А потом на оставшиеся 20% функционала сольете оставшиеся 80% бюджета.

2. С ростом кодовой базы нужно быть все более точным в своих промптах. И четко понимать что нужно изменить в коде. Нечеткими промптами можно загубить проект так, что ни один естественный интеллект не распутает эти «макароны».

3. Проекты на Python потребляют меньше количество токенов, чем на Node.js (TypeScript). Думаю это связано с более простым синтаксисом языка, динамической типизацией, и более лаконичными конструкциями.

4. LLM все еще лучше справляются с задачами серверной разработки (backend), чем с клиентскими (frontend). Связано это с тем, что визуальное представление имеет более обширное количество параметров, которые быстрее поменять в ручную, чем в несколько итераций промптами.

Резюмирую:
OpenHands отлично подходит для создания микросервисов на Python. Один микросервис - одна задача. Рекомендую сразу просить написать тесты. И все таки еще нужно знать половину ответа, чтобы сделать реально большой проект, ни написав ни строчки самому. Ну либо нужно иметь большой бюджет на токены, терпение и хорошие навыки промпт-инжиниринга.

@ai_skillful

#OpenHands #AI4Development

❤️ Спасибо всем, кто ставит звездочки к постам! Ваша щедрость бесценна!

API DeepSeek R1 лежит второй день. Пробуем локально с Ollama.

В этом посте я рассказывал как я с помощью OpenHands сделал бота @DeepSeekR1Bot, который использовал API этой модели для ответов. Но, из-за того, что API DeepSeek второй день лежит, то ли из-за атаки конкурентов, то ли из-за нагрузки, бот по факту не функционирует.

Я решил попробовать поднять локально на M2 Pro с 16Гб RAM - 8B модель. Мне очень нравится Open Source проект - Ollama. Супер удобно, быстро, и в самолете, когда ты оффлайн, можно потыкать в маленькие модельки. Можно даже покодить с автокомплитом оффлайн в VSCode с расширением Continue. Но сейчас я хотел протестить именно DeepSeek R1 локально, тем более в Ollama ее уже подвезли.

Как запустить DeepSeek R1 локально? Скачиваем Ollama с официального сайта. Устанавливаем.
Открываем командную строку, и проверяем установлена ли Ollama командой ollama --version.
Далее переходим на страничку поиска моделей и находим там DeepSeek R1.

А дальше, в зависимости от мощности вашего железа, а именно GPU и RAM ставим себе соответствующие модели.
Например, на мой M2 Pro с 16Гб RAM, подойдет только 8B модель. Если у вас 32Гб RAM и 24Gb GPU то, можно и 32B попробовать.
Вобщем, запускаем командой: ollama run deepseek-r1:8b, и можем потестить в командной строке.
А если хотите удобный пользовательский интерфейс, ставьте огонечки, соберу для вас ТОП Open Source GUI для Ollama, и не только.

ТОП-3 бесплатных графических интерфейса для Ollama.

Полный перечень можно найти на github.

3 место делят между собой - Enchanted, Macai, Ollamac так как они очень похожи между собой.

Минималистичный интерфейс, нативный apple design. Если у вас Apple, и вы не дружите с командной строкой (хотя вряд ли, если вы смогли установить Ollama), то это вариант для вас. Практически сразу обнаруживают все Ollama модели, которые у вас установлены. Как говорится, сел и поехал!

2 место - Open WebUI.

Когда я только познакомился с Ollama, выбор конечно был значительно скуднее, и тогда я остановился на Open WebUI. Ставил через Docker. Использовал в формате - Q&A, выбирал между моделями, и вобщем-то все. Но сейчас вижу, что туда добавили кучу новых фич, типа:

Model Builder – легко создавай и кастомизируй LLM-модели.
Python Tool – подключай свои функции и код.
Локальный RAG – загружай документы и ищи в них прямо в чате.
Web Search – интеграция с поисковыми сервисами.
Браузинг – встраивай сайты в диалог.
Генерация изображений – поддержка A1111, ComfyUI и DALL-E.

1 место - AI Toolkit for VSCode.

Но не потому что, это реально самый крутой GUI для работы с Ollama, а просто потому что я в анамнезе разработчик, провел в VSCode половину своей жизни, я в нем только не ел, и не спал, все остальное предпочитаю делать там. Там даже есть расширение Yandex.Music, что еще нужно для счастья?! Но на самом деле в этом AI Toolkit много крутых фич:
- можно использовать локальные модели с Ollama
- можно скачать модели с Hugging Face
- есть Playground с настройками для моделей
- есть возможность загружать датасеты и оценивать работу разных моделей по разным метрикам
А это супер круто для промпт-инженеров, которые хотят протестить свои промпты на массиве данных, оценить по параметрам, выбрать лучший промпт и сразу засунуть в код. Короче топчик!

@ai_skillful

Каналу 2 месяца, 250+ подписчиков, спасибо, что с нами!

Для тех, кто недавно присоединился, расскажу немного о себе, и ниже оставлю ТОП-5 популярных постов.

Об авторе:

Привет! Меня зовут Константин, в сфере IT я с 2011 года. Последние несколько лет я руковожу разработкой EdTech проектов на базе искусственного интеллекта.

Сейчас работаю в СберУниверситете, развиваю ИИ ассистента в обучении «Истра». До этого работал в Университете 2035 и Самолет Образовании.

1 декабря 2024 года, начал вести этот канал, чтобы систематизировать свои знания по теме ИИ, и делиться полезным контентом.

ТОП-5 постов за 2 месяца:

1. Я - тимлид ИИ-агентов или программисты больше не нужны?!

2. Создаем анимированные стикеры для Telegram за один вечер с помощью ИИ. Пошаговое руководство

3. 4 вывода после 7 дней использования ИИ-агента OpenHands.

4. Искусственный интеллект, машинное обучение, глубокое обучение: в чем разница?

5. Скептик, реалист или мечтатель — ваш взгляд на развитие ИИ.

🥱 Тот случай, когда OpenHands говорит мне: "Работает - не трогай!".

А вообще, это реально круто, я дал задачу, он посмотрел код, и говорит: "Слушай, а у тебя тут все круто, тут менять ничего не нужно", и не меняет ни строчки кода.

🤔 Кажется придется идти в o3-mini-high на консультацию.

Zero-shot, few-shot в деятельности. Как достичь единого формата результата?

Я уже как-то писал об этих методах промпт-инженерии в рубрике #урок@ai_skillful, и всегда думал, что примеры для few-shot промптов должны быть "из жизни", с просторов интернета, от людей.

А сейчас, сижу запускаю одинаковый промпт с инструкцией, но без примеров, на сравнительно схожих транскриптах аудио, и всегда получаю разный формат выдачи, один лучше, другой хуже.

Думаю, как бы мне сделать, чтобы формат был всегда одинаковый?! И тут до меня дошло! Few-shot. Берешь один-два результата, который тебе понравился после запуска zero-shot промпта, вставляешь в этот промпт, в качестве примера, все остальные результаты будут в нужном тебе, едином формате. Простая вещь, тыщу раз читал про few-shot. Но только сейчас понял в деятельности, откуда лучше всего брать примеры: из результатов zero-shot.

@ai_skillful

DeepSeek API стал немножечко оживать.

Пользоваться уже можно, если у вас ранее был API KEY, но пока денег на баланс положить нельзя.

Мои тестовые 5$ которые я положил для своего бота @DeepSeekR1Bot, до сих пор не израсходовались. Когда API отвалилось, я на бота забил немного, а сейчас переписал его с Node.js на Python, с помощью OpenHands, но еще не задеплоил новую версию.

А еще нашел интересную рекомендацию по использованию параметра температуры для разных задач. Оказывается для кодинга рекомендуют 0.0. Интересно протестировать.

2 подхода к обучению моделей в машинном обучении: с учителем и без учителя.

🎓 Продолжаю проходить курс "Погружение в AI" от СберУниверситета, делюсь интересными выжимками простым языком.

В машинном обучении (ML) существует два основных подхода к обучению моделей: обучение с учителем (supervised learning) и без учителя (unsupervised learning). Эти подходы различаются тем, каким образом данные используются для обучения модели.

👩‍🏫 Обучение с учителем предполагает наличие у нас размеченных данных, то есть таких данных, где каждому входному значению соответствует известное выходное значение (метка). Например: входными данными могут быть изображения животных, а метками – названия этих животных («кошка», «собака» и т.п.).

Задача алгоритма заключается в том, чтобы научиться предсказывать выходные значения (метки) на основе входных данных. Для этого модель обучается на размеченном наборе данных, корректируя свои параметры так, чтобы минимизировать ошибку между предсказанными и истинными метками.

👾 При обучении без учителя у нас нет заранее известных меток для каждого примера данных. Модель должна самостоятельно находить закономерности и структуры в данных. Этот подход используется тогда, когда мы хотим выявить скрытые зависимости или группы внутри данных.

Например, представьте, что вы пришли в незнакомый город и пытаетесь понять, где находятся разные районы. У вас нет карты, но вы замечаете, что в одном районе много кафе и магазинов, в другом — парки и детские площадки, а в третьем — офисы и бизнес-центры. Так вы начинаете интуитивно делить город на зоны. Вот примерно так же работает обучение без учителя.

#урок@ai_skillful

Github Copilot выпустил в феврале 2025 года ИИ-агента для VSCode.

Пока только в версии Visual Studio Code Insider. Я решил протестировать и сравнить с Cursor и OpenHands. Записал небольшой скринкаст. Задачу выбрал простейшую - отрефакторить файл bot.py, состоящий примерно из 500 строк, разбив его на несколько обработчиков и сложить их в папку handlers.

📝 Что из этого вышло:
- Несмотря на задачу сформулированную на русском, общался со мной на английском.
- Рассуждения не такие подробные как в OpenHands.
- Задачу сделал, НО, код не запустился, и даже после 4-5 итераций, он запутался как правильно нужно импортировать модули, менял импорт туда-сюда-обратно, я не стал его дальше мучить.
- Когда он предлагал установить pip зависимости, только раза с 3 понял, что он забыл активировать окружение.

Короче, этот выпуск еще экспериментальный, вполне возможно к релизу сделают что-то внятное, но пока этим пользоваться не очень удобно.

🤡А знаете какая самая напрягающая штука в Cursor и Copilot? Кнопка "Apply" . Она вызывает тревогу и стресс, потому что, перекладывает ответственность за исправления от ИИ на пользователя. То есть, банально, если ты не вник в то, что сделала ИИ, то ты просто не можешь принять взвешенное решение. А это дополнительный порог входа для начинающих. В OpenHands такого нет, он внес изменения, запустил, проверил, отдал рабочее.

🔥Ставьте огонечки, если хотите скринкаст с OpenHands.

Создание промптов для AI кодинг агентов.

Я много пишу про OpenHands, и разных ИИ агентов которые пишут код, запускают, тестируют, ставят зависимости и так далее. И как я говорил, самая решающая вещь в этом деле это промптинг - то есть умение четко и понятно сформулировать мысль для ИИ.

Нашел тут интересный сервис copycoder.ai, который помогает решать эту задачу. Он помогает создавать подробные промпты.

Хотел показать свой скринкаст, но оказалось надо 15$ заплатить, чтобы попробовать. Попробую на следующей неделе. Покажу, что получилось.

#инструменты@ai_skillful

🤖 Еще один ИИ кодинг агент - Roo Code.

И честно сказать, он очень неплох! Что мне понравилось?

🚀 Способ распространения: это по сути VSCode расширение, ставится быстро, также быстро обновляется. В отличие от OpenHands, который ставится через Docker, и на каждый тред создает отдельный контейнер.

🛠 Гибкие настройки: в Roo Code можно создавать профили настроек - можно настроить разные модели, температуру, какие команды автоматически исполнять, а для каких требовать разрешение. Также можно задавать rate limit запросов к API, автоматическое переключение между моделями, и так далее. В OpenHands ты можешь только выбрать модель.

💆Пользовательский опыт: когда запускаешь задачу в реальном времени видишь потребление токенов, как в самих токенах, так и в реальной валюте. Видишь сколько процентов контекстного окна занято, и сколько кешировано. Так же видишь сколько денег уходит на каждый API запрос. Так же он спрашивает разрешения на просмотр файлов, и когда нужно указать какой-то секретный ключ, он останавливает работу, и дожидается когда ты ему его отправишь. OpenHands создает .env, и вставляет пустые значения.

💅Встроенный улучшатель промптов: Когда пишешь задачу для ИИ агента, рядом всегда есть кнопочка, которая сделает твой промпт более точным и структурированным. Мне прям очень зашла эта фича.

И это не все возможности! Там еще есть Browser Automation, и возможность расширить возможности ИИ агента, с помощью Model Context Protocol (MCP).

Наслаждайтесь: https://github.com/RooVetGit/Roo-Code

Делитесь с друзьями и коллегами!
#инструменты@ai_skillful
#ИИАгенты@ai_skillful

#ai4development #ai_agent

Закончил сегодня курс "Погружение в AI" на платформе СберУниверситета. В целом было достаточно полезно. Систематизировал верхнеуровневое понимание ML/DL подходов. Слушал недавно собеседование с дата саентистом, и понимал о чем он говорит.

Была идея сделать рубрику "DS на понятном", в котором раскрывать ML подходы простым языком, насколько это возможно в этой сфере. Хотите?

Как я писал промпты для GigaChat.

Занимался задачкой классификации текстов. Было у меня порядка 2000 готовых тегов. Сделал рыбу промпта с помощью Anthropic Prompt Generator, перевел на русский с помощью Google Translate (промпт же для российской модели). В исходном виде было примерно так:

Вы — помощник ИИ, специализирующийся на анализе образовательных материалов и выборе наиболее подходящих тегов для них. Ваша задача — выбирать теги, которые точно отражают содержание и тематику материалов на основе их названия и описания.

Дальше перечисляю 2к тегов и дополняю всякими инструкциями. Гружу в GigaChat с нулевой температурой, и получаю сообщение:

Не люблю менять тему разговора, но вот сейчас тот самый случай

Иду в GigaChat Playground, копирую промпт, вставляю список из 2к тегов, каждый в новой строке, запускаю промпт и...работает!

Находит нужные теги, еще и свои додумывает, хотя в инструкции просил этого не делать, и температура нулевая. Почему в коде не работает? - подумал я.

Оказалось, дело в способе перечисления тегов. Я по привычке разделил теги запятой:

prompt = prompt_template.replace("{{TAGS}}", ", ".join(tags))

И когда, я сделал каждый тег в новой строке:

prompt = prompt_template.replace("{{TAGS}}", "\n\n ".join(tags))

Цензор GigaChat'a пропустил такой вариант, воспринял теги не как часть инструкций, а как перечисление доступных тегов.

Но проблема генерации лишних тегов все равно оставалась. Поэтому я доработал рыбу промпта, добавив упоминание доступных тегов как можно ближе к началу промпта, и получилось:

Вы — эксперт специализирующийся на анализе и классификации образовательных материалов. Ваша задача — из заранее подготовленного списка тегов, выбирать те теги,
которые наиболее точно отражают содержание и тематику материалов на основе их названия и описания.

И даже версия GigaChat Lite неплохо справляется с этой задачей.

#кейс@ai_skillful

Функция "Глубокое исследование" от OpenAI стала доступна для пользователей с подпиской Plus.

Это агент, который самостоятельно проводит многоэтапные исследования в интернете, выполняя за минуты то, на что у человека ушли бы часы.

Что умеет Deep Research?

Представьте, что у вас есть личный аналитик-исследователь, который может:
- Искать, анализировать и синтезировать сотни онлайн-источников
- Создавать подробные отчеты с полной документацией и цитатами
- Обрабатывать тексты, изображения и PDF-файлы
- Адаптировать свой поиск на основе найденной информации

Для кого это создано?

Профессионалы: финансисты, ученые, инженеры, аналитики
Обычные пользователи: ищущие глубокие рекомендации перед покупкой дорогостоящих товаров (авто, техника, мебель)
Исследователи: нуждающиеся в поиске редкой, неочевидной информации из множества источников

Как это работает?

Deep Research тренировался на реальных задачах с использованием браузера и Python. Он применяет те же методы обучения с подкреплением, что и модель OpenAI o1, но с фокусом на поиск и анализ разнообразных онлайн-источников.

Как использовать?

1. Выберите опцию 'Глубокое исследование' в приложении ChatGPT
2. Сформулируйте запрос (например, "сделай анализ стриминговых платформ" или "найди лучший велосипед для ежедневных поездок"). При желании приложите файлы для контекста
3. Ждите результат (от 5 до 30 минут) — можно отойти и заняться другими делами
4. Получите готовый отчет (скоро добавят встроенные изображения и визуализации данных)

В месяц доступно 10 исследований, для пользователей Plus.

Поделитесь, какое глубокое исследование вы бы хотели провести?