Ура! прошел наш второй интеснив по RAG

Self RAG на базе платформы NDT

Рассмотрели как загрузить данные
Как управлять промптов и какие есть настройки

Все кто был записан получили материалы и аккаунт на 3 недели

Так же рассмотрели как создать подключение через python к своему RAG
- Как выбрать модель
- Как правильно разметить данные
- Как разбить на чанки по методу "Скользящего окна"
- Как подобрать промпт под ваш RAG
- Как создать простого телеграм бота который будет отвечать по вашему RAG

#intensive

*треск костра*

"Они не знают, что у нас лучшее регулирование ИИ."

Совпадение?

Тебе не нужен нетворк

Все говорят: надо расширять нетворк! Знакомиться с людьми, кофе с ними пить, с днем рождения поздравлять. А чтобы что? 🤔

Я понаехал в Москву из Сибири в 2017 году. Продавал ИТ в гос.сектор, потом делал консалтинг для корпоратов. Но в моей записной книжке не осталось ни одного министра или большого начальника из числа многих, с кем довелось поработать. Я даже пробовал такой нетворк проворачивать. Вот знаешь человека по работе, зовешь его на кофе, встречаетесь, глядите друг на друга, а разговора содержательного не получается. Потому что и сказать особо нечего.

Почему так? Да потому что нет содержания, которое можно положить в ядро этой коммуникации. А люди без содержания и позиции мало кому интересны, кофе тут не поможет. У меня есть парочка таких нетворкеров в окружении, регулярно зовут куда-нибудь повстречаться. Я пару раз сходил, больше не хожу. Потому что не интересно.

Но даже если есть содержание, его надо куда-то положить. Должна быть готовность человека с тобой это содержание обсуждать. Это значит, у вас должен быть определенный бэкграунд, который эту готовность формирует с обоих сторон. И я не знаю другого способа этим бэкграундом обзавестись, кроме как с человеком какое-то дело вместе поделать. Чтобы:

А - прояснить позиции друг друга и понять, вы на одной волне, или нет. А то бывает так, что с человеком в одном поле **** не сядешь.
Б - прояснить супер-силы друг друга. Поработать над конкретным содержанием и посмотреть, не расходятся ли слова с делом.

Вот когда есть эти три штуки: содержание, позиция и супер-силы, тогда и нетворк есть. А всё остальное - это коллекционирование мертвых душ в записной книжке.

Всем привет! Что-то я давно не писал лонгридов, а только пересылал посты из моего наблюдения.

И накопилось порядком много тем которые я прорабатывал последний месяц, вот пришел спросить у вас, что вам было бы интересно почитать.
Проголосовать можно в комментариях про что рассказать первым

1) Эксперименты с этой статьей, а именно Контекстуальный RAG (честно, гибридный поиск примерно так же дает по приросту качества bm25 + vector но добавлена контекстуальная разметка)

2) Провел полный цикл разработки агентского GuardRails (кратко: защитник от галлюцинаций в RAG)

3) Провел эксперименты с продуктом на базе FLUX + Luma и собрал интересную статистику

4) Развернул-таки Llama-3.2-11B-Vision на одной 4090 FP16

5) Собрал мультиагентную сеть супервизора с RAG агента, SQL агента + Response агента на базе vllm + lm-format-enforcer, и фишка тут, наверное, что все локально на llama-70b

6) Доработал свою систему тестирования RAGAS на базе локального агента llama-70-b, получил хорошую визуализацию и отчеты

О, ну и самое главное, что в написании кода и решение всех рабочих задач я переехал на Claude-3.5-sonnet, про это тоже отдельно расскажу.

А вот это дико круто с 3 запроса и ожидания в 3 недели я все таки получил доступ к апи runway, пошел тестировать и встраивать!

Ну что я считаю это победа хоть API у runway и кривое но я получил что хотел, их генерка одна из самых лучших доступных сейчас

Перечитал много гайдов по промптингу Runway, и да что бы добиться желаемого пришлось сжечь 30 генераций, промпт совершенно отличается от генераций картинок, есть идея сделать отличный репромптинг на базе llama, главное загрузить обширный in context learning, пишем что-то на простом, человеческом, LLM перепишет и переведёт под язык Runway

Мне конечно нечего тут сказать за репертура но ремикс Агутина и стиль подобный Миадзаки делает такие вещи приятными к просмотру

FLUX + Runaway внутри моего бота 4 генерации картинки и 4 генерации видео(с первого раза) склейка в CapCut за 2 минуты

Хочу поделиться с вами интересным эссе от Дарио Амодеи, CEO Anthropic, о потенциальном влиянии Powerful AI на мир:

"Machines of Loving Grace: How AI Could Transform the World for the Better"

Амодеи рассматривает, как Powerful AI может изменить различные сферы жизни в ближайшие 5-10 лет после его создания:

• Здравоохранение и биология
• Нейронаука и психическое здоровье
• Экономическое развитие
• Управление и демократия
• Смысл жизни в эпоху AI

Интересно, что автор отходит от термина AGI в пользу "Powerful AI", что отражает уход от хайпа в прагматичный взгляд на развитие технологий LLM

Рекомендую к прочтению всем, кто интересуется будущим AI и его влиянием на общество и еще написано достаточно круто и легко читается.

https://darioamodei.com/machines-of-loving-grace

Мы с вами живём в очень интересное время!

С первого раза поймали!

Всем привет!
Как обещал, раскрываю 5 пункт! 🚀
Создание мультиагентной системы на базе Llama 3.1-8b: Интеллектуальный супервизор задач
Ключевые особенности на мой взгляд
Использование vLLM
Применение lm-format-enforcer для структурированного вывода
Многопоточная обработка на NVIDIA RTX 4090 в 10 потоков

📊 Архитектура системы:
Супервизор (на базе Llama 3.1 8b)
RAG Agent разработки NDT (для работы с базой знаний)
SQL Agent (для запросов к БД)
ResponseGenerator Agent (для генерации ответов)

🤔 Почему lm-format-enforcer, а не function calling?
Я попробовал lm-format-enforcer, и мне понравилось, как я могу контролировать детерминированность структурированного вывода, что критично для сложных многоагентных систем.

Как это работает?
Внутри кода запуска модели происходит фильтрация путем создания маски разрешенных токенов на основе текущего состояния парсера и применения этой маски к выходным логитам языковой модели, обнуляя вероятности недопустимых токенов перед выбором следующего токена.
📝 Пример схемы для запроса:

schema = {
    "type": "object",
    "properties": {
        "agent": {"type": "string", "enum": ["RAG", "SQL", "ResponseGenerator"]},
        "task": {
            "type": "object",
            "properties": {
                "query": {"type": "string"},
                "additional_info": {"type": "string"}
            },
            "required": ["query"]
        }
    },
    "required": ["agent", "task"]
}

Эта схема определяет структуру ответа модели, гарантируя, что она выберет подходящего агента и сформулирует задачу в нужном формате.
Пример использования lm-format-enforcer:

request_data = {
    "messages": messages,
    "model": "llama-3.1-8b-instruct",
    "max_tokens": 1000,
    "temperature": 0.0,
    "guided_json": json.dumps(schema),
    "guided_decoding_backend": "lm-format-enforcer"
}

Запрос: Когда была последняя продажа проекта компании 'Супервизор'?
Ответ от модели:

{
  "task": {
    "query": "Последняя продажа проекта компании 'Супервизор'"
  },
  "agent": "SQL"
}

Модель в режиме агента смогла правильно классифицировать агента и далее запуститься пайплан работы SQL агента который сгенерирует SQL запрос

SELECT * FROM sales WHERE company_name = 'Супервизор'

и вернет данные в responce generator

[
0:"2023-05-15"
1:"2023-08-22"
]

Преимущества подхода:

Точный контроль над форматом вывода
Снижение вероятности галлюцинаций
Улучшенная интеграция между агентами
Масштабируемость на сложные сценарии

Что дальше?

- Усложнение агентской сети
- Работа над сборкой датасета для агентов
- Дальнейшая оптимизация производительности