Как создать свою умную базу знаний с помощью RAG и LLM (уровень сложности 1)

В последнее время термин RAG (Retrieval-Augmented Generation) стал часто встречаться в обсуждениях технологий искусственного интеллекта. Это слово мелькает повсюду: "RAG это", "RAG умер", "RAG не нужен". Но что же это такое? Зачем он нужен? Как его сделать нормальным? Как добиться высокой точности? Что такое точность для систем, основанных на RAG + LLM? И какой велью для бизнеса или простых людей?

Разберем понятия RAG

R - Retrieval (Извлечение)
Извлечение — это процесс поиска и извлечения релевантной информации из большого набора данных (чаще всего участвуют векторные БД).

A - Augmented (Дополненный)
Дополнение — это процесс улучшения или обогащения информации. Здесь мы подсовываем найденные данные из БД в LLM.

G - Generation (Генерация)
Генерация — это процесс создания нового текста или ответа на основе имеющейся информации с помощью frozen LLM.



Я придумал интенсив курс или открытый вебинар как хотите называйте, который я заложил на 5-8 постов. Дальше ищите по тегу #intensive. Мы рассмотрим, как построить RAG для себя, друзей или для бизнеса. Если вы не умеете и не хотите обучать LLM, но хотите, чтобы LLM знала ваши данные и не была тупым скриптом, тогда вам к нам, к RAG энтузиастам!

Начнем с основ

Мы разберем простой кейс создания своей умной базы знаний. Если вы взяли документ и положили его в векторную БД (например, в OpenAI есть функция retrieval и ассистент), или скачали код с LangChain, то вы получите точность ответов на свои вопросы около 40-50%, максимум 70% если у вас очень простой набор данных.

Но как сделать лучше? Как разметить данные? Как их подготовить? Как исключить галлюцинации? Что такое RAG Guardrails? Что такое автотесты RAGAS? Как сделать свою умную LLM за дешево и с минимальным кодингом? Как показать клиенту высокую точность и продать продукт или сервис?

Решения для разных уровней подготовки

Сразу скажу, будет два типа решения:
1. Для тех, кто умеет программировать: Возьмем API и немного Python (или другой язык программирования). Тут будем кодить минут 20-30.
2. Для тех, кто не умеет кодить: Выдам наш веб-интерфейс, который позволяет создать домен знаний за 3 минуты.

Почему это может быть интересно?
- Это бесплатно
- Можно попробовать что-то новое или разобраться в том что сейчас работает плохо
- Что бы участвовать достаточно быть подписанным на этот канал и просто читать
- Покупать токены или аккаунт не придется — я выдам вам свое прокси и API ключи.
- Векторную модель я выдам также свою, есть API и Swagger.
- API для создания домена знаний мы возьмем из моих наработок.

Заявки кидать либо в комментарии, либо мне в личку @Vakovalskii

Для тех, кто не умеет кодить, у нас в NDT есть веб-интерфейс. По нему я буду консультировать отдельно. Также смогу выдать аккаунт, и вы сможете загрузить свой документ, запромтировать LLM (будет 3 на выбор) и начать наполнять свой домен знаний.

Запущу я интенсив или нет, зависит от количества заявок мне интересно будет его проводить если будет больше 20-30 заявок.
Если вам интересно, как сделать свою умную LLM за дешево и с минимальным кодингом или без, я вам покажу и расскажу.
Запуск намечу на начало сентября!

Даже думаю продлить потом серию до создания Telegram-бота, в которого можно будет загрузить свою курсовую и пообщаться с ней!

#selfrag #LLM #RAG #noneedcoding #intensive #SmartBase

Оставайтесь на связи и следите за обновлениями!

Ваш @neuraldeep

Нашел окно провести kick off встречу по RAG интенсиву на следующей неделе
17 Сентября вторник в 11:30
все кто записался получат приглашение
Запись для тех кто не сможет подключится пришлем отдельно

Так же нарезки выложу отдельно в канал

#intensive

Уже завтра стартует первый онлайн звонок по Self RAG

Все кто успел записаться в августе в первый поток получили приглашения на почту жду вас там проведем вводную встречу!

#RAG #intensive

RAG что это?

Не кидайте тапками, я пробую такой формат первый раз!

Как и обещал, присылаю полную запись сегодняшнего интро по Self RAG. Мы начали с самого простого: что такое RAG и как он работает!

На следующем занятии мы рассмотрим, как создать такой RAG на базе нашей платформы в режиме онлайн. В будущем я планирую сделать полноценный интеснив по созданию RAG с нуля – от аренды виртуальной машины до запуска Lama-3.1 под vllm.

Как сказал один из участников сегодняшнего интенсива:

"Вы первый, кто не льет воду про RAG и реально рассказываете, как оно работает."

И действительно, я просмотрел множество курсов про RAG и LLM агентов, и у меня возникло легкое раздражение.

Информацию берут либо текст от ChatGPT или из статей Azure, либо, на худой конец, попробовали "Ассистентов от ChatGPT" и считают что это можно упаковывать и распространять в массы.

Мой опыт подтверждается реализованными кейсами, разработанной платформой и огромным количеством проведенных экспериментов.

На вопросы из из файла текста чата вы найдете ответы в конце видео!

Дисклеймер
Все, что вы увидите и услышите в данном видео, является моим личным мнением, основанным на опыте работы с проектами, клиентами и реализации платформы. Мои советы и рекомендации могут не подойти для всех ситуаций и не претендуют на абсолютную истину. Перед тем как принять какое-либо решение, настоятельно рекомендуется провести собственное исследование и проконсультироваться с профессионалами в вашей области.


P.S
Вам я предоставил очень сумбурный, но очень подробный технический ввод про то, что такое RAG!

А всем, кто заинтересовался, пишите в комментариях – интенсив абсолютно бесплатный. Записывайтесь на следующую волну.

#intensive

Ура! прошел наш второй интеснив по RAG

Self RAG на базе платформы NDT

Рассмотрели как загрузить данные
Как управлять промптов и какие есть настройки

Все кто был записан получили материалы и аккаунт на 3 недели

Так же рассмотрели как создать подключение через python к своему RAG
- Как выбрать модель
- Как правильно разметить данные
- Как разбить на чанки по методу "Скользящего окна"
- Как подобрать промпт под ваш RAG
- Как создать простого телеграм бота который будет отвечать по вашему RAG

#intensive