Мне интересны температурные режимы, до какого это греется?

Realme создали самую быструю зарядку в мире.

Смартфон с батареей ёмкостью 4420 мАч зарядился до 26% всего за одну минуту (!), а до 100% — за четыре с половиной минуты.

Секрет такого результата — их новый блок SuperSonic мощностью 320 Вт.

Как создать свою умную базу знаний с помощью RAG и LLM (уровень сложности 1)

В последнее время термин RAG (Retrieval-Augmented Generation) стал часто встречаться в обсуждениях технологий искусственного интеллекта. Это слово мелькает повсюду: "RAG это", "RAG умер", "RAG не нужен". Но что же это такое? Зачем он нужен? Как его сделать нормальным? Как добиться высокой точности? Что такое точность для систем, основанных на RAG + LLM? И какой велью для бизнеса или простых людей?

Разберем понятия RAG

R - Retrieval (Извлечение)
Извлечение — это процесс поиска и извлечения релевантной информации из большого набора данных (чаще всего участвуют векторные БД).

A - Augmented (Дополненный)
Дополнение — это процесс улучшения или обогащения информации. Здесь мы подсовываем найденные данные из БД в LLM.

G - Generation (Генерация)
Генерация — это процесс создания нового текста или ответа на основе имеющейся информации с помощью frozen LLM.



Я придумал интенсив курс или открытый вебинар как хотите называйте, который я заложил на 5-8 постов. Дальше ищите по тегу #intensive. Мы рассмотрим, как построить RAG для себя, друзей или для бизнеса. Если вы не умеете и не хотите обучать LLM, но хотите, чтобы LLM знала ваши данные и не была тупым скриптом, тогда вам к нам, к RAG энтузиастам!

Начнем с основ

Мы разберем простой кейс создания своей умной базы знаний. Если вы взяли документ и положили его в векторную БД (например, в OpenAI есть функция retrieval и ассистент), или скачали код с LangChain, то вы получите точность ответов на свои вопросы около 40-50%, максимум 70% если у вас очень простой набор данных.

Но как сделать лучше? Как разметить данные? Как их подготовить? Как исключить галлюцинации? Что такое RAG Guardrails? Что такое автотесты RAGAS? Как сделать свою умную LLM за дешево и с минимальным кодингом? Как показать клиенту высокую точность и продать продукт или сервис?

Решения для разных уровней подготовки

Сразу скажу, будет два типа решения:
1. Для тех, кто умеет программировать: Возьмем API и немного Python (или другой язык программирования). Тут будем кодить минут 20-30.
2. Для тех, кто не умеет кодить: Выдам наш веб-интерфейс, который позволяет создать домен знаний за 3 минуты.

Почему это может быть интересно?
- Это бесплатно
- Можно попробовать что-то новое или разобраться в том что сейчас работает плохо
- Что бы участвовать достаточно быть подписанным на этот канал и просто читать
- Покупать токены или аккаунт не придется — я выдам вам свое прокси и API ключи.
- Векторную модель я выдам также свою, есть API и Swagger.
- API для создания домена знаний мы возьмем из моих наработок.

Заявки кидать либо в комментарии, либо мне в личку @Vakovalskii

Для тех, кто не умеет кодить, у нас в NDT есть веб-интерфейс. По нему я буду консультировать отдельно. Также смогу выдать аккаунт, и вы сможете загрузить свой документ, запромтировать LLM (будет 3 на выбор) и начать наполнять свой домен знаний.

Запущу я интенсив или нет, зависит от количества заявок мне интересно будет его проводить если будет больше 20-30 заявок.
Если вам интересно, как сделать свою умную LLM за дешево и с минимальным кодингом или без, я вам покажу и расскажу.
Запуск намечу на начало сентября!

Даже думаю продлить потом серию до создания Telegram-бота, в которого можно будет загрузить свою курсовую и пообщаться с ней!

#selfrag #LLM #RAG #noneedcoding #intensive #SmartBase

Оставайтесь на связи и следите за обновлениями!

Ваш @neuraldeep

Еще чуть чуть улучшений, навалил моношерийного шрифта на все промпты, скоро добавлю возвращение улучшенного промпта бот то всетаки про re-promting а не про генерацию =)

Всем привет! Увидел я в одном из профильных чатов запрос что делать с таблицами в RAG
И решил собрать базовые рекомендации которым я следую при построение RAG в котором есть таблицы как тип исходных данных

Хочу поделиться мыслями о том, как готовить данные для RAG, если в документах есть смесь текста и таблиц.
Первое это может быть непростой задачей, особенно когда таблицы содержат разноформатные данные, которые сложно привести к единому виду. Вот что я бы предложил:
Вы должны четко понимать когда галлюцинации это фича или баг
Так же вы должны четко описать какую задачу вы хотите решить когда кладете таблицы в RAG


Ответили на эти вопросы тогда к делу

1) Добавляем контекст к таблицам

Чтобы модель лучше понимала данные, важно усилить значения для каждой ячейки.
Например, если у вас есть таблица с популяционным распределением зеленых скрепышей, добавьте к каждой строке соответствующую категорию и подкатегорию.
Это поможет RAG лучше ориентироваться в данных на основе усилиения семантики.

Пример:
Было

Категория,Значение
Зеленые скрепыши,100
В том числе,50

Стало

Категория,Значение
Зеленые скрепыши,100
Зеленые скрепыши (в том числе),50

2) Очистка данных и проверка чанков

Перед тем как разбивать данные на чанки, убедитесь, что при перегонке таблиц в плоский формат (например, CSV) не возникло пустых значений или чанков. Это важно, чтобы в векторном пространстве не было мусора и вы не получили эффект "разрежения кластеров"

3) Разделение таблиц на логические части
Если у вас есть таблица с 1000 строк, разбейте её на более мелкие логические части, скажем, по 100 строк. На это можно написать агента который сделает это за вас. На старте это облегчит обработку и повысит точность поиска ну и соответсвенно скорость.

4) Неявные запросы
Чтобы избежать большого кол-ва ошибок, используйте query expansion или агента, который будет преобразовывать неявные запросы в более точные. Например, вместо запроса "Сколько зеленых скрепышей?" лучше использовать "Сколько зеленых скрепышей в категории 'Зеленые скрепыши'?".

5) Анализ кросс-табов
Если вам нужно анализировать данные из нескольких таблиц одновременно, убедитесь, что модель может корректно обрабатывать такие запросы. Для этого можно использовать дополнительные фильтры или агенты, которые будут объединять данные из разных таблиц т.е ходить по разным индексам.

6) Создание QA датасета для проверки качеств
На старте будет много ошибок, это нормально. Чтобы улучшать качество модели и не прыгать то улучшим данные то улучшим промпт то покрутим темературу, создайте QA датасет, где будут вопросы и правильные ответы. Это позволит вам итерационно улучшать модель и оценивать её результаты.

пример такого QA датасета:

[
    {
        "question": "Сколько зеленых скрепышей?",
        "ground_truth": "100"
    },
    {
        "question": "Сколько зеленых скрепышей (в том числе)?",
        "ground_truth": "50"
    }
]

Все это носит рекомендательный характер и требует проверки на практике с вашими данными, но вдруг кому-то это может помочь найти нужный путь. Если есть вопросы или предложения, пишите!

Машина времени на стероидах ИИ.

Помните Микрософтик предложил записывать все, что происходит у вас на компе, чтобы потом иметь "машину времени"?
Их, правда сравняли с грунтом поборники приватности.
Помните эту брошку, которая типа записывает звук того, что происходит вокруг вас, а потом использует это против для вас - расшифровка вашего дня (не взлетит).

В топку.

Вот держите нормальный концепт.

(он уже был озвучен в раннем чорном зеркале - помните контактные линзы, которые записывают всё?).

Только теперь тут еще есть ИИ, который анализирует и расшифровывает происходящее в кадре, сохраняя не только записи, но и "понимание" того, что происходило. Круто для разбора конфликтов, переговоров или семейной терапии.

Ну и самое главное. Это ВООБЩЕ не кажется мне вымыслом, сценарием сериала или концептом.

У Метачки есть очки для этого.
Полно LLM для расшифровки видео и картинок.
Бери и делай.

Снапчат, поднимай веки, твоя тема.

Как же мне нравится что делает этот бот =) FLUX + re-prompting теперь я не думаю даже где буду генерить картинку для курса, канала, или поста

Проект будет развиваться как бесплатный

@DaisyImagebot

Блин делитесь в коментах что нагенерили)) Мне же интересно!

Мне тут в голову пришла странная мысль после постов о том как один парень запустил на 2 Mac Pro 405b int4 локально

Думаю а чем я хуже завтра перелет хочу потыкать LLM на ноуте
Но у меня ноут на M1 16GB
В общем cпека получились такая
1) ollama качем и ставим
Далее
2)

ollama run llama3.1

В любом терминале

Потом если у вас запущен сервер Ollama то можно запустить интерфейс с RAG там под капотом Chroma с простым чанкингом с перекрытием можно вектора через llama получить

Интерфейс у нас будет openweb я к нему привык
Значит можно запустить его через докер что бы не парится с зависимостями

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Дальше проходим регистрацию и получаем локальную LLM для полетов или мест где нету интернета)))

Скорость работы на видосе

ollama user llama.cpp
Старые бенчи вот тут
https://github.com/ggerganov/llama.cpp/discussions/4167

Если у вас по больше памяти то дотступны модели для скачивания
8b
latest
4.7GB
70b
40GB
405b
229GB
8b-instruct-fp16
16GB
8b-instruct-q2_K
3.2GB
8b-instruct-q3_K_S
(список огромный)