Еще чуть чуть улучшений, навалил моношерийного шрифта на все промпты, скоро добавлю возвращение улучшенного промпта бот то всетаки про re-promting а не про генерацию =)

Всем привет! Увидел я в одном из профильных чатов запрос что делать с таблицами в RAG
И решил собрать базовые рекомендации которым я следую при построение RAG в котором есть таблицы как тип исходных данных

Хочу поделиться мыслями о том, как готовить данные для RAG, если в документах есть смесь текста и таблиц.
Первое это может быть непростой задачей, особенно когда таблицы содержат разноформатные данные, которые сложно привести к единому виду. Вот что я бы предложил:
Вы должны четко понимать когда галлюцинации это фича или баг
Так же вы должны четко описать какую задачу вы хотите решить когда кладете таблицы в RAG


Ответили на эти вопросы тогда к делу

1) Добавляем контекст к таблицам

Чтобы модель лучше понимала данные, важно усилить значения для каждой ячейки.
Например, если у вас есть таблица с популяционным распределением зеленых скрепышей, добавьте к каждой строке соответствующую категорию и подкатегорию.
Это поможет RAG лучше ориентироваться в данных на основе усилиения семантики.

Пример:
Было

Категория,Значение
Зеленые скрепыши,100
В том числе,50

Стало

Категория,Значение
Зеленые скрепыши,100
Зеленые скрепыши (в том числе),50

2) Очистка данных и проверка чанков

Перед тем как разбивать данные на чанки, убедитесь, что при перегонке таблиц в плоский формат (например, CSV) не возникло пустых значений или чанков. Это важно, чтобы в векторном пространстве не было мусора и вы не получили эффект "разрежения кластеров"

3) Разделение таблиц на логические части
Если у вас есть таблица с 1000 строк, разбейте её на более мелкие логические части, скажем, по 100 строк. На это можно написать агента который сделает это за вас. На старте это облегчит обработку и повысит точность поиска ну и соответсвенно скорость.

4) Неявные запросы
Чтобы избежать большого кол-ва ошибок, используйте query expansion или агента, который будет преобразовывать неявные запросы в более точные. Например, вместо запроса "Сколько зеленых скрепышей?" лучше использовать "Сколько зеленых скрепышей в категории 'Зеленые скрепыши'?".

5) Анализ кросс-табов
Если вам нужно анализировать данные из нескольких таблиц одновременно, убедитесь, что модель может корректно обрабатывать такие запросы. Для этого можно использовать дополнительные фильтры или агенты, которые будут объединять данные из разных таблиц т.е ходить по разным индексам.

6) Создание QA датасета для проверки качеств
На старте будет много ошибок, это нормально. Чтобы улучшать качество модели и не прыгать то улучшим данные то улучшим промпт то покрутим темературу, создайте QA датасет, где будут вопросы и правильные ответы. Это позволит вам итерационно улучшать модель и оценивать её результаты.

пример такого QA датасета:

[
    {
        "question": "Сколько зеленых скрепышей?",
        "ground_truth": "100"
    },
    {
        "question": "Сколько зеленых скрепышей (в том числе)?",
        "ground_truth": "50"
    }
]

Все это носит рекомендательный характер и требует проверки на практике с вашими данными, но вдруг кому-то это может помочь найти нужный путь. Если есть вопросы или предложения, пишите!

Машина времени на стероидах ИИ.

Помните Микрософтик предложил записывать все, что происходит у вас на компе, чтобы потом иметь "машину времени"?
Их, правда сравняли с грунтом поборники приватности.
Помните эту брошку, которая типа записывает звук того, что происходит вокруг вас, а потом использует это против для вас - расшифровка вашего дня (не взлетит).

В топку.

Вот держите нормальный концепт.

(он уже был озвучен в раннем чорном зеркале - помните контактные линзы, которые записывают всё?).

Только теперь тут еще есть ИИ, который анализирует и расшифровывает происходящее в кадре, сохраняя не только записи, но и "понимание" того, что происходило. Круто для разбора конфликтов, переговоров или семейной терапии.

Ну и самое главное. Это ВООБЩЕ не кажется мне вымыслом, сценарием сериала или концептом.

У Метачки есть очки для этого.
Полно LLM для расшифровки видео и картинок.
Бери и делай.

Снапчат, поднимай веки, твоя тема.

Как же мне нравится что делает этот бот =) FLUX + re-prompting теперь я не думаю даже где буду генерить картинку для курса, канала, или поста

Проект будет развиваться как бесплатный

@DaisyImagebot

Блин делитесь в коментах что нагенерили)) Мне же интересно!

Мне тут в голову пришла странная мысль после постов о том как один парень запустил на 2 Mac Pro 405b int4 локально

Думаю а чем я хуже завтра перелет хочу потыкать LLM на ноуте
Но у меня ноут на M1 16GB
В общем cпека получились такая
1) ollama качем и ставим
Далее
2)

ollama run llama3.1

В любом терминале

Потом если у вас запущен сервер Ollama то можно запустить интерфейс с RAG там под капотом Chroma с простым чанкингом с перекрытием можно вектора через llama получить

Интерфейс у нас будет openweb я к нему привык
Значит можно запустить его через докер что бы не парится с зависимостями

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Дальше проходим регистрацию и получаем локальную LLM для полетов или мест где нету интернета)))

Скорость работы на видосе

ollama user llama.cpp
Старые бенчи вот тут
https://github.com/ggerganov/llama.cpp/discussions/4167

Если у вас по больше памяти то дотступны модели для скачивания
8b
latest
4.7GB
70b
40GB
405b
229GB
8b-instruct-fp16
16GB
8b-instruct-q2_K
3.2GB
8b-instruct-q3_K_S
(список огромный)

Cделал очень приятное обновление для бота FLUX+re-prompting на базе llama3.1

Теперь вам доступен ваш улучшеный промпт!

Можете забирать его что бы вставить в любой другой генератор изображений!

@DaisyImagebot

Вы уже сгенерировали 1000 картинок продолжайте в том же духе!


Закидывайте в комментариях ваши предложения по улучшению

Сверхзвуковые LLM

Llama 3 70B запустили на скорости в 450 токенов в секунду. А 8B - на бешенных 1800 токенов в секунду. Это всё без квантизации, да и цена не кусается - API стоит 10 центов за лям токенов для 8B и 60 для 70B. Предыдущий рекорд по скорости побили в более чем два раза для 8B. В будущем обещают добавить больше моделей, начиная с Llama 3.1 405B

Сделал это стартап Cerebras. Он производит железо для нейронок, известен самым большим чипом в мире (в 57 раз больше по размеру H100!). Предыдущий рекорд по скорости поставил тоже стартап со своим железом - Groq.

Хороший пример того что специализированные только под нейронки чипы вроде могут в разы превосходить видеокарты по скорости инференса, а ведь скоро ещё будут чипы которые заточены под конкретные модели, например Sohu. Кстати, давно хотел разобрать разные стартапы по производству железа и разницу их подходов. Интересно?

Попробовать можно тут.

@ai_newz

Разработка на Defold часто начинается с чувством, что сталкиваешься с постоянными ограничениями. То, что в других движках можно реализовать за пару часов, в Defold требует написания низкоуровневых решений и интеграции их в пайплайн рендера, а также архитектуру проекта, жестко диктуемую движком. Изоляция работы с GUI, миром и рендер-скриптами тоже накладывает свои ограничения. Но знаете что? Это здорово! 👍 У меня гораздо меньше шансов упороться в спагетти код, мне движок это просто не позволит. Эти сложности способствуют созданию более оптимизированного и чистого кода. Благодаря таким особенностям Defold игры на этом движке часто отличаются высокой производительностью. Любые затраченные усилия обязательно окупаются, и я восхищаюсь результатами, которых удается достичь с его помощью.

Что касается того, что я успел реализовать: наконец, я реализовал тени от точечного источника освещения — давно хотел это сделать! Даже эффект туманности до сих пор меня впечатляет, а добавление теней стало приятным дополнением. В последнее время разработчики Defold сделали большой шаг вперед в работе с шейдерами, и благодаря этому реализовать свои задумки стало гораздо проще. Надеюсь, вскоре появятся новые структуры данных, такие как массив сэмплеров или возможность динамически создавать кубические карты и рендерить в них. Ну а пока работаем с тем, что есть, и наслаждаемся процессом!

Транскрбация ваших встреч и голосовых!

Совместно с @mixaill76 улучшил показания метрик WER до 6% на русском языке!
https://t.iss.one/daisytranscribe_bot

Теперь там тюненая модель под русский язык
Из новостей
Для больших аудио отдельный бекенд!
Очереди, ваш файл не потеряется!
Каждая запись закрепляется в чате ботом для удобного поиска.

И вишенка на торте саммари можно получить через gpt-4o-mini
И бот работает в группах!