Невозможно: французский стартап Kyutai этой ночью уделал OpenAI. Ребята показали голосового ассистента, который идентичен тому, что должен появиться в ChatGPT, но до сих пор не появился.

Moshi — это нейронка, которая говорит с использованием 70 разных эмоций и акцентов. Код обещают опубликовать в опенсорсе, а сам ИИ сделать проще, чтобы запускался даже на ноутбуках.

Русский язык тулза пока не понимает, но зато у неё уже есть демо — чекаем тут.

🙂 Не баг, а фича

ChatGPT официально убит — вышла GPT4All v3. Нейронка позволяет запускать больше 1000 моделей локально на вашем ПК! Это — настоящая революция в мире чатботов и вот, почему:

• Это первый клиент, куда можно загружать любые свои файлы — код, диплом, статьи, что угодно, и задавать по материалу любые вопросы. Ответ будет дан немедленно;

• Это идеально оптимизированный клиент — подгрузка файлов не нагружает систему, а боты работают очень быстро;

• Это уникальный клиент, который работает локально — вы можете дать ИИ всё, что угодно, не боясь утечки данных.

GPT4All v3 доступна для всех актуальных ОС, а установить её можно тут.

🙂 Не баг, а фича

Когда Microsoft дропнули код для нового способа построения графа для RAG системы, первая мысль в голове: а что изменилось в сравнении с такими фреймворками, как ontotext, NebulaGraph и Neo4j ❔

Почитала их статью от апреля, рассказываю и вам, чтобы вы сэкономили свое время 😊 :

💛Разделение текста на чанки оптимального размера для баланса между эффективностью и и длинной контекста в излеченной информации

💛Использование многоэтапного LLM-промпта для извлечения сущностей, их отношений и дополнительных атрибутов из каждого чанка текста.

💛Возможность настройки промптов под конкретную предметную область путем подбора few-shot примеров.

💛Применение нескольких раундов "доизвлечения" (gleanings) для обнаружения пропущенных сущностей, что позволяет использовать более крупные чанки без потери качества.

💛Использование LLM для создания абстрактных сводок извлеченных элементов, включая описания сущностей, отношений и утверждений.

💛Дополнительный этап суммаризации для объединения информации о повторяющихся элементах графа.

💛Применение алгоритма Leiden для разделения графа на иерархические community с более сильными внутренними связями. А далее описание каждой такой группы для детальной детализации семантики документов

💛Многоэтапный процесс генерации глобального ответа на запрос пользователя:
😅Подготовка и случайное перемешивание сводок сообществ.
🙋‍♀️Параллельная генерация промежуточных ответов для каждого чанка с оценкой релевантности.
🙃Объединение наиболее релевантных
промежуточных ответов в финальный глобальный ответ.

🖥Сама репа
🖥Тут подсобрали быстрый деплой GraphRAG на Azure
📖Статья

Набор инструкций H100 и 4090 теперь задокументирован 👏

Умелец смог при помощи фаззера задокументировать набор инструкций актуальных карт Nvidia. Сама Nvidia такое в паблик не пускает, чтобы всё шло через CUDA, максимум PTX. Таким образом они добиваются вендорлока к картам Nvidia в целом, а не одной конкретной архитектуре.

Проблема в том, что без такой документации заметно сложнее делать оптимизации под конкретные архитектуры. А вот с ней и альтернативные компиляторы для карт Nvidia делать будет проще, может, будут даже такие, что не качают пять гигов зависимостей (что-то я замечтался).

Дальше автор собирается добавить данные о производительности каждой инструкции, что потребует кучу микробенчмарков.

H100
RTX 4090
Код

@ai_newz