Там llama-3 наконец-то починили! В llama.cpp была ошибка в обработке пре-токенизатора, из-за этого на языках, отличных от английского, были проблемы с ошибками и интеллектом. Проблем не было только в неквантованных весах и в загрузчике exllama. В koboldcpp обновление еще не завезли, но должны на днях. Чтобы все заработало, рекомендуют переквантовать/перекачать новые gguf llama-3 и всех файнтюнов, которые вышли на ее основе. Но так же есть вариант с добавлением параметра --override-kv tokenizer.ggml.pre=str:llama3 в llama.cpp (для main.exe или server.exe)

Я протестировал именно его, без переквантования gguf. По моим замерам количество речевых ошибок на русском действительно уменьшилось, процентов на 20-30. На скрине - количество хороших и плохих ответов на один и тот же развернутый вопрос в роулплей диалоге на русском. В talk-llama-fast пока нет поддержки, когда-нибудь добавлю.

гайд от Google Cloud по обобщению длинных документов

Google Cloud Workflows помогает автоматизировать и упорядочить использование LLM, таких как PaLM и Gemini от Vertex AI, для обобщения длинных документов.

Два основных подхода: map/reduce (документ разбивается на секции, обобщаемые параллельно) и итеративное уточнение (последовательное обобщение с учетом контекста).

Workflows позволяет эффективно распараллелить обобщение секций методом map/reduce, что существенно быстрее итеративного подхода.

Подпроцесс в Workflows инкапсулирует вызов моделей Gemini по REST API с заданными параметрами, такими как температура и максимальная длина обобщения.

mapreduce - сто бед, - один ответ :) 🚀

#GoogleCloud #Workflows #Summarization #обобщение
-------
@tsingular

Microsoft: ИИ - это "новый цифровой вид"

Глава Microsoft AI Мустафа Сулейман считает, что ИИ станет нашим "цифровым компаньоном и партнёром". 🤝💻
По его мнению, все сайты в будущем обзаведутся "разговорным интерфейсом" с личным ИИ-ассистентом.
ИИ будет "бесконечно знающим, точным и надёжным", с высоким IQ и EQ. 🧠❤️
Он сможет выполнять задачи в цифровом и физическом мире, став нашим компаньоном, коллегой, другом и партнёром.
Сулейман оптимистичен насчёт будущего ИИ, несмотря на потенциальные риски.
Критики указывают на недостающие детали в его видении, такие как вытеснение рабочей силы и нагрузка на модераторов контента.

#Microsoft #Suleyman #DigitalSpecies
-------
@tsingular

Amazon открыла для всех Q - продвинутого ИИ-ассистента для бизнеса

Amazon Q - передовой генеративный ИИ-помощник для ускорения разработки ПО и работы с внутренними данными компаний выпущен в коммерческий релиз. 🚀
Он не только генерирует код, но и тестирует, отлаживает, оптимизирует и внедряет его.
Amazon Q упрощает получение ответов на вопросы по корпоративным данным, подключаясь к репозиториям для обобщения, анализа и диалога.
Включает модули:
- Q Developer - для помощи разработчикам с кодированием, тестированием, безопасностью
- Q Business - ассистент для сотрудников, генерирующий контент на основе корпоративных систем
- Q Apps - для создания ИИ-приложений без программирования
AWS предлагает бесплатное обучение Amazon Q в рамках программы "AI Ready".

Теперь любая компания сможет внедрить свой ChatGPT, заточенный под свой бизнес, не покидая инфраструктуру AWS.
Конкуренция MS Copilot, получается.

#AmazonQ #Enterprise #Q
-------
@tsingular

Upwork запускает ИИ-платформу Uma для автоматизации найма фрилансеров

Upwork представил платформу Uma на базе ИИ для автоматизации процесса найма фрилансеров.
Uma использует ИИ для сопоставления навыков фрилансеров с требованиями проектов, создания вакансий, анализа резюме и подбора подходящих кандидатов.

По простому промпту позволяет создать развёрнутое описание задания и уточнить детали.

Роботы-работорговцы chek ✅

#Upwork #freelance #automation

Это было 3000 лет тому назад.
Был там.

😀

#GPUfarm #AIfarm
------
@tsingular

Краткий курс по LLM от Ян ЛеКуна :)

#Yann #LeCun #LLMcourse
———
@tsingular

GLaDOS из Portal ожила благодаря NVIDIA Jetson

Дэйв Нивински создал интерактивного GLaDOS на базе NVIDIA Jetson.
Робот распознаёт речь, синтезирует голос и понимает команды.
Для реалистичных ответов GLaDOS юзает OpenChat LLM.
А Unitree Z1 рука с камерой следит за человеком.
Среди других победителей Hackster AI Innovation Challenge:
- EdgeStyle для виртуальной примерки шмоток
- An Eye for an Item для поиска потерянных вещей

Вот это я понимаю, игра переходит в реальность! 🎮🤖

«Надо отдать тебе должное. Разбудить меня - очень здравая мысль.»
«В следующем испытании используются турели. Светлые сферические штуковины с пулями."
(с) ГЛаДОС

#NVIDIA #Jetson #Portal #GLaDOS
———
@tsingular

ChatRTX добавляет новые модели ИИ и функции

ChatRTX позволяет взаимодействовать с локальными данными, используя ПК и рабочие станции на базе NVIDIA RTX.
Добавлена поддержка новых языковых моделей (LLM): Gemma от Google и ChatGLM3 (англо-китайская).
Поддержка CLIP от OpenAI для взаимодействия с изображениями через естественный язык.
Whisper позволяет осуществлять голосовые запросы и получать текстовые ответы.

Качаем обновление, получается.
Интересно, когда он превратиться в интерактивного ассистента.

#NVIDIA #RTX #ChatRTX
-------
@tsingular

Новый бенчмарк для оценки рисков безопасности языковых моделей

Представлен новый эталонный тест CyberSecEval 2 для оценки рисков и возможностей языковых моделей (LLM) в области кибербезопасности. 🔒
Тест охватывает различные аспекты безопасности LLM:
- Инъекцию вредоносных команд 💉
- Эксплуатацию уязвимостей 🎯
- Злоупотребление кодовыми интерпретаторами 💻
Введена метрика False Refusal Rate (FRR) для количественной оценки баланса между безопасностью и полезностью LLM.
Выявлены уязвимости LLM к инъекции вредоносных команд, все протестированные модели подвержены этой угрозе. 😱
Указана необходимость дальнейших исследований для повышения безопасности LLM перед их автономным использованием. 🔍

Получается, пока LLM нельзя доверять серьезные задачи без присмотра. Но где наша не пропадала!
(c) ClaudeOpus

#CyberSecEval #LLM #security
-------
@tsingular

Sanctuary AI и Microsoft работают над созданием ИИ для универсальных роботов

Sanctuary AI и Microsoft объединяют усилия для создания передовых моделей ИИ, применимых в универсальных человекоподобных роботах.

Компания разрабатывает «Большие поведенческие модели» (LBM) на базе языковых моделей, которые позволят роботам обучаться на реальном опыте.

Используется система управления Carbon и инфраструктура Azure от Microsoft.️

Роботы компании уже выполняют сотни задач в реальном бизнесе, охватывая 15 отраслей.

#SanctuaryAI #Microsoft #robotics

Улучшения в генераторе музыки Udio:

* Модель теперь может держать голове контекст 2 минут трека вместо 30 секунд ранее. А значит структурно композиции будут более консистентными и не терять нить на 3-ей минуте.

* Генерить можно до 15 минут, что подойдёт для прог-рока, эмбиента, гоа-транса, или даже подкастов.

* Чтобы не заблудиться ответвлениях, генерируемые варианты теперь сгруппированы в дерево: видно где дочерний трек, а где родительский.

* И наконец-то можно выделить конкретный кусок композиции, на основе которого нужно расширить трек, а ненужное вырезать.

Всем накинули 200 кредитов.

Погнали генерить музыку!
Подробнее про Udio

Пользователь Meta* Quest 3 показал, как можно оживить воспоминания с помощью функции пространственных видеороликов. Отснятый материал загружается через мобильное приложение Meta* Quest, преобразуется и отправляется на гарнитуру.

* Meta признана в России экстремистской организацией и запрещена.

Сайт | YouTube | VK | TG

MAMBA для начинающих: Нейронка, которая лучше и быстрее, чем Трансформеры

Мамба — архитектура нейронной сети, конкурирующая с трансформерами.

Основываясь на улучшенных рекуррентных нейронных сетях (RNN), Мамба использует линейные функции, позволяющие эффективно обрабатывать большие объёмы данных с минимальными вычислительными затратами.

Разработка показала интересные результаты даже на моделях с несколькими миллиардами параметров.

Мамба способна работать с более крупными контекстами при меньшем объеме расчетов, чем трансформеры, что делает её особенно ценной для задач, требующих обработки большого массива информации.
Проблемы с исчезающими градиентами, характерные для RNN, в Мамбе решаются через инициализацию весов и настройку параметров угла и магнитуды.

Интересный подход. Есть, правда, проблемы с распараллеливанием, но для общего развития ролик полезный.

#CNN, #RNN, #Mamba
-------
@tsingular

Архитектуры ИИ агентов для рассуждений и планирования: обзор

Рассмотрены одно- и многоагентные архитектуры ИИ, их преимущества и ограничения.
Ключевые компоненты агентов: персона, роль, набор инструментов.
Методы улучшения рассуждения и планирования: ReAct, RAISE, Reflexion, AutoGPT+P, LATS.
Параллельное выполнение задач в многоагентных системах.
Рассмотрены проблемы групповых бесед и обмена информацией между агентами.
Влияние ролей и динамических команд агентов.
Ограничения: сложность логики, галлюцинации, локальные минимумы.
Актуальные задачи: всесторонние оценки, применимость, смягчение предубеждений.

Интересный обзор архитектур по работе с мультиагентными системами.

#AgentArchitectures #ReinforcementLearning #MultiAgentSystems

KAN - новая архитектура нейросетей на основе теоремы Колмогорова-Арнольда

KAN (Kolmogorov-Arnold Networks) - альтернатива многослойным перцептронам. 🧠💡
Ключевые особенности KAN:
- Функции активации на ребрах, а не нейронах
- Основана на теореме Колмогорова-Арнольда об аппроксимации функций
- Вместо весов обучаются функции на ребрах, в нейронах - их суммирование
- Для обучения функций используются сплайны 📈
- Масштабируется за счет композиции матриц обучаемых функций на каждом слое
Авторы разработали библиотеку pykan для работы с KAN. 🐍🔧

Потенциально, это может перевернуть глубокое обучение. Ждем бенчмарков! 🤯📊

#KAN #NeuralNetworks #MachineLearning
-------
@tsingular

Регулярно спрашивают,- что почитать, где поучиться этим вашим ИИ.
Ну нет ничего проще и бесплатнее, чем курс HuggingFace на русском языке.

Курс научит основам обработки естественного языка (NLP) с использованием таких библиотек, как:
- 🤗 Transformers
- 🤗 Datasets
- 🤗 Accelerate
- 🤗 Tokenizers
А также работе с репозиторием Hugging Face Hub.
Материалы курса включают теорию, практические упражнения и блокноты Jupyter с кодом.

#HuggingFace #NLPcourse #transformers
------
@tsingular

OpenBioLLM-70B: прорыв в сфере биомедицинского ИИ

Компания Saama AI Labs представила открытую языковую модель OpenBioLLM-70B, специализированную на биомедицинской тематике.
Основана на Llama-3-70B-Instruct и зафайнтюнена на Custom Medical Instruct dataset (который выложат попозже), модель превосходит в специализированных тестах GPT-4, Gemini и Med-PaLM.
Она эффективно анализирует сложные клинические записи, извлекает ключевую информацию и генерирует структурированные резюме.
OpenBioLLM-70B распознает медицинские концепты, классифицирует документы и обеспечивает конфиденциальность данных.
Однако, несмотря на впечатляющие результаты, модель пока не рекомендуется применять в клинической практике без дополнительного тестирования.

Ну раз уж многие врачи и так уже ходят к ИИ за консультацией, пусть уже ходят к специализированным нейронкам что-ли.

#OpenBioLLM #SaamaAILabs #BiomedicineAI
-------
@tsingular

Amazon представил новую модель для векторного эмбеддинга Titan V2

Новая версия модели оптимизирована под наиболее распространенные кейсы, такие как RAG, мультиязычные задачи и встраивание кода.
V2 гораздо быстрее V1 (логично), но, что интересно на порядок дешевле.

2 цента за 1 млн токенов

Модель обучена на более чем 100 языках и показывает неплохие результаты на бенчмарках MTEB (SFR -one love все-равно).
Максимальная размерность вектора - 1024 (такое)...
Всем ли подойдет, - не понятно, нужно тестировать. Хотелось бы 4096.

#Amazon #TitanEmbeddings #NLP
-------
@tsingular

Оракл, тем временем, просто выпустил новую базу со встроенной векторизацией и векторным поиском.

т.е. все эти полезные для ИИ упражнения будут исполняться фоном, без необходимости установки отдельной базы.

когда уже в MySQL добавят.

#Oracle #Database23ai
———
@tsingular