223K subscribers
3.83K photos
640 videos
17 files
4.46K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🌟 Mixture-of-Agents: метод для улучшения качества LLM

MoA использует несколько LLM для генерации ответов. На выходе получается ответ, который превосходит по качеству все предшествующие.

В рамках способа была создана многослойная структура с несколькими моделями на каждом слое. На вход подавали один вопрос, и каждый слой давал на него ответ. Затем полученные данные передавались на следующий слой, и всё повторялось.

🟡Страница проекта
🟡Разбор метода

@ai_machinelearning_big_data

#AI #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍276🔥4❤‍🔥3
⚡️ xGen-MM (BLIP-3): Мультимодальный набор моделей от Saleforce.

Salesforce AI Research представила XGen-MM (BLIP-3) - коллекцию из 4 моделей на основе phi3-mini-instruct с улучшенным обучением и повышенной, согласно бенчмаркам претрейна, производительностью.

XGen-MM (BLIP-3) может использоваться в различных областях - от обработки естественного языка до компьютерного зрения. Он способен понимать сложные, мультимодальные входные данные, что делает его мощным инструментом для различных приложений, от виртуальных помощников до создания контента.

Набор моделей:

🟢xGen-MM-base: базовая модель, обученная на 100 миллиардах пар "изображение-текст" ;
🟢xGen-MM-instruct-singleimg: инструктивная модель, обученная на 1 млн. изображений датасета Cauldron, предназначенная для работы с одиночными изображениями;
🟢xGen-MM-instruct-interleave: инструктивная модель, обученная на Cauldron для работы с несколькими (чередующимися) изображениями;
🟠xGen-MM-instruct-dpo: безопасная инструктивная версия, которая обучалась оптимизации предпочтений на датасете VLFeedback.


📌Лицензирование кода : BSD-3-Clause license.

📌Лицензирование моделей: Apache 2.0 license.


🟡Набор моделей
🟡Arxiv
🟡Google Collab (инференс)
🖥Github [ Stars: 9.4K | Issues: 422 | Forks: 932]


@ai_machinelearning_big_data

#AI #xGEN #LMM #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍267🔥2
⚡️ Новостной дайджест

✔️EX.CO представила систему рекомендаций видеоконтента на основе LLM для цифровых издателей.

Презентованная система позволяет издателям предоставлять аудитории наиболее релевантные видеоролики из банка видеоконтента в режиме реального времени, без ручного сопоставления текстовых данных с мультимедиа.
Система показала высокие результаты, достигнув 80% совпадения релевантности и 4-кратного увеличения вовлеченности аудитории по сравнению с отраслевыми стандартами. Среднее количество негативных взаимодействий с видеоплеером уменьшилось на 30-40%.
prnewswire.co.uk

✔️ Microsoft дпопнули Phi 3.5
- Phi-3,5-3,8B (Mini)
(обучался только на 3,4T токенах)
- Phi-3.5-16x3.8B (MoE)
(обученный только на 4,9Т токенов)
- Phi-3.5-V-4.2B (Vision) превосходит GPT-4o
Подробнее

✔️
Модель HeAR от Google DeepMind выявляет заболевания с помощью анализа звука.

Google разработал биоакустическую модель под названием Health Acoustic Representations (HeAR), предназначенную для обнаружения заболеваний через анализ звуков. Модель была обучена на 300 миллионах аудиофайлов, включая 100 миллионов звуков кашля.
Индийская компания Salcit Technologies использует HeAR в своем приложении Swaasa для анализа кашля с целью раннего выявления туберкулеза.
HeAR демонстрирует высокую эффективность при меньшем объеме обучающих данных. Модель также может обнаруживать другие заболевания, такие как хроническая обструктивная болезнь легких и, потенциально деменцию.
blockonomi.com

✔️Henrik.ai: мультиконтекстный сервис с ИИ для разработчиков.

Neuralogics представила платформу искусственного интеллекта Henrik которая упрощает процесс разработки программного обеспечения. Пользователи могут создавать функциональные приложения всего лишь с помощью простого запроса.
Henrik.ai основан на концепции "мультиконтекстного интеллекта" которая использует сеть специально обученных AI-моделей для создания комплексных программных систем. Набор моделей позволяет сервису адаптироваться к различным контекстам и сценариям обеспечивая функциональность масштабируемость и безопасность.
Платформа также включает адаптивное обучение которое помогает сервису улучшаться на основе новых данных и взаимодействий с пользователями. Neuralogics акцентирует внимание на этичности и прозрачности решений.
devops.com

✔️Новая система Парето от Recogni оптимизирует вычисления ИИ с минимальными потерями точности.

Компания Recogni Inc представила новую логарифмическую систему чисел под названием Pareto, которая оптимизирует вычисления ИИ при минимизации потери точности. Она решает проблемы, связанные с высокими вычислительными требованиями генеративных моделей которые требуют petaFLOPS операций.
Система преобразует умножения в сложения, снижает потребление энергии, задержку и размер чипа, сохраняет высокий уровень точности и достигает высокой производительности при значительно меньшем потреблении энергии.
Эта разработка позиционирует Recogni как лидера в области проектирования чипов, особенно для генеративных приложений, предоставляя решение которое балансирует производительность и эффективность без ущерба для качества модели.
siliconangle.com

✔️DeepBrain AI в сотрудничестве с Национальным полицейским агентством Кореи представила решение для обнаружения дипфейков.

Сотрудничество государственного органа и частой компании направлены на борьбу с растущей угрозой преступлений, связанных с подменой личности, которые становятся все более сложными и представляют значительные риски для общества.
Система включает два основных компонента: комплексное и голосовое обнаружение. Она анализирует поведенческие паттерны, такие как углы наклона головы и движения губ, для определения подлинности изображаемого лица. Процесс обнаружения занимает от 5 до 10 минут, после чего контент классифицируется как "настоящий" или "фальшивый".
Система основана на данных, собранных DeepBrain AI, включая один миллион корейских и 130 тысяч азиатских данных.
Продукт доступен как SaaS, а также в виде локальной версии для организаций.
globenewswire.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍157🔥5
⚡️Яндекс внедрил в виртуального помощника Алису технологию эмоционального синтеза

Голосовые реплики Алисы стали более живыми за счет расширения спектра эмоций. Теперь она может подбодрить, посочувствовать или порадоваться за собеседника. А еще менять оттенки эмоций в рамках одной реплики. Обновление уже доступно в Станциях Лайт 2.

В основе изменений Алисы лежит синтез эмоциональной речи. О том, как его создавали — со схемами и примерами — разработчики Яндекса рассказали в статье на Хабре.

#news #ml

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍268🔥5🤩1🙈1🗿1
🌟 Llama-3.1-Storm-8B: Файнтюн и мердж Llama 3.1+Llama Saprk от победителей NeurIPS LLM Efficiency Challenge 2023.

Llama-3.1-Storm-8B - инструктивная модель, сочетающая в себе баланс размера и производительности, ориентированная на использование в приложениях и сервисах, генерацию текста, вызов функций и чат-ботов.

Модель обучалась на 1 миллионе высококачественных образцах из большого датасета (2.8M), отобранных вручную. Образцы оценивались на основе образовательной ценности и уровня сложности, чтобы модель могла получить релевантные и сложные данные в качестве тренировочной базы.

Полученный набор данных использовался для контролируемого файнтюна базовой Llama-3.1-8B-Instruct c применением методологии SPECTRUM. В завершении, полученная модель была объединена с моделью Llama-Spark методом сферической линейной интерполяции SLERP.

🟠Llama-3.1-Storm-8B : базовая модель;
🟠Llama-3.1-Storm-8B-FP8-Dynamic : оптимизированная версия с динамическим квантованием с более низкими требованиями к VRAM (на 50%);
🟢Llama-3.1-Storm-8B-GGUF : квантованные версии с разрядностью от 4-bit (5 Gb) до 8-bit (8.5 Gb) для использования с llama.cpp и ollama (поддержка есть в последнем обновлении).

Локальный запуск Llama-3.1-Storm-8B поддерживается в Transformers, vLLM и LitGPT.

▶️Формат промпта для Function Calling:


You are a function calling AI model.
You may call one or more functions to assist with the user query.
Don't make assumptions about what values to plug into function.
The user may use the terms function calling or tool use interchangeably.

Here are the available functions:
<tools>LIST_OF_TOOLS</tools>

For each function call return a json object with function name and arguments within <tool_call></tool_call> XML tags in the format:
<tool_call>{"tool_name": <function-name>, "tool_arguments": <args-dict>}</tool_call>



⚡️Лицензирование : Llama 3.1 Community License


Demo
Набор моделей
Google Collab (инференс)


@ai_machinelearning_big_data

#AI #Llama #LLM #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍305🔥5
🌟 MFLUX (MacFLUX): MLX-порт FLUX, основанный на Huggingface Diffusers.

MFLUX (MacFLUX) - это построчный порт реализации FLUX в библиотеке Huggingface Diffusers на Apple MLX.
Цель проекта состоит в том, чтобы иметь минимальный набор кода, избегая слишком большого количества абстракций.

Пайплайн инференса моделей реализован с нуля на MLX, токенизаторы используются через библиотеку Huggingface Transformers и минимальные зависимости Numpy и Pillow.

Поддерживаемые модели :

🟢FLUX.1-Scnhell
🟢FLUX.1-Dev

Проект гарантированно работает на чипах M1-M3 всех версий (Pro | Max | Ultra), количество оперативной памяти Mac влияет на скорость инференса.
Ориентировочные бенчмарки времени генерации на FLUX-schnell:

2020 M1 (8GB) - 335 секунд (512х512)
2021 M1 Pro (32GB) - 160 секунд (1024х1024)
2023 M2 Max (32GB) - 70 секунд (1024х1024)
2023 M2 Max (96GB) - 25 секунд (1024х1024)
2023 M3 Pro (36GB) - 80 секунд (1024х1024)
2023 M3 Max (неизвестно) - 20 секунд (1024х1024)

▶️Ограничения:

🟠Изображения генерируются по одному, нет пакетного режима;
🟠Негативный промпт не поддерживается;
🟠При первом запуске, если модели не скачаны заранее, происходит загрузка ~34 Gb;
🟠FLUX.1-dev требует авторизации к репозиторию Huggingface, для исключения ошибок доступа используйте huggingface-cli с вашим API-ключом от HF;
🟢Поддержка LoRA - в ближайших планах.

▶️Установка:

# Clone repository
git clone [email protected]:filipstrand/mflux.git

# Navigate to the project and set up a venv:
cd mflux
python3 -m venv .venv
source .venv/bin/activate

# Install dependencies
pip install -r requirements.txt


▶️Инференс скриптом:

import sys

sys.path.append("/path/to/mflux/src")

from flux_1.config.config import Config
from flux_1.flux import Flux1
from flux_1.post_processing.image_util import ImageUtil

flux = Flux1.from_alias("schnell") # "schnell" or "dev"

image = flux.generate_image(
seed=3,
prompt="TEXT_YOUR_PROMPT.",
config=Config(
num_inference_steps=2, # Schnell works well with 2-4 steps, Dev works well with 20-25 steps
height=768,
width=1360,
)
)

ImageUtil.save_image(image, "image.png")


🖥Github [ Stars: 272 | Issues: 2 | Forks: 16]
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍123
🔥 Дайджест самых интересных новостей

✔️ Файнтюн на собственных данных доступнен в GPT-4o.

OpenAI запустила возможность файнтюна GPT-4o, позволяющую разработчикам настраивать модель для конкретных случаев использования с помощью собственных наборов данных.

✔️ Meta's Self-Taught Evaluator создает датасеты для обучения LLM.

Self-Taught Evaluator - новый метод обучения для оценочных LLM без необходимости аннотировать датасет с участием человека.
Используя концепцию LLM-as-a-Judge, он итеративно генерирует и уточняет ответы для создания обучающего набора данных. Высокая производительность метода подтверждена вRewardBench. Эта методика даст возможность предприятиям использовать неразмеченные данные для настройки LLM, при условии хорошо согласованной базовой модели.


✔️ Авторы книг подали в суд на Anthropic за нарушение авторских прав при обучении искусственного интеллекта.

Компания Anthropic стала объектом коллективного иска в федеральном суде Калифорнии. Три автора - Андреа Бартц, Чарльз Грейбер и Кирк Уоллес Джонсон - обвиняют компанию в незаконном использовании их книг и сотен тысяч других произведений для обучения чат-бота Claude.

✔️
Symphonic открывает каталог для обучения моделей искусственного интеллекта.

Компания Symphonic Distribution заключила партнерство с Musical AI, чтобы создать лицензированный набор данных для обучения искусственного интеллекта.

✔️ Модель ИИ от Nvidia предсказывает грозы за несколько километров.

Модель предсказывает более 100 переменных, включая температуру и влажность. Такой набор аналитических данных дает возможность наблюдать за развитием шторма в трехмерном пространстве.

✔️ Юридический факультет Университета Беркли запустил новую магистерскую программу, посвященную праву и управлению искусственным интеллектом.

Факультет начинает прием заявок на новую программу магистратуры, которая будет сосредоточена на искусственном интеллекте. Программа рассчитана на практикующих юристов и ученых, уже получивших степень доктора права (JD).

✔️ Stability AI назначила ветерана индустрии развлечений Ханно Бассе (Hanno Basse) новым директором по технологиям.

Ханно Бассе ранее занимал должности технического директора (CTO) в Digital Domain, Microsoft Azure Media & Entertainment и 20th Century Fox Film Corp.

Он является действительным членом Академии кинематографических искусств и наук и обладателем 30 патентов.

✔️ Google Cloud открыла ранний доступ к NVIDIA L4 для разработчиков.

Nvidia L4 GPU Cloud Run позволит разработчикам AI разворачивать в облаке Google языковые модели плотностью до 8B для создания пользовательских чат-ботов или мгновенного резюмирования документов с возможностью масштабирования для обработки пиковой нагрузки от пользователей.

✔️ Midjourney вновь открыл free-tial использование своего сервиса.

Функция доступна на web-сайте сервиса для всех зарегистированных и новых пользователей. На ознакомление с возможностями платформы дают 25 кредитов (1 кредит = 1 генерация из 4 вариантов изображения).
Помимо генерации, появился доступ к галерее генераций других пользователей, выполненной в виде полотна.

⚡️ Подробнее

@ai_machinelearning_big_data

#news #ai #ml
👍1611🔥5
⚡️ Mistral-NeMo-Minitron-8B-Base: Базовая Minitron 8B от Nvidia

NVIDIA и Mistral AI представили модель Mistral-NeMo-Minitron 8B, одну из наиболее точных открытых моделей в своем классе для генерации текста.

Mistral-NeMo-Minitron-8B-Base получена в результате обрезки (pruning) и дистилляции Mistral-NeMo 12B. В процессе создания была урезана размерность эмбеддинга и промежуточная размерность MLP (с 14336 до 11520).
Комбинация применяемых методов позволила оставить количество attention heads и слоев неизменным.

После обрезки было продолжено обучение с дистилляцией, используя корпус данных от Nemotron-4 15B размером 380 миллиардов токенов для получения окончательной модели, что примерно в 40 раз меньше, чем необходимо для тренировки модели такой же плотности с нуля.

Корпус обучения (набор данных) по структуре точно такой же, как в недавно представленной другой модели, собранной по такой же методике обрезки и дистилляции.
Дата актуальности корпуса обучения - июнь 2023 года.

При создании Mistral-NeMo-Minitron 8B использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).
Архитектурные характеристики:

🟢total params - 8B;
🟢active non-embedding params - 7.3B;
🟢embedding size - 4096;
🟢attention heads - 32;
🟢MLP intermediate dimension - 11520;
🟢number of layers - 40;
🟢input context - 8000.

Поддержка Mistral-NeMo-Minitron-8B-Base в Hugging Face Transformers будет реализована в ближайшем обновлении.
Для инференса модели выполните рекомендованные разработчиками инструкции или запустите модель в NeMo v.24.05

Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 1-bit (2. 12 Gb) до 16-bit (16.08 Gb).


📌Лицензирование : NVIDIA Open Model License.


🟡Страница проекта
🟡Модель
🟡Набор GGUF
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #NVIDIA #LLM #ML #Minitron
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1910🔥2🦄2
⚡️ YaFSDP: библиотека, ускоряющая обучение LLM

ML-инженеры Яндекса рассказали, как создавали YaFSDP — алгоритм, который помогает ускорить процесс обучения больших языковых моделей и сократить расходы на GPU.

Специалисты раскрыли алгоритм-референс, на который ориентировались при создании, и назвали основные трудности, возникшие в процессе.


🟡 Разбор инструмента
🖥 Github

@ai_machinelearning_big_data

#AI #LLM #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍169🔥5😁3