227K subscribers
3.79K photos
632 videos
17 files
4.45K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🌟 Продвинутые техники RAG: Репозиторий Github c самой полной и актуальной подборкой ресурсов.

RAG-системы - это комбинация информационного поиска и генеративных моделей, целью которая предоставляет точные и контекстуально релевантные ответы на запросы пользователя.

В репозитории собран большой и регулярно обновляемый набор инструментов, документации и обучающих материалов, предназначенных для теоретического изучения и практического применения для желающих расширить свои знания и навыки в изучении возможностей RAG:

Базовые методы RAG:

🟢Простой RAG с использованием LangChain, LlamaIndex или CSV файлов;
🟢RAG с добавлением валидации и уточнения для обеспечения точности и релевантности извлекаемой информации;
🟢Выбор размера фрагмента текста;
🟢Разбивка на чанки для контроля и обработки запросов;

Инженерия запросов:

🟠Трансформация запросов: перефразирование, расширение контекста, декомпозиция на подзапросы;
🟠Гипотетические вопросы для улучшения соответствия между запросами и данными;

Обогащение контекста и содержания:

🟢Контекстуальные заголовки фрагментов для улучшения точности поиска;
🟢Извлечение релевантных сегментов для предоставления LLM более полного контекста;
🟢Расширение контекста с помощью соседних предложений;
🟢Семантическое фрагментирование текста;
🟢Контекстуальная компрессия для сохранения информации при сжатии;
🟢Дополнение документов вопросами для улучшения поиска;

Методы поиска:

🟠Fusion Retrieval;
🟠Intelligent Reranking;
🟠Multi-faceted Filtering;
🟠Hierarchical Indices;
🟠Ensemble Retrieval;
🟠Multi-modal Retrieval;

Итеративные и адаптивные методы:

🟢Retrieval with Feedback Loops;
🟢Adaptive Retrieval;
🟢Iterative Retrieval;

Интерпретируемость:

🟠Explainable Retrieval;

Архитектуры:

🟢Интеграция графа знаний (Graph RAG);
🟢GraphRag (Microsoft);
🟢RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval;
🟢Self RAG;
🟢Corrective RAG.

▶️Практическое применение или изучение техник RAG в проектах:

# Клонируйте репозиторий
git clone https://github.com/NirDiamant/RAG_Techniques.git

#Перейдите к интересующей вас технике
cd all_rag_techniques/technique-name

#Следуйте подробному руководству по применению в каталоге каждой техники.


📌 Лицензирование : Apache 2.0 License.


🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #RAG #AwesomeRAG #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍317🔥4🎉1
🌟 Агенты GenAI: Репозиторий Github c обширной базой знаний и примерами.

GenAI-агенты - это системы ИИ, способные взаимодействовать с окружающим миром и выполнять разнообразные задачи, подобно человеку. В отличие от традиционных систем ИИ, GenAI-агенты обладают большей гибкостью, адаптивностью и способностью к обучению.

Репозиторий - кладезь теоретических и практических знаний: примеры, начиная от простых разговорных ботов до сложных многоагентных систем, обучающие материалы для всех уровней — от начинающих до опытных пользователей, заинтересованных в изучении и применении современных технологий GenAI.

Простые агенты:

🟢простые диалоговые агентов и агенты для ответов на вопросы;
🟢агенты для анализа данных;

Агенты для конкретных задач:

🟠клиентская поддержка;
🟠оценка эссе и сочинений;
🟠планировщик путешествий;

Творческие агенты:

🟢агент генерации GIF-анимации;
🟢агент для генерации речи на основе текста;
🟢агент для генерации музыкальных композиций;

Сложные системы агентов:

🟠разговорный агент с расширенной памятью;
🟠многоагентные системы;
🟠самосовершенствующиеся агенты;
🟠агенты, ориентированные на выполнение задач;
🟠агенты для поиска и обобщения информации в Интернете;
🟠 исследовательские группы агентов на базе Autogen;

Специальные сложные агенты:

🟢агент для комплексных задач с использованием RAG.


▶️Практическое изучение и создание агентов GenAI::

# Клонируйте репозиторий
git clone https://github.com/NirDiamant/GenAI_Agents.git

#Перейдите к интересующей вас технике
cd all_agents_tutorials/technique-name

#Следуйте подробному руководству по применению в каталоге каждой техники.


📌 Лицензирование : Apache 2.0 License.


🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #Agents #AwesomeGenAI #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍368🔥5
🌟 Awesome-list советов по поступлению в аспирантуру и научной работе.

Репозиторий GitHub "advice", в котором содержится обширная коллекция ссылок на ресурсы, предлагающие советы по различным аспектам поступления в аспирантуру, проведения исследований и жизни в аспирантуре, в основном в области информатики, NLP и ML.

Автор репозитория - Shaily Bhatt, аспирант первого года обучения в Институте языковых технологий CMU и бывший сотрудник NLU Group в Google Research (Индия).

Содержание:

Заявки в аспирантуру:

🟢общие советы по заявкам;
🟢советы, специфичные для программ MS;
🟢советы по заявкам на предварительные докторские программы;
🟢советы о том, стоит ли получать докторскую степень;
🟢советы по выбору учебных заведений и научных руководителей.

Исследования:

🟠общие советы по исследованиям;
🟠советы для аспирантов;
🟠идеи для исследований;
🟠советы по написанию работ;
🟠советы по рецензированию;
🟠советы по чтению;
🟠советы по публикации и конференциям;
🟠советы по динамике отношений между научным руководителем и аспирантом;
🟠советы по научно-исследовательским стажировкам;
🟠советы по нетворкингу;
🟠советы по выступлениям и презентациям;
🟠советы по продуктивности;
🟠советы по борьбе с синдромом самозванца;
🟠советы по инструментам для исследований.

В репозитории также есть раздел "Список списков", в котором собраны ссылки на другие полезные ресурсы.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Resources #Github #Awesome
Please open Telegram to view this post
VIEW IN TELEGRAM
👍259🦄21🔥1😁1🥱1
📌 Гайд по распределенному обучению.

Репозиторий Github облачного хостинг-провайдера Lambda Labs c исчерпывающим руководством по лучшим практикам распределенного обучения, диагностике часто возникающих ошибок, эффективном использовании доступных ресурсов и приемам логгирования в stdout/stderr и wandb.

Вопросы, на которые отвечает это руководство:

🟢Как обновить скрипт обучения/файнтюна на одном GPU для работы на нескольких GPU или нескольких нодах?

🟢Как диагностировать зависания/ошибки, возникающие во время обучения?

🟢Моя модель слишком велика для одного GPU - как мне обучить/настроить ее на кластере?

🟢Как запланировать и запустить обучение на кластере?

🟢Как масштабировать гиперпараметры при увеличении числа воркеров?

Руководство состоит из последовательных глав, каждая из которых содержит readme и скрипт train_llm.py.

В readme содержатся описания глав, а каждый из обучающих скриптов нацелен на обучение каузальной языковой модели.

▶️ Структура:

🟠Один GPU;
🟠Несколько GPU на одной ноде;
🟠Несколько GPU на нескольких нодах;
🟠Запуск заданий;
🟠Шардинг между GPU (deepspeed);
🟠Шардинг между GPU (FSDP);
🟠Обучение 405B модели;
🟠Диагностика ошибок;
🟠Дополнительные темы (детерминизм, эффективность batch-size и LR, Gradient accumulation и др.).

▶️Локальное использование репозитория:

# Clone repo
git clone https://github.com/LambdaLabsML/distributed-training-guide.git

# Create venv
cd distributed-training-guide
python3 -m venv venv
source venv/bin/activate
python -m pip install -U pip
pip install -U setuptools wheel
pip install -r requirements.txt


📌Лицензирование : MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Github #Guide
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22🔥145🫡3
📌Руководство по эффективному использованию промптов для LLM от разработчиков из GoogleDeepMind.

Туториал ориентируется на нетехническую аудиторию, которая имеет опыт взаимодействия с большими языковыми моделями.

В первой половине представлены ментальные конструкции природы посттренинга и промптов. Вторая половина содержит более конкретные предписания и высокоуровневую процедуру промпт-инжиниринга.

Авторы, Varun Godbole и Ellie Pavlick подчеркивают, что поиск «идеальной» подсказки — это итеративный процесс, аналогичный настройке модели, который в лучшем случае является эмпирическим, а в худшем - алхимическим.

▶️ Содержание:

🟢Для кого предназначен этот документ?
🟢Зачем нужно это руководство?
🟢Background трейна: предварительная и последующая подготовка
🟢Рекомендации по промптам
🟢Рудиментарное "руководство по стилю" для промптов
🟢Процедура итерации новых системных инструкций
🟢Некоторые мысли о том, когда полезна LLM
🟢Дополнительные ресурсы


📌Лицензирование: Creative Commons Attribution 4.0 International Public License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Prompt #Github #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24👍115
📌 Практические упражнения и дополнительные материалы к книге "Build a Large Language Model (From Scratch)"

Репозиторий на Github c прикладными упражнениями, ноутбуками с кодом для разработки, предварительной подготовки и тонкой настройке LLM-модели типа GPT по одной из лучших книг о построении LLM с нуля.

▶️ О книге:
В книге вы узнаете и поймете, как работают большие языковые модели изнутри, создавая собственную LLM шаг за шагом, c подробным объяснением каждого этапа понятным языком, диаграммами и примерами.

Метод, описанный в книге демонстрирует подход, используемый при создании крупных фундаментальных моделей, таких как те, что лежат в основе ChatGPT.

В репозитории к каждой главе книги соответствуют несколько (3-4) прикладных примеров в формате ipynb или в виде исполняемого python-скрипта. Код ориентирован на широкую аудиторию, разработан для запуска на обычных ноутбуках и не требует специализированного оборудования.

▶️Главная ценность репозитория - дополнительные практические материалы, которые помогут глубже изучить тонкости и нюансы процесса настройки и обучения LLM:

Настройка

🟢Советы на настройке Python
🟢Установка пакетов и библиотек Python
🟢Руководство по настройке среды Docker

Глава 2: Работа с текстовыми данными

🟠Сравнение различных реализаций Byte Pair Encoding (BPE)
🟠Понимание разницы между embedding и линейными слоями
🟠Dataloader Intuition с простыми числами

Глава 3: Код механизмов внимания

🟢Сравнение эффективных реализаций Multi-Head Attention
🟢Буферы PyTorch

Глава 4: Реализация модели GPT с нуля

🟠Анализ FLOPS

Глава 5: Предварительное обучение на немаркированных данных

🟢Альтернативная загрузка весов с HuggingFace с использованием Transformers
🟢Предварительное обучение GPT на наборе данных проекта Gutenberg
🟢Добавление дополнительных функций в цикл обучения
🟢Оптимизация гиперпараметров для предварительного обучения
🟢Создание пользовательского интерфейса для взаимодействия с LLM
🟢Преобразование GPT в Llama
🟢Llama 3.2 с нуля
🟢Memory-efficient загрузка модели

Глава 6: Тонкая настройка для классификации

🟠Дополнительные эксперименты по точной настройке различных слоев и использованию более крупных моделей
🟠Тонкая настройка различных моделей на основе датасета обзоров фильмов IMDB объемом 50 тыс. строк.
🟠Создание пользовательского интерфейса для взаимодействия с классификатором спама на основе GPT

Глава 7: Тонкая настройка для следования инструкциям

🟢Утилиты набора данных для поиска близких дубликатов и создания записей в пассивном залоге
🟢Оценка ответов на инструкции с использованием API OpenAI и Ollama
🟢Создание датасета для точной настройки инструкций
🟢Улучшение набора данных для точной настройки инструкций
🟢Создание набора данных предпочтений с помощью Llama 3.1 70B и Ollama
🟢DPO для процедуры LLM Alignment
🟢Создание пользовательского интерфейса для взаимодействия с моделью GPT с тонкой настройкой инструкций


🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Tutorial #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍69🔥2011🥰2👏1
🌟 RLtools: самая быстрая библиотека глубокого обучения с подкреплением для задач непрерывного управления.

RLtools - библиотека глубокого обучения с подкреплением (Deep Reinforcement Learning, DRL) с высокой скоростью работы для разработки и исследования алгоритмов DL.

RLtools написана на C++ и позволяет проводить обучение и вывод моделей DRL на РС, мобильных устройствах и embedded-системах. В экспериментальном тестировании, библиотека обучила алгоритм RL непосредственно на микроконтроллере.

Библиотека поддерживает алгоритмы DRL: TD3, PPO, Multi-Agent PPO и SAC и предлагает набор примеров, демонстрирующих использование этих алгоритмов для решения задач управления на примерах управления маятником, гоночным автомобилем и роботом-муравьем MuJoCo.

Код реализации алгоритмов:

🟢TD3 - Pendulum, Racing Car, MuJoCo Ant-v4, Acrobot;
🟢PPO - Pendulum, Racing Car, MuJoCo Ant-v4 (CPU), MuJoCo Ant-v4 (CUDA);
🟢Multi-Agent PPO - Bottleneck;
🟢SAC - Pendulum (CPU), Pendulum (CUDA), Acrobot.

Благодаря оптимизации и использования аппаратного ускорения RLtools в 76 раз быстрее других библиотек. Например, на MacBook Pro с M1 RLtools может обучить модель SAC (управление маятником) за 4 секунды.

Библиотеку можно использовать на Linux, macOS, Windows, iOS, Teensy, Crazyflie, ESP32 и PX4.

RLtools предоставляет Python API, с которым можно использовать библиотеку из Python-кода. API RLtools совместим с библиотекой симуляции сред Gym.

Проекты, использующие RLtools:

🟠Научиться летать за секунды (Youtube, IEEE Spectrum);

🟠Идентификация системы на основе данных для квадрокоптеров с задержкой двигателя (Youtube, Project Page).

▶️Запуск на примере обучения политике с помощью PPO:

# Clone and checkout
git clone https://github.com/rl-tools/example
cd example
git submodule update --init external/rl_tools

# Build and run
mkdir build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
cmake --build .
./my_pendulum


📌Лицензирование: MIT License.


🟡Документация
🟡Arxiv
🟡RLTools Design Studio
🟡Demo
🟡Zoo Experiment Tracking
🟡Google Collab (Python Interface)
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #DL #RTools #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25🔥166🤔1
📌Интерактивное руководство по Prompt Engineering для Ollama.

Репозиторий на Github c набором ipynb-туториалов по Prompt Engineering для освоения методов создания оптимальных промптов для модели Qwen2.5-14B.

Руководство разделено на 9 глав с практическими упражнениями и приложением с "продвинутыми" методами. В каждой главе есть "Example Playground" для экспериментов с примерами и наблюдения за изменениями в инференсе Ollama.

Руководство использует модель Qwen 2.5-14B, но все материалы подходят и для модели Qwen 2.5-7B.

▶️Содержание:

Начальный уровень

🟢Глава 1: Базовая структура промпта.
🟢Глава 2: Ясность и прямота.
🟢Глава 3: Назначение ролей.

Средний уровень

🟢Глава 4: Отделение данных от инструкций.
🟢Глава 5: Форматы данных инференса и речь для Ollama.
🟢Глава 6: Рассуждение (шаг за шагом).
🟢Глава 7: Использование примеров.

Продвинутый уровень

🟠Глава 8: Избегание галлюцинаций.
🟠Глава 9: Создание сложных промптов (примеры использования для реальных задач):

🟢Сложные промпты с нуля - чатбот;
🟢Сложные промпты с нуля по юридическим услугам;
🟢Упражнение: Сложные промпты для финансовых услуг;
🟢Упражнение: Сложные промпты для программирования.

Приложение: За пределами стандартных подсказок

🟠Цепочка промптов.
🟠Использование инструментов.


📌Лицензирование: MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Github #Tutorial #Ollama
Please open Telegram to view this post
VIEW IN TELEGRAM
23🔥16👍13👏1
📌 Llama3 from scratch: расширенная версия

Проект "Deepdive Llama3 from scratch" - расширенный форк гайд-репозитория по созданию LLama-3 c нуля шаг за шагом.

Исходный проект был переработан, проактуализирован, улучшен и оптимизирован для того, чтобы помочь всем желающим понять и освоить принцип реализации и детальный процесс ризонинга модели Llama3.

▶️Изменения и улучшения в этом форке:

🟢Последовательность изложения материала была изменена, скорректирована структура чтобы сделать процесс обучения более прозрачным, помогая понимать код шаг за шагом;

🟢Добавлено большое количество подробных аннотаций к коду;

🟢Изменения размеров матрицы на каждом этапе вычислений полностью аннотированы;

🟢Добавлены подробные пояснения к принципам, чтобы в полной мере можно было освоить концепцию дизайна модели.

🟢Добавлена дополнительная глава, посвященная KV-сache, в которой подробно описаны основные концепции, принципы работы и процесс применения механизма внимания.


📌Лицензирование: MIT License.


🔜 Репозиторий на Github


@ai_machinelearning_big_data

#AI #ML #LLM #Tutorial #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
38👍23🔥8❤‍🔥2😨1
📌Awesome CursorRules: репозиторий с рецептами Cursor AI.

Awesome CursorRules — коллекция файлов-рецептов .cursorrules для тонкой настройки поведения Cursor AI. Автор репозитория собрал десятки шаблонов, адаптирующих генерацию кода под конкретные проекты: от мобильных приложений до блокчейн-решений.

Главная «фишка» .cursorrules — гибкость. Разработчики могут прописать правила, которые сделают подсказки ИИ более релевантными: например, учесть стиль кода команды или архитектурные особенности проекта. Это не только ускоряет работу, но и снижает риск ошибок.

Коллекция включает практически все сферы разработки: фронтенд (Angular, NextJS, Qwik, React, Solid, Svelte, Vue), бэкенд (Deno, Elixir, ES, Go, Java, Lavarel, NodeJS, Python, TypeScript, WordPress), мобильную разработку (React Native, SwiftUI, TypeScript, Android, Flutter) и специфические задачи — интеграцию с Kubernetes или оптимизацию под SOLID-принципы.

Для новичков есть пошаговые инструкции: достаточно скопировать файл в проект или установить расширение для VS Code.

Судя по отзывам, Awesome CursorRules уже стал мастхэв для тех, кто хочет выжать максимум из Cursor AI.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Github #Awesome #CursorAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
52🔥30👍20🤨6
📌Beyond-NanoGPT: лаконичные и аннотированные реализации ключевых идей глубокого обучения.

Если вы хотите не просто запускать готовые модели, а понять, как они работают «под капотом», репозиторий Beyond-NanoGPT — то, что нужно. Этот проект аспиранта по CS Стэнфордского университета, который создан как мост между учебными примерами вроде nanoGPT и сложными наработками, предлагает десятки реализаций современных методов глубокого обучения.

Все написано с нуля на PyTorch, с детальными комментариями — идеально для тех, кто устал от абстрактных статей и беспощадного продакшн-кода. Каждая строчка кода написана так, что становится понятно, как его использовать на практике.

Застряли на уровне чтения бесконечных туториалов и хотите двигаться дальше? Этот репозиторий — отличный шаг. Он не сделает вас экспертом за неделю, но даст инструменты, чтобы разобраться в современных статьях и начать свои эксперименты. И да, здесь нет красивого веб-интерфейса или готовых SaaS-решений — только код, комментарии и ваше любопытство. Как и должно быть в ресерче.

Начать очень просто: клонируете репозиторий, ставите зависимости и можно погружаться в код. Архитектуры? Есть Vision Transformer для классификации изображений, Diffusion Transformer для генерации, ResNet и даже MLP-Mixer. Каждый скрипт — отдельный эксперимент.

Например, чтобы обучить DiT на датасете CIFAR-10, достаточно запустить train_dit.py. Все рассчитано на один GPU, так что даже без доступа к злым кластерам можно практиковаться. А если хочется разобраться в механизмах внимания, отдельные ноутбуки покажут, как работают Grouped-Query, линейное, разреженное или перекрестное внимание — с визуализациями и пояснениями.

Проект не только про архитектуры, есть и прикладные техники. Хотите ускорить инференс языковой модели? Посмотрите реализацию KV-кэширования или спекулятивного декодирования — методы, которые сейчас активно используют в LLM-инфраструктуре.

Интересует RL? В разделе с обучением с подкреплением есть классика - DQN и PPO для Cartpole, а в планах — нейросеть для шахмат с MCTS. При этом код не просто работает, но и объясняет нюансы: почему в REINFORCE важна базовая линия, как избежать градиентного взрыва в трансформерах или чем RoPE-эмбединги лучше стандартных.

Часть разделов (Flash Attention, RLHF) пока в разработке. Но планы грандиозные: автор обещает все - от квантования весов до распределенного RL.


📌Лицензирование: MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Github #BeyondNanoGPT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍65🔥2412🤣3🦄1
🌟 Pocket Flow: минималистичный фреймворк для LLM в 100 строках кода

Популярные фреймворки превращают простые задачи в квест по разгадыванию чужого кода. Бесконечные обертки, конфликты версий, устаревшая документация… Всё это не просто раздражает, это замедляет разработку. После года борьбы с перегруженными инструментами по типу LangChain, разработчик из Microsoft Research Zachary Huang посвятил свободное время созданию Pocket Flow — фреймворка, который уместил всю магию LLM в 100 строк кода.

Pocket Flow предлагает радикально иной подход: минимализм. В основе — идея, что любой LLM-пайплайн можно представить как граф из узлов и переходов. Никаких скрытых слоёв, только логика и прозрачность.

Чтобы разобраться как работает Pocket Flow, представьте кухню, где каждый узел — зона для готовки.

BaseNode выполняет три шага: подготовка (собрать данные), выполнение (обработать запрос), постобработка (сохранить результат).

Flow управляет «рецептом»: решает, куда передать управление дальше. Все взаимодействие происходит через общее хранилище данных — как стол, на котором лежат ингредиенты для всех поваров.

Пример? Допустим, вы строите поискового агента. Создаёте узлы: DecideAction (решает, нужен ли поиск), SearchWeb (ищет в интернете), AnswerQuestion (формирует ответ). Связываете их в граф, где решение одного узла определяет следующий шаг. Если модель не знает ответ тогда запускается поиск, результаты добавляются в контекст, и цикл повторяется. Все это — пара сотен строк кода поверх ядра Pocket Flow.

Главное преимущество Pocket Flow - свобода. Нет привязки к конкретным API, подключайте любые модели, даже локальные. Нет зависимостей: ваш проект остается «легким», а интерфейсы не ломаются после обновлений. Хотите кеширование запросов или потоковую обработку? Реализуйте сами, без борьбы с чужими абстракциями.

Безусловно, у минимализма есть цена: вы не получите готовых решений для каждой задачи. Но именно в этом сила Pocket Flow. Он дает контроль и понимание процесса, а не готовый, но черный ящик.

Если вы устали от фреймворков-монстров и хотите начать с чистого листа — загляните в репозиторий Pocket Flow. Там есть примеры агентов, RAG-систем и мультиагентных сценариев.


📌Лицензирование: MIT License.


🟡Статья
🟡Документация
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Framework #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍65🔥2514🤣5🌚1
📌nanoVLM: простой и мощный инструмент для экспериментов с VLM.

nanoVLM - проект, вдохновленный подходом nanoGPT от Andrej Karpathy, который предлагает минималистичную реализацию VLM на чистом PyTorch.

Код проекта настолько прост, что даже новичок быстро поймет, как устроены компоненты: Vision Backbone (150 строк), Language Decoder (250 строк), проекция модальностей (50 строк) и сама модель (100 строк). Все вместе с тренировочным циклом умещается в 750 строк — идеально для модификаций.

Созданная с помощью nanoVLM модель не претендует на звание прорывной, но дает отличную базу для экспериментов. Комбинация SigLIP-B/16-224-85M (визуальная часть) и SmolLM2-135M (языковая) создает компактную VLM на 222 млн. параметров. После 6 часов обучения на одном H100 GPU и 1.7 млн. примеров из датасета The Cauldron она показывает 35.3% точности на MMStar.

Начать работу можно 3 способами: клонировать репозиторий, запустить готовый Colab-ноутбук или использовать интерактивный туториал в формате ipynb. Даже если у вас нет доступа к топовому железу, эксперименты на Google Colab на бесплатном тиере вполне реальны. Установка максимально облегчена: зависимости минимальны, а логирование и загрузка параметров уже встроены.

nanoVLM отлично подойдет как образовательный проект или тренажер чтобы изучать VLM. В нем есть все для старта — от понятного кода до рабочих примеров. Если вы хотите создать свою мультимодальную модель, но боитесь сложностей, nanoVLM станет отличной песочницей для экспериментов.


🟡Модель
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VLM #NanoVLM #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7125🔥21🎄2
📌100+ готовых блокнотов Google Collab от Unsloth.

Unsolth выложила в открытый доступ в своем репозитории на Github больше сотни готовых ipynb-блокнотов для запуска различных операций в Google Collab практически всех популярных семейств языковых моделей, BERT, TTS-моделей и VLM:

🟢Llama v.3 -3.2
🟢Qwen v.2-3
🟢Gemma v.2-3 + Code Gemma
🟢Mistral Family
🟢Phi v.3-4
🟠TTS (Sesame, Orpheus, Spark, Oute, Llasa, Whisper)
🟠VLM и MMLM (Llama 3.2, Qwen 2.5VL, Pixtral)
🟠BERT (ModernBERT-large)

Блокноты включают пошаговые руководства и примеры для вызова инструментов, классификации, синтетических данных, подготовки сетов, инференса и файнтюна моделей и
примеры методов GRPO, DPO, SFT, Continued Pretraining, Reasoning и других.

Unsloth известна тем, что помогает делать большие языковые модели быстрее, компактнее и доступнее при помощи динамического квантования, что позволяет запускать их без сильной потери качества . Их технологии ускоряют обучение и настройку ИИ-моделей в 2 раза и экономят до 70% памяти. Инструменты Unsloth, на сегодняшний день, скачали более 10 млн раз.


Есть подробная документация по использованию, а для тех, кто больше привык к Kaggle - такой же набор блокнотов для запуска на этой платформе.


📌Лицензирование: LGPL-3.0-1


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Notebooks #Github #Unsloth
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥106👍2524❤‍🔥9🌭3
📌Tokasaurus: проект для ускорения работы с языковыми моделями.

Tokasaurus — это движок инференса для языковых моделей в режиме высоконагруженных задач. Он максимизирует пропускную способность при работе с LLM, предлагает поддержку API OpenAI, эффективно управляет памятью и оптимизирует вычисления в сценариях, где важно одновременно обрабатывать множество запросов без задержек.

Архитектура Tokasaurus разделена на 3 компонента: веб-сервер, менеджер и модельные воркеры.

🟢Веб-сервер отвечает за взаимодействие с клиентами, принимая запросы и отправляя ответы.

🟢Менеджер, запущенный в отдельном процессе, управляет планированием задач, KV-кешем и группировкой последовательностей с общими префиксами.

🟢Модельные воркеры выполняют прямые запросы к подключенным LLM. Компоненты обмениваются данными асинхронно через очереди, и это позволяет держать GPU загруженным без простоев.

Проект учитывает растущую потребность в масштабировании и предлагает 3 типа параллелизма: дата-параллелизм (dp_size), пайплайн (pp_size) и тензорный (tp_size) с поддержкой AsyncTP.

Async Tensor Parallelism в PyTorch — это техника ускорения распределенных вычислений для LLM, где операции связи (all-gather/reduce-scatter) разбиваются на асинхронные части и перекрываются с матричными умножениями (matmul) с помощью чередующихся CUDA-потоков: пока один поток вычисляет фрагмент matmul, другой параллельно передаtт данные для следующего фрагмента через P2P-копирование (NVLink + copy engines), минимизируя простои GPU.


При использовании нескольких GPU, например, dp_size=2 и pp_size=4, система задействует 8 GPU, создавая 2 дублирующиеся группы по 4 GPU каждая. При этом параметры управления памятью (kv_cache_size_num_tokens, max_seqs_per_forward) применяются к каждой дата-параллельной группе отдельно. Это позволяет тонко управлять ресурсами, исходя из контекста конкретных нагрузок.

Tokasaurus поддерживает модели семейств Llama3 и Qwen2, использует технологию Hydragen для ускорения внимания над общими префиксами последовательностей.

⚠️ Проект пока молодой, поэтому некоторые функции могут быть нестабильными. Разработчики активно работают над улучшениями.


📌 Лицензирование: Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM # #Tokasaurus #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5122🔥12🥰6😨1
🌟 Self-Hosted AI Package: комплексное решение для локального развертывания ИИ.

Self-Hosted AI Package - это готовый шаблон на основе Docker Compose, который позволяет быстро развернуть полнофункциональную локальную среду с использованием ИИ и low-code инструментов.

Основная цель проекта: предложить разработчикам удобный и быстрый способ для начала работы с локальными ИИ-системами.

✔️ Поддерживаемые инструменты и сервисы:

🟢Self-hosted n8n - Low-code платформа с более 400 вариантами интеграций;

🟢Supabase - База данных с открытым исходным кодом, популярная для агентов ИИ;

🟢Ollama - кросс-платформенный бэкэнд для локального запуска LLM;

🟢Open WebUI - ChatGPT-подобный интерфейс для взаимодействия с моделями и агентами n8n;

🟢Flowise - No/low code конструктор ИИ-агентов, который очень хорошо сочетается с n8n;

🟢Qdrant - Высокопроизводительное векторное хранилище с открытым исходным кодом и обширным API.

🟢Neo4j - Движок для создания графов знаний, на котором работают GraphRAG, LightRAG и Graphiti.

🟢SearXNG - Метапоисковая система с открытым исходным кодом, объединяющая результаты с 229 поисковыми сервисами;

🟢Caddy - Управляемый HTTPS/TLS для пользовательских доменов;

🟢Langfuse - Инженерная платформа с открытым исходным кодом для наблюдаемости агентов.

Проект активно развивается, авторы даже запустили публичную Kanban-доску, где отслеживаются внедрение новых функций и исправление ошибок.

⚠️ Перед запуском служб необходимо настроить переменные окружения для Supabase, следуя их руководству.

⚠️ Основным компонентом набора является файл docker compose, предварительно сконфигурированный с сетью и диском, поэтому больше ничего устанавливать не нужно. После установки нужно будет выполнить действия из Quick start and usage, чтобы начать работу.


▶️Установка:

# Clone repo
git clone -b stable https://github.com/coleam00/local-ai-packaged.git
cd local-ai-packaged

# For Nvidia GPU
python start_services.py --profile gpu-nvidia

# For AMD GPU users on Linux
python start_services.py --profile gpu-amd

# For Mac Run fully on CPU
python start_services.py --profile cpu

#For everyone else
python start_services.py --profile cpu


📌Лицензирование: Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Agents #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
70👍32🔥17❤‍🔥1
🌟 NXTscape: браузер с локальными ИИ-агентами для Mac.

NXTscape - опенсорсный браузер для Mac OS на базе Chromium, где ИИ-агенты работают у вас на устройстве, а не в облаке ИТ-гигантов.

Самое важное: ключи API, история и данные никогда не покидают локальную систему. Подключаете OpenAI, Anthropic или локальные модели через Ollama и автоматизируете рутину действий в интернете.

Проект прост в переходе с Chrome: миграция занимает пару кликов, все расширения работают, его код открыт, можно форкнуть или проверить каждую строчку.

В планах на будущее: MCP Store, магазин ИИ-агентов, в нем обещают запуск прямо из адресной строки. Плюс встроенный ИИ-блокировщик рекламы, который планируют сделать умнее аналогов.

Теперь ваши 70+ вкладок могут управляться агентами, а не вы ими, достаточно скачать стабильный релиз с Github.


📌Лицензирование: AGPL-3.0 License.


🟡Сообщество в Discord
🖥 GitHub


@ai_machinelearning_big_data

#AI #ML #Agents #Github #NXTscape
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8836🔥23🤔9🥰4😘1
🌟 LMCache: умное кэширования для LLM-инференса.

LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы.

Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз.

🟡LMCache гибкий.

Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных.

🟡LMCache умеет в раздельную предобработку.

Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность.

Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях.

Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке.

⚠️ Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить.


📌Лицензирование: Apache 2.0 License.


🖥 Github


@ai_machinelearning_big_data

#AI #ML #LLM #LMCache #KVCache #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
52👍41🔥19🤔6👏3