Локальные нейросети. Аналог ChatGPT-3.5 на домашнем ПК: OpenChat 7B превосходящая 70B, DeepSeek для кода уровня ChatGPT

Есть много локальных аналогов ChatGPT, но им не хватает качества, даже 65B модели не могут конкурировать хотя бы с ChatGPT-3.5. И здесь я хочу рассказать про 2 открытые модели, которые всё-таки могут составить такую конкуренцию.

Речь пойдет о OpenChat 7B и DeepSeek Coder. Обе модели за счет размера быстры, можно запускать на CPU, можно запускать локально, можно частично ускорять на GPU (перенося часть слоев на GPU, на сколько хватит видеопамяти) и для такого типа моделей есть графический удобный интерфейс.

И бонусом затронем новую модель для качественного подробного описания фото.

UPD: Добавлена информация для запуска на Windows с ускорением на AMD. https://habr.com/ru/articles/776314/

Mimesis: идеальное решение для генерации данных.

Сбор данных имеет решающее значение для каждого проекта, связанного с машинным обучением. Однако не всегда искомые данные существуют или общедоступны. Во многих случаях получение данных является дорогостоящим или затрудненным из-за внешних условий. Кроме того, правила конфиденциальности влияют на способы использования или распространения набора данных. По всем этим причинам использование синтетических данных является хорошей альтернативой, поскольку с их помощью можно удовлетворить те же потребности без особых усилий.

В этой статье мы рассмотрим один из лучших пакетов для генерации синтетических данных.

Читать далее https://habr.com/ru/articles/771950

Кто такие LLM-агенты и что они умеют?.

В последнее время большие языковые модели (Large Language Models, LLM) стали невероятно популярными — кажется, их обсуждают везде, от школьных коридоров до Сената США. Сфера LLM растёт бурными темпами, привлекая внимание не только специалистов в области машинного обучения, но и обычных пользователей. Кто-то высказывает массу опасений насчет их дальнейшего развития, а кто-то и вовсе предлагает бомбить дата-центры — и даже в Белом Доме обсуждают будущее моделей. Но неужели текстом можно кому-то навредить? А что если такая модель приобрела бы агентность, смогла создать себе физическую оболочку и полностью ей управлять? Ну, это какая-то фантастика из (не)далёкого будущего, а про агентов нашего времени я расскажу в этой статье. И не переживайте — знание машинного обучения вам не понадобится!

Читать далее https://habr.com/ru/companies/ods/articles/776478

MLX — это эффективная среда машинного обучения , специально разработанная для процессоров Apple

Code: https://github.com/ml-explore/mlx
Docs: https://ml-explore.github.io/mlx/build/html/index.html

Книга: Шаблоны проектирования обработки данных (DEDP)

https://www.dedp.online/about-this-book.html

Кураторский список потрясающих библиотек с открытым исходным кодом для развертывания, мониторинга, версии и масштабирования вашего машинного обучения.

https://github.com/EthicalML/awesome-production-machine-learning

Cog — это инструмент с открытым исходным кодом, который позволяет упаковывать модели машинного обучения в стандартный, готовый к использованию контейнер.

https://github.com/replicate/cog

[Перевод] Раскрывая секреты LLM: руководство по основным понятиям больших языковых моделей без хайпа.

AI-хайп, честно говоря, слегка задолбал. Кажется, что все вокруг только и делают, что оптимизируют свою работу с помощью AI и в ус не дуют. Все эти возвышенные презентации про amazing и awesome инновации от людей, которые слабо себе представляют, чем энкодер отличается от декодера и почему трансформеры в нейросетях не сражаются с автоботами, мало того, что набивают оскомину и отнимают время, так еще и погружают в грёзы бизнес-руководителей и создают крайне завышенные ожидания.

Вспоминаю, как на одном обмене опытом со стартапами они чётко делились на 2 группы: первая – с менеджерами про невероятные инновации и всеобщее благоденствие, а вторая – с инженерами, которые с красными глазами рассказывали, что так и не смогли победить галлюцинации, что окно контекста заканчивается очень быстро и что для того, чтобы на нормальном продакшн использовании вся эта магия заработала, нужны огромные инвестиции в инфраструктуру, оркестратор, агенты, векторные базы, кратковременную и долговременную память и так далее. Поэтому хотелось собрать в одном месте понятное руководство и для разработчиков, пробующих LLM-ки для своих задач, и для людей из бизнеса, чтобы погрузить в контекст.

Читать далее https://habr.com/ru/articles/768844/

Используем MLOps-конвейер: пример работы с Cloud ML Platform для построения сервиса распознавания лиц.

Есть два подхода к работе с машинным обучением (Machine Learning, ML): быть человеком-оркестром и задействовать «зоопарк технологий» для каждого этапа, или работать с готовым набором инфраструктурных решений, который позволяет выстроить MLOps-конвейер в рамках одной платформы. Для реализации первого подхода нужны senior-специалисты и большие ресурсы, для второго достаточно найти сервис с нужным набором возможностей.

Меня зовут Станислав Кипрюшин, я ведущий программист в VK Cloud. В этой статье на примере Cloud ML Platform мы разберём, как создать MLOps-конвейер для обучения моделей и построения сервиса распознавания лиц.

Читать дальше →https://habr.com/ru/companies/vk/articles/780050

Создание LLM с миллионом параметров с нуля с использованием Python
Пошаговое руководство по репликации архитектуры LLaMA

https://levelup.gitconnected.com/building-a-million-parameter-llm-from-scratch-using-python-f612398f06c2

Разработайте своего первого ИИ-агента: глубокое Q-обучение
Погрузитесь в мир искусственного интеллекта — постройте с нуля тренажерный зал глубокого обучения с подкреплением.

https://medium.com/towards-data-science/develop-your-first-ai-agent-deep-q-learning-375876ee2472

DreaMoving — это управляемая система генерации видео на основе диффузии, предназначенная для создания высококачественных индивидуальных видеороликов с участием людей.

demo: https://modelscope.cn/studios/vigen/video_generation/summary

github: https://github.com/dreamoving/dreamoving-project

WhisperPlus (GitHub Repo)

Передовая обработка речи в текст. подробнее→ https://github.com/kadirnar/whisper-plus

Make-A-Character: высококачественное преобразование текста в 3D-персонажей за считанные минуты.

С появлением агентов искусственного интеллекта растет спрос на персонализированные и выразительные 3D-персонажи . и Metaverse, но создание 3D-персонажей с использованием традиционных инструментов компьютерной графики — сложная и трудоемкая задача. Чтобы решить эти проблемы, мы предлагаем удобную для пользователя платформу Make-A-Character (Mach) для создания реалистичных 3D-аватаров из текстовых описаний. Страница документа: https://huggingface.co/papers/2312.15430

Может ли машинное обучение предсказать хаос? В моей новой статье проводится крупномасштабное сравнение современных методов прогнозирования на гигантском наборе данных из 135 хаотических систем.
https://journals.aps.org/prresearch/abstract/10.1103/PhysRevResearch.5.043252

Модель прогнозирования погоды на основе MachineLearning от
GoogleDeepMind
Cогласно новому исследованию Science, приводит к более качественным, быстрым и доступным 10-дневным прогнозам погоды, чем существующие подходы. https://www.science.org/doi/10.1126/science.adi2336

А вот и технология больших данных, способная конкурировать с кластерами на одной машине.

https://cassio-bolba.medium.com/here-comes-big-data-technology-that-rivals-clusters-on-a-single-machine-992f41e67a72

TinyZero (GitHub Repo) Простое обучение AlphaZero-подобных агентов на любом окружении. подробнее→ https://github.com/s-casci/tinyzero

Модель разделения речи (GitHub Repo) Модель MossFormer2, усовершенствованная по сравнению с оригинальной моделью MossFormer, предлагает улучшенные возможности разделения монофонической речи. больше→ https://github.com/alibabasglab/MossFormer2