🔥 Выпуск Mistral Large! Новый флагманский LLM.

Он превосходит GPT3.5 и LLaMa 2 70B во всех бенчмарках.

- Свободно владеет английским, французским, испанским, немецким и итальянским языками
- Контекстное окно на 32 тыс. лексем
- точное следование инструкциям
- встроенная возможность вызова функций

▪Дополнительная информация: https://mistral.ai/news/mistral-large/

▪Попробовать можно здесь: https://chat.mistral.ai

@bigdatai

⚡️ Streamline Analyst: A Data Analysis AI Agent

Streamline-Analyst ИИ-агент на базе LLM, который оптимизирует весь процесс анализа данных.

▪Github

@bigdatai

⚡️ Training Neural Networks From Scratch with Parallel Low-Rank Adapters

Предварительное обучение с нуля с помощью LoRA на нескольких GPU.

Статья: https://arxiv.org/abs/2402.16828
Проект: https://minyoungg.github.io/LTE/

@bigdatai

⚡️ Microsoft опубликовали статью Towards Optimal Learning of Language Models

В данной работе изучаются общие принципы улучшения обучения языковых моделей (ЯМ), целью которых является сокращение необходимых шагов обучения для достижения высокой производительности.

В частности представлена теорию оптимального обучения ЛМ. Цель оптимизация обучение ЛМ путем максимизации коэффициента сжатия данных в представлении "LM-training-as-lossless-compression".

Авторы выводят теорему, названную законом обучения, которая раскрывает свойства динамики в процессе оптимального обучения.

Теорема подтверждается экспериментами на линейной классификации и реальной задаче моделирования языка.

Наконец, авторы эмпирически доказывают, что оптимальное обучение LM в основном связано с улучшением коэффициентов в законе масштабирования LM, что указывает на большие перспективы и значение для разработки практических методов ускорения обучения.

https://huggingface.co/papers/2402.17759

@bigdatai

🌲 Датасет Finn Woodlands

Новый набор данных о лесах под названием FinnWoodlands, который состоит из стереоизображений RGB, облаков точек и карт разреженной глубины, а также справочных аннотаций для семантической сегментации.

▪Github

@bigdatai

⚡️ Новый мультимодальный arXiv: Датасет для улучшения научного понимания больших моделей языка визуализации

proj: https://mm-arxiv.github.io
abs: https://arxiv.org/abs/2403.00231

@bigdatai

✍️ Команда Яндекса поделилась процессом обучения модели YandexGPT, пересказывающей видео в Браузере

Некоторые тезисы из публикации на Хабре:
— YandexGPT для пересказа статей не подходит для суммаризации видео: порядок тезисов не всегда совпадает с таймлайном;
— Важные продуктовые требования: адаптация под длину контента и помощь в навигации;
— Два основных критерия для оценки качества модели: качество выделения частей и качество тезисов;
— Сочетание LoRa и fine-tune позволяет эффективно использовать преимущества обоих методов для пересказа видео.

Сама статья

@bigdatai

Выпущен Moon dream 2!

MD2 - это миниатюрная, быстрая и с открытым исходным кодом модель языка 1.8B parameter vision, для запуска которой требуется менее 5 ГБ памяти.

▪Проект: https://moondream.ai
▪Код: https://github.com/vikhyat/moondream
▪Demo: https://huggingface.co/spaces/vikhyatk/moondream2

@bigdatai

🔥 Weights_biases выпустили серию бесплатных курсов, связанных с Lms и искусственным интеллектом.

Вот несколько, которые кажутся интересными:
- https://wandb.courses/courses/take/training-fine-tuning-LLM
- https://wandb.courses/courses/steering-language-models
- https://wandb.courses/courses/enterprise-model-management

@bigdatai

🗡 Sensei (先生)

Простой, мощный, инструментдля генерации синтетических данных с использованием Openal, Mistralair или AnthropicAI.

▪Github

@bigdatai

🍎 PJRT упрощает интеграцию Apple silicon и ML framework.

Узнайте все о том, как Apple использует порт для ускорения моделей JAX на графических процессорах Apple silicon и AMD, и как вы можете начать работу с PJRT уже сегодня

👉 https://opensource.googleblog.com/2024/03/pjrt-plugin-to-accelerate-machine-learning.html

@bigdatai

⚡️ Global Generative AI Landscape 2024 от AlPort

Сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ выкатили первый список самых заметных GenAI-моделей. Туда вошли сразу две российские генеративные нейросети — YandexGPT и YandexART.

В итоговый анализ попали 128 генеративных модели от 107 компаний. Среди них только 11 компаний, разрабатывающих более одного типа GenAI-моделей: Яндекс, Stability AI, Open AI, Google, Microsoft, Meta, Tencent и Baidu и другие.

▪️ https://habr.com/ru/news/800245/

@bigdatai

⚡ Cappy: Outperforming and boosting large multi-task language models with a small scorer

Сегодня Googel представляем Cappy, небольшую предварительно обученную модель оценки, которая улучшает и превосходит производительность больших многозадачных языковых моделей.

Cappy был протестирован на множестве сложных задач с помощью Prompt Source и Big-Bench. Узнайте больше на: https://goo.gle/3Voludr

@bigdatai

💻 Изучайте Математику для Data Science бесплатно с помощью этих бесплатных курсов с Udacity

1. Linear Algebra Refresher Course
2. Intro to Statistics
3. Intro to Inferential Statistics
4. Intro to Descriptive Statistics
5. Eigenvectors and Eigenvalues
6. Intro to Artificial Intelligence
7. Differential Equations in Action

📌 Список

@bigdatai

⭐️ Проекты с открытым исходным кодом, которые изменили мир

▪ Веб: Node.js, React, Apache
▪ Базы данных: PostgreSQL, Redis, Elasticsearch
▪ Инструменты разработчика: Git, VSCode, Jupyter Notebook
▪ ML и Big Data: Tensorflow, Apache Spark, Kafka
▪ DevOps: Docker, Kubernetes, Linux

@bigdatai

📌 Что такое квантизация моделей и зачем она нужна

На Хабре вышла статья, в которой ML-разработчик Яндекса рассказал о квантизации и рассмотрел разные типы данных и современные методы квантизации. Будет полезно не только ML-инженерам, но и всем, кто хочет уметь заставлять модели работать эффективней.

@bigdatai