🚀 Advances in private training for production on-device language models

Языковые модели, предсказывающие следующее слово, являются ключевой технологией для многих ИИ приложений. Узнайте, как многолетние исследования стали основой обучения языковых моделей Google

• Статья

@bigdatai

👉 Awesome AWS

Кураторский Список библиотек Amazon Web Services (AWS), репозиториев с открытым исходным кодом, руководств, блогов и других ресурсов.

🔗 https://github.com/donnemartin/awesome-aws

@bigdatai

🔥 Выпуск Mistral Large! Новый флагманский LLM.

Он превосходит GPT3.5 и LLaMa 2 70B во всех бенчмарках.

- Свободно владеет английским, французским, испанским, немецким и итальянским языками
- Контекстное окно на 32 тыс. лексем
- точное следование инструкциям
- встроенная возможность вызова функций

▪Дополнительная информация: https://mistral.ai/news/mistral-large/

▪Попробовать можно здесь: https://chat.mistral.ai

@bigdatai

⚡️ Streamline Analyst: A Data Analysis AI Agent

Streamline-Analyst ИИ-агент на базе LLM, который оптимизирует весь процесс анализа данных.

▪Github

@bigdatai

⚡️ Training Neural Networks From Scratch with Parallel Low-Rank Adapters

Предварительное обучение с нуля с помощью LoRA на нескольких GPU.

Статья: https://arxiv.org/abs/2402.16828
Проект: https://minyoungg.github.io/LTE/

@bigdatai

⚡️ Microsoft опубликовали статью Towards Optimal Learning of Language Models

В данной работе изучаются общие принципы улучшения обучения языковых моделей (ЯМ), целью которых является сокращение необходимых шагов обучения для достижения высокой производительности.

В частности представлена теорию оптимального обучения ЛМ. Цель оптимизация обучение ЛМ путем максимизации коэффициента сжатия данных в представлении "LM-training-as-lossless-compression".

Авторы выводят теорему, названную законом обучения, которая раскрывает свойства динамики в процессе оптимального обучения.

Теорема подтверждается экспериментами на линейной классификации и реальной задаче моделирования языка.

Наконец, авторы эмпирически доказывают, что оптимальное обучение LM в основном связано с улучшением коэффициентов в законе масштабирования LM, что указывает на большие перспективы и значение для разработки практических методов ускорения обучения.

https://huggingface.co/papers/2402.17759

@bigdatai

🌲 Датасет Finn Woodlands

Новый набор данных о лесах под названием FinnWoodlands, который состоит из стереоизображений RGB, облаков точек и карт разреженной глубины, а также справочных аннотаций для семантической сегментации.

▪Github

@bigdatai

⚡️ Новый мультимодальный arXiv: Датасет для улучшения научного понимания больших моделей языка визуализации

proj: https://mm-arxiv.github.io
abs: https://arxiv.org/abs/2403.00231

@bigdatai

✍️ Команда Яндекса поделилась процессом обучения модели YandexGPT, пересказывающей видео в Браузере

Некоторые тезисы из публикации на Хабре:
— YandexGPT для пересказа статей не подходит для суммаризации видео: порядок тезисов не всегда совпадает с таймлайном;
— Важные продуктовые требования: адаптация под длину контента и помощь в навигации;
— Два основных критерия для оценки качества модели: качество выделения частей и качество тезисов;
— Сочетание LoRa и fine-tune позволяет эффективно использовать преимущества обоих методов для пересказа видео.

Сама статья

@bigdatai