✍️ Команда Яндекса поделилась процессом обучения модели YandexGPT, пересказывающей видео в Браузере
Некоторые тезисы из публикации на Хабре:
— YandexGPT для пересказа статей не подходит для суммаризации видео: порядок тезисов не всегда совпадает с таймлайном;
— Важные продуктовые требования: адаптация под длину контента и помощь в навигации;
— Два основных критерия для оценки качества модели: качество выделения частей и качество тезисов;
— Сочетание LoRa и fine-tune позволяет эффективно использовать преимущества обоих методов для пересказа видео.
Сама статья
@bigdatai
Некоторые тезисы из публикации на Хабре:
— YandexGPT для пересказа статей не подходит для суммаризации видео: порядок тезисов не всегда совпадает с таймлайном;
— Важные продуктовые требования: адаптация под длину контента и помощь в навигации;
— Два основных критерия для оценки качества модели: качество выделения частей и качество тезисов;
— Сочетание LoRa и fine-tune позволяет эффективно использовать преимущества обоих методов для пересказа видео.
Сама статья
@bigdatai
👍5❤4
Вопрос: а вообще, почему структурированный вывод JSON - это так сложно?
LLM, как мы знаем, в основном основаны на архитектуре
transformer
, которая использует авторегрессивный генератор. Трансформер рассматривает каждое слово как лексему и генерирует одну лексему за раз. LLM не может вернуться назад и исправить результат после его генерации, что делает последовательный вывод JSON очень сложным.Отделение процессов генерации отдельных лексем с помощью машины состояний с поддержкой пакетной обработки, потоковой передачи и KV-кеша — вот что они сделали.
И в результате модель гарантированно выдаёт правильный, валидный JSON
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥5❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Выпущен Moon dream 2!
MD2 - это миниатюрная, быстрая и с открытым исходным кодом модель языка 1.8B parameter vision, для запуска которой требуется менее 5 ГБ памяти.
▪Проект: https://moondream.ai
▪Код: https://github.com/vikhyat/moondream
▪Demo: https://huggingface.co/spaces/vikhyatk/moondream2
@bigdatai
MD2 - это миниатюрная, быстрая и с открытым исходным кодом модель языка 1.8B parameter vision, для запуска которой требуется менее 5 ГБ памяти.
▪Проект: https://moondream.ai
▪Код: https://github.com/vikhyat/moondream
▪Demo: https://huggingface.co/spaces/vikhyatk/moondream2
@bigdatai
🔥5👍3❤2
🔥 Weights_biases выпустили серию бесплатных курсов, связанных с Lms и искусственным интеллектом.
Вот несколько, которые кажутся интересными:
- https://wandb.courses/courses/take/training-fine-tuning-LLM
- https://wandb.courses/courses/steering-language-models
- https://wandb.courses/courses/enterprise-model-management
@bigdatai
Вот несколько, которые кажутся интересными:
- https://wandb.courses/courses/take/training-fine-tuning-LLM
- https://wandb.courses/courses/steering-language-models
- https://wandb.courses/courses/enterprise-model-management
@bigdatai
👍6❤2🔥1
запросов на естественном языке в SQL
-запросы с помощью искусственного интеллекта. Этот проект является 100% бесплатным и с открытым исходным кодом.git clone https://github.com/whoiskatrin/sql-translator.git
▪Github
▪Проект
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥5❤2
🍎 PJRT упрощает интеграцию Apple silicon и ML framework.
Узнайте все о том, как Apple использует порт для ускорения моделей JAX на графических процессорах Apple silicon и AMD, и как вы можете начать работу с PJRT уже сегодня
👉 https://opensource.googleblog.com/2024/03/pjrt-plugin-to-accelerate-machine-learning.html
@bigdatai
Узнайте все о том, как Apple использует порт для ускорения моделей JAX на графических процессорах Apple silicon и AMD, и как вы можете начать работу с PJRT уже сегодня
👉 https://opensource.googleblog.com/2024/03/pjrt-plugin-to-accelerate-machine-learning.html
@bigdatai
👍5❤2🔥1
⚡️ Global Generative AI Landscape 2024 от AlPort
Сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ выкатили первый список самых заметных GenAI-моделей. Туда вошли сразу две российские генеративные нейросети — YandexGPT и YandexART.
В итоговый анализ попали 128 генеративных модели от 107 компаний. Среди них только 11 компаний, разрабатывающих более одного типа GenAI-моделей: Яндекс, Stability AI, Open AI, Google, Microsoft, Meta, Tencent и Baidu и другие.
▪️ https://habr.com/ru/news/800245/
@bigdatai
Сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ выкатили первый список самых заметных GenAI-моделей. Туда вошли сразу две российские генеративные нейросети — YandexGPT и YandexART.
В итоговый анализ попали 128 генеративных модели от 107 компаний. Среди них только 11 компаний, разрабатывающих более одного типа GenAI-моделей: Яндекс, Stability AI, Open AI, Google, Microsoft, Meta, Tencent и Baidu и другие.
▪️ https://habr.com/ru/news/800245/
@bigdatai
🔥4👍3❤2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡ Cappy: Outperforming and boosting large multi-task language models with a small scorer
Сегодня Googel представляем Cappy, небольшую предварительно обученную модель оценки, которая улучшает и превосходит производительность больших многозадачных языковых моделей.
Cappy был протестирован на множестве сложных задач с помощью Prompt Source и Big-Bench. Узнайте больше на: https://goo.gle/3Voludr
@bigdatai
Сегодня Googel представляем Cappy, небольшую предварительно обученную модель оценки, которая улучшает и превосходит производительность больших многозадачных языковых моделей.
Cappy был протестирован на множестве сложных задач с помощью Prompt Source и Big-Bench. Узнайте больше на: https://goo.gle/3Voludr
@bigdatai
👍4❤1🔥1
💻 Изучайте Математику для Data Science бесплатно с помощью этих бесплатных курсов с Udacity
1. Linear Algebra Refresher Course
2. Intro to Statistics
3. Intro to Inferential Statistics
4. Intro to Descriptive Statistics
5. Eigenvectors and Eigenvalues
6. Intro to Artificial Intelligence
7. Differential Equations in Action
📌 Список
@bigdatai
1. Linear Algebra Refresher Course
2. Intro to Statistics
3. Intro to Inferential Statistics
4. Intro to Descriptive Statistics
5. Eigenvectors and Eigenvalues
6. Intro to Artificial Intelligence
7. Differential Equations in Action
📌 Список
@bigdatai
❤3👍3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
⭐️ Проекты с открытым исходным кодом, которые изменили мир
▪ Веб: Node.js, React, Apache
▪ Базы данных: PostgreSQL, Redis, Elasticsearch
▪ Инструменты разработчика: Git, VSCode, Jupyter Notebook
▪ ML и Big Data: Tensorflow, Apache Spark, Kafka
▪ DevOps: Docker, Kubernetes, Linux
@bigdatai
▪ Веб: Node.js, React, Apache
▪ Базы данных: PostgreSQL, Redis, Elasticsearch
▪ Инструменты разработчика: Git, VSCode, Jupyter Notebook
▪ ML и Big Data: Tensorflow, Apache Spark, Kafka
▪ DevOps: Docker, Kubernetes, Linux
@bigdatai
👍12🔥5❤1❤🔥1🤮1
📌 Что такое квантизация моделей и зачем она нужна
На Хабре вышла статья, в которой ML-разработчик Яндекса рассказал о квантизации и рассмотрел разные типы данных и современные методы квантизации. Будет полезно не только ML-инженерам, но и всем, кто хочет уметь заставлять модели работать эффективней.
@bigdatai
На Хабре вышла статья, в которой ML-разработчик Яндекса рассказал о квантизации и рассмотрел разные типы данных и современные методы квантизации. Будет полезно не только ML-инженерам, но и всем, кто хочет уметь заставлять модели работать эффективней.
@bigdatai
🔥8👍2❤1
🔝 Google опубликовали новый датасет изображений состояния кожи (SCIN) в сотрудничестве с врачами StanfordMed.
Он доступен в свободном доступе в качестве ресурса для исследователей, преподавателей и разработчиков
https://blog.research.google/2024/03/scin-new-resource-for-representative.html
@bigdatai
Он доступен в свободном доступе в качестве ресурса для исследователей, преподавателей и разработчиков
https://blog.research.google/2024/03/scin-new-resource-for-representative.html
@bigdatai
👍12🔥3❤1
🤖 Phi-2 Теперь на #KaggleModels!
Phi-2 - это языковая модель с 2,7 миллиардами параметров, которая демонстрирует выдающиеся способности к рассуждению и пониманию языка.
https://www.kaggle.com/models/Microsoft/phi
@bigdatai
Phi-2 - это языковая модель с 2,7 миллиардами параметров, которая демонстрирует выдающиеся способности к рассуждению и пониманию языка.
https://www.kaggle.com/models/Microsoft/phi
@bigdatai
Kaggle
Phi
Textbooks Are All You Need
👍9🔥4❤2
ComCLIP: Training-Free Compositional Image and Text Matching
📄 Paper: https://arxiv.org/abs/2211.13854
🌐 Project: https://sites.google.com/view/comclip
🛠️ Code/Data: https://github.com/eric-ai-lab/ComCLIP (
@bigdatai
📄 Paper: https://arxiv.org/abs/2211.13854
🌐 Project: https://sites.google.com/view/comclip
🛠️ Code/Data: https://github.com/eric-ai-lab/ComCLIP (
@bigdatai
👍3❤2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Сейчас NVIDIA LATTE3D всё ещё находится в стадии разработки. О сроках выпуска общедоступной версии сервиса информации пока нет.
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤2💩1
🚀 Intel предствавили полностью интегрированные многослойные персептроны на графических процессорах Intel для центров обработки данных
Intel Max 1550 превосходит графический процессор H100 в 2,84 раза при выводе и в 1,75 раза при обучении
https://arxiv.org/abs/2403.17607
@bigdatai
Intel Max 1550 превосходит графический процессор H100 в 2,84 раза при выводе и в 1,75 раза при обучении
https://arxiv.org/abs/2403.17607
@bigdatai
🔥5❤1
Forwarded from Machinelearning
🌍 𝗠𝗮𝗷𝗼𝗿 𝗧𝗢𝗠: 𝗣𝗹𝗮𝗻𝗲𝘁 𝗘𝗮𝗿𝘁𝗵 𝗶𝘀 𝗯̶𝗹̶𝘂̶𝗲̶ 𝟱.𝟰𝟬𝟱 𝗚𝗛𝘇
MajorTom-Core-S1RTC новый стандарт изображений со спутников и датасет, который содержит 1 469 955 снимков.
16 ТБ радиометрически откалиброванных изображений.
▪HF: https://huggingface.co/Major-TOM
▪Github: https://github.com/ESA-PhiLab/Major-TOM/
▪Colab: https://colab.research.google.com/github/ESA-PhiLab/Major-TOM/blob/main/03-Filtering-in-Colab.ipynb
▪Paper: https://www.arxiv.org/abs/2402.12095
▪MajorTOM-Core-Viewer: https://huggingface.co/spaces/Major-TOM/MajorTOM-Core-Viewer
@ai_machinelearning_big_data
MajorTom-Core-S1RTC новый стандарт изображений со спутников и датасет, который содержит 1 469 955 снимков.
16 ТБ радиометрически откалиброванных изображений.
▪HF: https://huggingface.co/Major-TOM
▪Github: https://github.com/ESA-PhiLab/Major-TOM/
▪Colab: https://colab.research.google.com/github/ESA-PhiLab/Major-TOM/blob/main/03-Filtering-in-Colab.ipynb
▪Paper: https://www.arxiv.org/abs/2402.12095
▪MajorTOM-Core-Viewer: https://huggingface.co/spaces/Major-TOM/MajorTOM-Core-Viewer
@ai_machinelearning_big_data
🔥8👍2❤1
⚡️ Обнаружение текста, сгенерированного искусственным интеллектом
Исследователи изучили влияние ChatGPT на экспертные оценки конференций по искусственному интеллекту, подтвердив то, что мы все знали
статья: https://arxiv.org/pdf/2403.07183.pdf
@bigdatai
Исследователи изучили влияние ChatGPT на экспертные оценки конференций по искусственному интеллекту, подтвердив то, что мы все знали
статья: https://arxiv.org/pdf/2403.07183.pdf
@bigdatai
👍4🔥3❤1