🍎 PJRT упрощает интеграцию Apple silicon и ML framework.
Узнайте все о том, как Apple использует порт для ускорения моделей JAX на графических процессорах Apple silicon и AMD, и как вы можете начать работу с PJRT уже сегодня
👉 https://opensource.googleblog.com/2024/03/pjrt-plugin-to-accelerate-machine-learning.html
@bigdatai
Узнайте все о том, как Apple использует порт для ускорения моделей JAX на графических процессорах Apple silicon и AMD, и как вы можете начать работу с PJRT уже сегодня
👉 https://opensource.googleblog.com/2024/03/pjrt-plugin-to-accelerate-machine-learning.html
@bigdatai
👍5❤2🔥1
⚡️ Global Generative AI Landscape 2024 от AlPort
Сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ выкатили первый список самых заметных GenAI-моделей. Туда вошли сразу две российские генеративные нейросети — YandexGPT и YandexART.
В итоговый анализ попали 128 генеративных модели от 107 компаний. Среди них только 11 компаний, разрабатывающих более одного типа GenAI-моделей: Яндекс, Stability AI, Open AI, Google, Microsoft, Meta, Tencent и Baidu и другие.
▪️ https://habr.com/ru/news/800245/
@bigdatai
Сообщество дата-саентистов, ML-экспертов и энтузиастов в сфере ИИ выкатили первый список самых заметных GenAI-моделей. Туда вошли сразу две российские генеративные нейросети — YandexGPT и YandexART.
В итоговый анализ попали 128 генеративных модели от 107 компаний. Среди них только 11 компаний, разрабатывающих более одного типа GenAI-моделей: Яндекс, Stability AI, Open AI, Google, Microsoft, Meta, Tencent и Baidu и другие.
▪️ https://habr.com/ru/news/800245/
@bigdatai
🔥4👍3❤2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡ Cappy: Outperforming and boosting large multi-task language models with a small scorer
Сегодня Googel представляем Cappy, небольшую предварительно обученную модель оценки, которая улучшает и превосходит производительность больших многозадачных языковых моделей.
Cappy был протестирован на множестве сложных задач с помощью Prompt Source и Big-Bench. Узнайте больше на: https://goo.gle/3Voludr
@bigdatai
Сегодня Googel представляем Cappy, небольшую предварительно обученную модель оценки, которая улучшает и превосходит производительность больших многозадачных языковых моделей.
Cappy был протестирован на множестве сложных задач с помощью Prompt Source и Big-Bench. Узнайте больше на: https://goo.gle/3Voludr
@bigdatai
👍4❤1🔥1
💻 Изучайте Математику для Data Science бесплатно с помощью этих бесплатных курсов с Udacity
1. Linear Algebra Refresher Course
2. Intro to Statistics
3. Intro to Inferential Statistics
4. Intro to Descriptive Statistics
5. Eigenvectors and Eigenvalues
6. Intro to Artificial Intelligence
7. Differential Equations in Action
📌 Список
@bigdatai
1. Linear Algebra Refresher Course
2. Intro to Statistics
3. Intro to Inferential Statistics
4. Intro to Descriptive Statistics
5. Eigenvectors and Eigenvalues
6. Intro to Artificial Intelligence
7. Differential Equations in Action
📌 Список
@bigdatai
❤3👍3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
⭐️ Проекты с открытым исходным кодом, которые изменили мир
▪ Веб: Node.js, React, Apache
▪ Базы данных: PostgreSQL, Redis, Elasticsearch
▪ Инструменты разработчика: Git, VSCode, Jupyter Notebook
▪ ML и Big Data: Tensorflow, Apache Spark, Kafka
▪ DevOps: Docker, Kubernetes, Linux
@bigdatai
▪ Веб: Node.js, React, Apache
▪ Базы данных: PostgreSQL, Redis, Elasticsearch
▪ Инструменты разработчика: Git, VSCode, Jupyter Notebook
▪ ML и Big Data: Tensorflow, Apache Spark, Kafka
▪ DevOps: Docker, Kubernetes, Linux
@bigdatai
👍12🔥5❤1❤🔥1🤮1
📌 Что такое квантизация моделей и зачем она нужна
На Хабре вышла статья, в которой ML-разработчик Яндекса рассказал о квантизации и рассмотрел разные типы данных и современные методы квантизации. Будет полезно не только ML-инженерам, но и всем, кто хочет уметь заставлять модели работать эффективней.
@bigdatai
На Хабре вышла статья, в которой ML-разработчик Яндекса рассказал о квантизации и рассмотрел разные типы данных и современные методы квантизации. Будет полезно не только ML-инженерам, но и всем, кто хочет уметь заставлять модели работать эффективней.
@bigdatai
🔥8👍2❤1
🔝 Google опубликовали новый датасет изображений состояния кожи (SCIN) в сотрудничестве с врачами StanfordMed.
Он доступен в свободном доступе в качестве ресурса для исследователей, преподавателей и разработчиков
https://blog.research.google/2024/03/scin-new-resource-for-representative.html
@bigdatai
Он доступен в свободном доступе в качестве ресурса для исследователей, преподавателей и разработчиков
https://blog.research.google/2024/03/scin-new-resource-for-representative.html
@bigdatai
👍12🔥3❤1
🤖 Phi-2 Теперь на #KaggleModels!
Phi-2 - это языковая модель с 2,7 миллиардами параметров, которая демонстрирует выдающиеся способности к рассуждению и пониманию языка.
https://www.kaggle.com/models/Microsoft/phi
@bigdatai
Phi-2 - это языковая модель с 2,7 миллиардами параметров, которая демонстрирует выдающиеся способности к рассуждению и пониманию языка.
https://www.kaggle.com/models/Microsoft/phi
@bigdatai
Kaggle
Phi
Textbooks Are All You Need
👍9🔥4❤2
ComCLIP: Training-Free Compositional Image and Text Matching
📄 Paper: https://arxiv.org/abs/2211.13854
🌐 Project: https://sites.google.com/view/comclip
🛠️ Code/Data: https://github.com/eric-ai-lab/ComCLIP (
@bigdatai
📄 Paper: https://arxiv.org/abs/2211.13854
🌐 Project: https://sites.google.com/view/comclip
🛠️ Code/Data: https://github.com/eric-ai-lab/ComCLIP (
@bigdatai
👍3❤2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Сейчас NVIDIA LATTE3D всё ещё находится в стадии разработки. О сроках выпуска общедоступной версии сервиса информации пока нет.
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤2💩1
🚀 Intel предствавили полностью интегрированные многослойные персептроны на графических процессорах Intel для центров обработки данных
Intel Max 1550 превосходит графический процессор H100 в 2,84 раза при выводе и в 1,75 раза при обучении
https://arxiv.org/abs/2403.17607
@bigdatai
Intel Max 1550 превосходит графический процессор H100 в 2,84 раза при выводе и в 1,75 раза при обучении
https://arxiv.org/abs/2403.17607
@bigdatai
🔥5❤1
Forwarded from Machinelearning
🌍 𝗠𝗮𝗷𝗼𝗿 𝗧𝗢𝗠: 𝗣𝗹𝗮𝗻𝗲𝘁 𝗘𝗮𝗿𝘁𝗵 𝗶𝘀 𝗯̶𝗹̶𝘂̶𝗲̶ 𝟱.𝟰𝟬𝟱 𝗚𝗛𝘇
MajorTom-Core-S1RTC новый стандарт изображений со спутников и датасет, который содержит 1 469 955 снимков.
16 ТБ радиометрически откалиброванных изображений.
▪HF: https://huggingface.co/Major-TOM
▪Github: https://github.com/ESA-PhiLab/Major-TOM/
▪Colab: https://colab.research.google.com/github/ESA-PhiLab/Major-TOM/blob/main/03-Filtering-in-Colab.ipynb
▪Paper: https://www.arxiv.org/abs/2402.12095
▪MajorTOM-Core-Viewer: https://huggingface.co/spaces/Major-TOM/MajorTOM-Core-Viewer
@ai_machinelearning_big_data
MajorTom-Core-S1RTC новый стандарт изображений со спутников и датасет, который содержит 1 469 955 снимков.
16 ТБ радиометрически откалиброванных изображений.
▪HF: https://huggingface.co/Major-TOM
▪Github: https://github.com/ESA-PhiLab/Major-TOM/
▪Colab: https://colab.research.google.com/github/ESA-PhiLab/Major-TOM/blob/main/03-Filtering-in-Colab.ipynb
▪Paper: https://www.arxiv.org/abs/2402.12095
▪MajorTOM-Core-Viewer: https://huggingface.co/spaces/Major-TOM/MajorTOM-Core-Viewer
@ai_machinelearning_big_data
🔥8👍2❤1
⚡️ Обнаружение текста, сгенерированного искусственным интеллектом
Исследователи изучили влияние ChatGPT на экспертные оценки конференций по искусственному интеллекту, подтвердив то, что мы все знали
статья: https://arxiv.org/pdf/2403.07183.pdf
@bigdatai
Исследователи изучили влияние ChatGPT на экспертные оценки конференций по искусственному интеллекту, подтвердив то, что мы все знали
статья: https://arxiv.org/pdf/2403.07183.pdf
@bigdatai
👍4🔥3❤1
⚡️ Третье поколение языковых моделей YandexGPT
В компании анонсировали линейку YandexGPT 3. Нейросеть YandexGPT 3 Pro стала первой языковой моделью, которую компании смогут самостоятельно дообучать на конретных задачах в сервисе ML-разработки Yandex DataSphere. Чтобы запустить процесс дообучения, нужно загрузить в DataSphere файл с примерами запросов и эталонными ответами на них. Такая нейросеть будет доступна только дообучившей её компании.
Работу YandexGPT 3 Pro можно оценить в демке и встроить в продукты бизнеса через API. Её стоимость для бизнеса снизилась почти в два раза. Плюс это базовая модель, которую сам Яндекс будет использовать в новых запусках и интеграциях генеративных технологий в продукты и инфраструктуру.
@bigdatai
В компании анонсировали линейку YandexGPT 3. Нейросеть YandexGPT 3 Pro стала первой языковой моделью, которую компании смогут самостоятельно дообучать на конретных задачах в сервисе ML-разработки Yandex DataSphere. Чтобы запустить процесс дообучения, нужно загрузить в DataSphere файл с примерами запросов и эталонными ответами на них. Такая нейросеть будет доступна только дообучившей её компании.
Работу YandexGPT 3 Pro можно оценить в демке и встроить в продукты бизнеса через API. Её стоимость для бизнеса снизилась почти в два раза. Плюс это базовая модель, которую сам Яндекс будет использовать в новых запусках и интеграциях генеративных технологий в продукты и инфраструктуру.
@bigdatai
👍9💩3❤2
⚡️ Руководство по установке для проекта Dark GPT
DarkGPT - это помощник по искусственному интеллекту на базе GPT-4-200K, предназначенный для выполнения запросов к взломанным базам данных.
Это руководство поможет вам настроить и запустить проект в вашей локальной среде.
github.com/luijait/DarkGPT
@bigdatai
DarkGPT - это помощник по искусственному интеллекту на базе GPT-4-200K, предназначенный для выполнения запросов к взломанным базам данных.
Это руководство поможет вам настроить и запустить проект в вашей локальной среде.
github.com/luijait/DarkGPT
@bigdatai
👍7🔥3❤1
⚡️ Возможно, это самый большой сдвиг в парадигме Lms
В ходе двух независимых исследований удалось предварительно обучить 1,58-разрядные LMS, которые соответствуют производительности моделей FP16.
Нужно посмотреть, как он масштабируется (~ 30B), но мне очень интересны 1,58-битные модели Mamba и MoE.
https://huggingface.co/1bitLLM/bitnet_b1_58-3B
@bigdatai
В ходе двух независимых исследований удалось предварительно обучить 1,58-разрядные LMS, которые соответствуют производительности моделей FP16.
Нужно посмотреть, как он масштабируется (~ 30B), но мне очень интересны 1,58-битные модели Mamba и MoE.
https://huggingface.co/1bitLLM/bitnet_b1_58-3B
@bigdatai
👍7🔥3❤1
Forwarded from Machinelearning
Факультет компьютерных наук НИУ ВШЭ расширяет сотрудничество с Яндексом для подготовки специалистов по ИИ и ML.
ФКН был основан ВШЭ совместно с Яндексом 10 лет назад. За время своего существования он стал одним из лидеров в подготовке разработчиков и специалистов по ИИ и ML, выпустив более 3 000 человек,
В следующие 10 лет Яндекс и ВШЭ:
- Увеличат количество выпускников факультета по программам Яндекса в 4 раза
- Откроют магистратуру по ИИ в маркетинге и продукте
- Создадут направления по генеративным технологиям на магистерской программе "Современные компьютерные науки"
- Запустят студенческий кемп по машинному обучению
Обратите внимание, если планируете стать студентом — ВШЭ занимает второе место среди российских университетов по количеству публикаций на конференциях A*.
▪Подробнее
@ai_machinelearning_big_data
ФКН был основан ВШЭ совместно с Яндексом 10 лет назад. За время своего существования он стал одним из лидеров в подготовке разработчиков и специалистов по ИИ и ML, выпустив более 3 000 человек,
В следующие 10 лет Яндекс и ВШЭ:
- Увеличат количество выпускников факультета по программам Яндекса в 4 раза
- Откроют магистратуру по ИИ в маркетинге и продукте
- Создадут направления по генеративным технологиям на магистерской программе "Современные компьютерные науки"
- Запустят студенческий кемп по машинному обучению
Обратите внимание, если планируете стать студентом — ВШЭ занимает второе место среди российских университетов по количеству публикаций на конференциях A*.
▪Подробнее
@ai_machinelearning_big_data
👍7
⚡️Новый метод, который позволяет удалить 40% слоев LLM без снижения точности.
Это делает их намного дешевле и быстрее.
Его протестировали это на различных моделях с открытым исходным кодом.
В каждом семействе моделей было максимальное количество слоев, которые можно было удалить без снижения точности:
- Mistral - 30%
- Lama 70B - 40%
- Lama 13B - 50%
Отличная статья.
https://arxiv.org/html/2403.17887v1
@bigdatai
Это делает их намного дешевле и быстрее.
Его протестировали это на различных моделях с открытым исходным кодом.
В каждом семействе моделей было максимальное количество слоев, которые можно было удалить без снижения точности:
- Mistral - 30%
- Lama 70B - 40%
- Lama 13B - 50%
Отличная статья.
https://arxiv.org/html/2403.17887v1
@bigdatai
👍13🔥3❤2🤔1
⚡️ Это шокирует.
Facebook* продает Netflix все ваши личные сообщения в Messenger в обмен на историю просмотров, при этом Netflix платит им более 100 миллионов долларов за рекламу.
* принадлежит Meta, признанной в РФ экстремистской и запрещённой на территории страны.
Компания продает ваши данные с целью получения прибыли.
Источник
@bigdatai
Facebook* продает Netflix все ваши личные сообщения в Messenger в обмен на историю просмотров, при этом Netflix платит им более 100 миллионов долларов за рекламу.
* принадлежит Meta, признанной в РФ экстремистской и запрещённой на территории страны.
Компания продает ваши данные с целью получения прибыли.
Источник
@bigdatai
🔥11😱5❤3👍2🥱2👎1🤡1
Forwarded from Анализ данных (Data analysis)
🔥 Сегодня выпущены два самых больших открытых набора данных для распознавания текста за всю историю 📜 📜
Набор данных содержит миллионы реальных документов, изображений и текстов для задач распознавания текста, анализа и разбора документов VQA.: https://huggingface.co/datasets/pixparse/idl-wds
Датасет дополнен аннотациями из проекта idl_data Бриттена и др. (https://arxiv.org/abs/2202.12985 )
PDFA: https://huggingface.co/datasets/pixparse/pdfa-eng-wds
@data_analysis_ml
Набор данных содержит миллионы реальных документов, изображений и текстов для задач распознавания текста, анализа и разбора документов VQA.: https://huggingface.co/datasets/pixparse/idl-wds
Датасет дополнен аннотациями из проекта idl_data Бриттена и др. (https://arxiv.org/abs/2202.12985 )
PDFA: https://huggingface.co/datasets/pixparse/pdfa-eng-wds
@data_analysis_ml
👍6