🔥 Вот обновленная таблица теоретического сравнения TFLOPS, включающая только что анонсированные B100 и B200:
https://github.com/stas00/ml-engineering/tree/master/compute/accelerator#tflops-comparison-table
@machinelearning_interview
https://github.com/stas00/ml-engineering/tree/master/compute/accelerator#tflops-comparison-table
@machinelearning_interview
GitHub
ml-engineering/compute/accelerator at master · stas00/ml-engineering
Machine Learning Engineering Open Book. Contribute to stas00/ml-engineering development by creating an account on GitHub.
Держите годную шпаргалку по работе с библиотекой Pandas, тут описано самое основное, что может понадобиться в работе:
Пользуйтесь)
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 GaLore is a new Memory Efficient Fine-tuning Technique
GaLore - это новый метод файнтюнинга, позволяющий эффективно использовать память, для “полной настройки” моделей с миллиардами параметров, таких как Llama 2 7B на графических процессорах. В отличие от LoRa, GaLore сокращает объем памяти, проецируя состояния оптимизатора и градиенты в более низкое измерение. 🤯
🚀 Обучает модели до 7 миллиардов параметров на графических процессорах, таких как NVIDIA RTX 4090
💾 До 82,5% сокращается объем памяти для хранения состояний оптимизатора
🔺 Может комбинироваться с 8-разрядными оптимизаторами для максимальной эффективности памяти
🥇 Превосходит LoRa на GLUE и предварительную подготовку Llama на C4
🤗 Интегрирован в Hugging Face Transformers с galore_adamw или galore_adamw_8bit
Статья: https://huggingface.co/papers/2403.03507
Блог с примерами: https://huggingface.co/blog/galore
@machinelearning_interview
GaLore - это новый метод файнтюнинга, позволяющий эффективно использовать память, для “полной настройки” моделей с миллиардами параметров, таких как Llama 2 7B на графических процессорах. В отличие от LoRa, GaLore сокращает объем памяти, проецируя состояния оптимизатора и градиенты в более низкое измерение. 🤯
🚀 Обучает модели до 7 миллиардов параметров на графических процессорах, таких как NVIDIA RTX 4090
💾 До 82,5% сокращается объем памяти для хранения состояний оптимизатора
🔺 Может комбинироваться с 8-разрядными оптимизаторами для максимальной эффективности памяти
🥇 Превосходит LoRa на GLUE и предварительную подготовку Llama на C4
🤗 Интегрирован в Hugging Face Transformers с galore_adamw или galore_adamw_8bit
Статья: https://huggingface.co/papers/2403.03507
Блог с примерами: https://huggingface.co/blog/galore
@machinelearning_interview
В Data Science нужно хорошо ориентироваться в статистике и теории вероятностей. Как у вас с этим?
Хотите взорвать себе мозг?
Не проблема, сейчас всё будет
Вы выбрали любую дверь.
Ведущий открывает другую дверь (не вашу), за которой приза нет (ведущий знает об этом).
Дальше вы можете либо не менять свою дверь, либо выбрать другую дверь.
Изменится ли вероятность победы, если поменять дверь?
Подумайте очень хорошо;
Когда мы выбираем дверь в самом начале, вероятность выиграть 1/3 — очевидно, потому что из приз только за 1 из 3 дверей.
После того, как ведущий открывает дверь, где приза нет, приз может быть либо за нашей выбранной дверью, либо за другой.
2 двери: наша и оставшаяся, приз может быть за любой из них. Вроде с равной вероятностью 1/3.
Или нет?
Для большей уверенности можно смоделировать это в Python
Что?!
Это реально контринтуитивно, но численный эксперимент на Python это подтверждает.
Вообще, можете написать своё решение, чтобы 100% удостовериться
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉 Deep Learning Paper Implementations
Коллекция простых пошаговых гайдов по реализации нейронных сетей на PyTorch и связанных с ними алгоритмов, документированных с пояснениями и примечаниями.
🔗 https://github.com/labmlai/annotated_deep_learning_paper_implementations
@machinelearning_interview
Коллекция простых пошаговых гайдов по реализации нейронных сетей на PyTorch и связанных с ними алгоритмов, документированных с пояснениями и примечаниями.
🔗 https://github.com/labmlai/annotated_deep_learning_paper_implementations
@machinelearning_interview
This media is not supported in your browser
VIEW IN TELEGRAM
Навыками считали теги вопросов на Stack Overflow, популярностью навыков — число запросов, на которые Поиск отвечал страницами с соответствующими тегами.
Отличная штука, чтобы понять, куда развиваться и расти дальше — пользуйтесь)
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
💫 Вышло третье поколение больших языковых моделей YandexGPT
В Yandex Cloud уже лежит первая нейросеть из линейки YandexGPT 3 Pro: мощнее и точнее. Бизнес может дообучить её под любые свои задачи в сервисе ML-разработки Yandex DataSphere, встроить через API в продукты, а перед этим протестировать в демо.
Пишут, что обновленная нейросеть особенно хороша в клиентской поддержке, онлайн-продажах, цифровых коммуникациях, рекламе и в других бизнес-делах. В ближайшее время нейросети третьего поколения YandexGPT появятся в сервисах Яндекса для широкой аудитории.
@machinelearning_interview
В Yandex Cloud уже лежит первая нейросеть из линейки YandexGPT 3 Pro: мощнее и точнее. Бизнес может дообучить её под любые свои задачи в сервисе ML-разработки Yandex DataSphere, встроить через API в продукты, а перед этим протестировать в демо.
Пишут, что обновленная нейросеть особенно хороша в клиентской поддержке, онлайн-продажах, цифровых коммуникациях, рекламе и в других бизнес-делах. В ближайшее время нейросети третьего поколения YandexGPT появятся в сервисах Яндекса для широкой аудитории.
@machinelearning_interview
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Держите интересное недавнее исследование про TabPFN и интерпертируемое ML.
Некоторые факты из этой работы:
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Что внутри?
• 02:01 — Примеры использования машинного обучения
• 06:02 — Упаковка модели в Docker-контейнер
• 07:26 — Использование машинного обучения в проде
• 09:21 — ML-специалисты и их роль в машинном обучении
• 12:50 — ML-система и ее компоненты
• 15:03 — Выбор инфраструктуры и обучение моделей
• 18:47 — ML-платформа и ее компоненты
• 21:59 — Тестирование и авторизация
• 26:51 — Обсуждение видеокарт для обучения моделей
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📌 Повышение скорости инференса больших языковых моделей
Разработчик из команды YandexGPT по полочкам раскладывает, в каких случаях подойдёт дистилляция и с помощью каких трюков можно заменить алгоритм PPO, как бороться с выбросами с помощью LLM.Int8, SmoothQuant и GPT-Q, и разбирает особые методы ускорения вроде Speculative Decoding и Continuous Batching.
🔗 https://habr.com/ru/companies/yandex/articles/801119/
@machinelearning_interview
Разработчик из команды YandexGPT по полочкам раскладывает, в каких случаях подойдёт дистилляция и с помощью каких трюков можно заменить алгоритм PPO, как бороться с выбросами с помощью LLM.Int8, SmoothQuant и GPT-Q, и разбирает особые методы ускорения вроде Speculative Decoding и Continuous Batching.
🔗 https://habr.com/ru/companies/yandex/articles/801119/
@machinelearning_interview
⚡️ Jan - Bring AI to your Desktop
Jan : альтернатива ChatGPT с открытым исходным кодом, которая работает на вашем компьютере в автономном режиме на 100%:
🔗 Github
@machinelearning_interview
Jan : альтернатива ChatGPT с открытым исходным кодом, которая работает на вашем компьютере в автономном режиме на 100%:
🔗 Github
@machinelearning_interview
Держите полезный контент)
В данной статье в виде ссылок представлены все популярные алгоритмы классического машинного обучения с их подробным теоретическим описанием и немного упрощённой реализацией на Python, отражающей основную идею.
В конце каждой темы указаны дополнительные источники для более глубокого ознакомления, суммарное время прочтения статей по этим ссылкам составляет более трёх часов, что неплохо для погружения в тему
Пользуйтесь)
@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Interview questions on DS, AI, ML, DL, NLP, Python,computer vision.
Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению.
Подборка вопросов для собеседования поможет вам на собеседовании в области науки о данных, искусственного интеллекта, машинного обучения, глубинного обучения, обработки естественного языка, компьютерного зрения.
▪100 вопросов с собеседований Data Science
▪100 вопросов для собеседования по машинному обучению в 2024 году
▪Более 100 вопросов с собеседования Python. Разбор реальных вопросов.
▪50 вопросов для собеседования по компьютерному зрению в 2024 году
▪50 вопросов для интервью по глубинному обучению в 2024 году
▪50 вопросов для интервью по НЛП (обработке естественного языка) в 2024 году
▪Топ-60 вопросов с собеседований R
@machinelearning_interview
Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению.
Подборка вопросов для собеседования поможет вам на собеседовании в области науки о данных, искусственного интеллекта, машинного обучения, глубинного обучения, обработки естественного языка, компьютерного зрения.
▪100 вопросов с собеседований Data Science
▪100 вопросов для собеседования по машинному обучению в 2024 году
▪Более 100 вопросов с собеседования Python. Разбор реальных вопросов.
▪50 вопросов для собеседования по компьютерному зрению в 2024 году
▪50 вопросов для интервью по глубинному обучению в 2024 году
▪50 вопросов для интервью по НЛП (обработке естественного языка) в 2024 году
▪Топ-60 вопросов с собеседований R
@machinelearning_interview