Machine learning Interview
24.4K subscribers
1.04K photos
68 videos
12 files
698 links
Разбираем вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейронным сетям, Python.

Вопросы - @notxxx1


@itchannels_telegram -🔥лучшие it каналы

РКН: clck.ru/3FmwRz
Download Telegram
🚀Яндекс представил YandexGPT 5 и впервые за 3 года выложил в опенсорс большую языковую модель

Основные детали:

• YandexGPT 5 Pro
— мощная модель нового поколения, уже внедрена в чат с Алисой и доступна через API в Yandex Cloud.

• YandexGPT 5 Lite — 8B модель с контекстным окном 32k токенов, впервые за 3 года опубликована в открытом доступе. Выложена без финального этапа обучения и этических фильтров — идеально для исследований и кастомизации.

Модели открывают широкие возможности для автоматизации бизнес-процессов: от интеллектуальной обработки обращений в контакт-центрах (выделение ключевых моментов, категоризация, суммаризация для отчетов) до создания ИИ-ассистентов для умного поиска по базам знаний.

На сегодняшний день YandexGPT 5 Lite 8B Pretrain в ряде ключевых русскоязычных и англоязычных бенчмарков показывает результаты, превосходящие сопоставимые base-версии моделей Llama и Qwen.

◾️Хабр: https://habr.com/ru/companies/yandex/articles/885218/
◾️HF: https://huggingface.co/yandex/YandexGPT-5-Lite-8B-pretrain

@machinelearning_interview
🔥 Aide — это форк Visual Studio Code, созданный для интеграции AI в процесс программирования! Эта среда разработки предоставляет усовершенствованные функции автоматизации, автодополнения и взаимодействия с кодом, делая написание, анализ и рефакторинг кода более удобным и эффективным.

🔐 Лицензия: AGPL-3.0

🖥 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ 3 день недели Опенсорса от DeepSeek

⭐️ DeepGEMM — это не просто очередная библиотека для матричных умножений, а настоящий «мастер-класс» по оптимизации FP8 GEMM для новейших GPU.

Проект написан на CUDA и рассчитан исключительно на использование тензорных ядер архитектуры NVIDIA Hopper, что уже само по себе делает его очень современным 🖥

В основе DeepGEMM лежит идея максимально эффективного выполнения операций умножения матриц с использованием 8-битной точности.

Для решения проблемы накопления в FP8 (которое может давать неточные результаты) разработчики внедрили двухуровневое накопление, которое использует возможности CUDA-ядра для повышения точности без потери производительности.

Что действительно радует – это минимализм кода.

Ядро библиотеки представлено всего в одном ключевом модуле, состоящем примерно из 300 строк, что позволяет легко разобраться в его работе и даже внести собственные улучшения.

При этом все ядра компилируются «на лету» с помощью легковесного JIT-компилятора, так что нет долгого этапа сборки при установке.

DeepGEMM поддерживает разные режимы работы: обычные GEMM для плотных моделей, а также группированные операции для моделей типа Mix-of-Experts, где требуется обрабатывать данные в нескольких форматах – как в «континуальном», так и в «masked» виде. Это особенно актуально для современных решений в области глубокого обучения.

Оптимизации, заложенные в DeepGEMM, включают использование новых функций Hopper, таких как Tensor Memory Accelerator (TMA) для асинхронной передачи данных, а также тонкую настройку блоковых размеров и оптимизацию инструкций FFMA для лучшего перекрытия вычислений и загрузки данных. Результаты говорят сами за себя: производительность этой библиотеки на ряде тестовых примеров сравнима или даже превосходит решения, построенные на базе CUTLASS.

DeepGEMM – это лаконичный и эффективный инструмент, который может послужить отличной базой для исследований и практических разработок в области ускорения вычислений для глубокого обучения.

Github


#ai #deepseek #opensource #DeepEP #OpenSourceWeek:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ OpenAI запускает deep research.

OpenAI полностью откроет улучшенную и обновленную функцию deep research для пользователей ChatGPT Plus, Team, Edu и Enterprise. Вместе с анонсом опубликована карта deep research системы, в которой подробно рассказывается о том, как OpenAI проводили глубокие исследования, оценивали их возможности и риски, а также повышали уровень безопасности.

Новая версия поддерживает обработку изображений и улучшает возможности понимания и цитирования загруженных файлов. Пользователи Plus, Team, Enterprise и Edu могут использовать 10 deep research запросов в месяц, а на тарифе Pro месячная квота составит 120 запросов.
OpenAI в X

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ Визуализация 2х архитектур нейронных сетей: классический «ванильный» Transformer (слева) и вариант с «Mixture of Experts» (справа).

В обоих случаях есть базовые элементы вроде входных эмбеддингов, механизмов самовнимания (self-attention) и последовательного наложения блоков (N слоёв), но в «Mixture of Experts» внутри каждого блока появляется «router» (маршрутизатор).

Этот маршрутизатор решает, какие «эксперты» (специализированные подмодули) должны обработать текущие данные.

Таким образом, в отличие от обычного Transformer’а, где у нас один набор весов на слой, в «Mixture of Experts» несколько разных «экспертов» конкурируют или дополняют друг друга для более гибкой и точной обработки информации.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 AIEBootcamp — это курс по разработке и развертыванию LLM-приложений!

🌟 Курс охватывает промпт-инжинеринг, RAG, агентов, тонкую настройку моделей, а также оценку и мониторинг AI-систем, оптимизацию конвейеров и масштабируемость приложений.

🖥 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Grok3 API — это неофициальная библиотека на языке Python, разработанная для взаимодействия с API модели Grok 3 от компании xAI. Поскольку официального API для Grok 3 пока не существует, этот клиент использует аутентификационные cookies из браузерных сессий для доступа к конечным точкам API.

🔐 Лицензия: MIT

🖥 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ 5 день недели опенсорса: и новый релиз от DeepSeek

DeepSeek представили Fife-Flyer File System (3FS) – параллельную файловую систему, способную использовать всю пропускную способность современных SSD и RDMA-сетей.

▶️ Это решение показывает впечатляющие результаты:

• 6.6 TiB/s – суммарная скорость чтения в 180-узловом кластере
• 3.66 TiB/min – пропускная способность на GraySort в 25-узловом кластере
• 40+ GiB/s – пик производительности KVCache lookup на одном клиентском узле

Архитектура 3FS дезагрегирована и обеспечивает строгую согласованность, что делает её незаменимой для задач предварительной обработки данных, загрузки датасетов, сохранения контрольных точек и быстрого поиска эмбеддингов во время инференса (V3/R1).

Показатели 3FS демонстрируют, что будущее обработки данных лежит в использовании распределенных и дезагрегированных архитектур, где каждая компонента системы работает на максимуме своих возможностей.

В дополнение к Fife-Flyer File System, представлен Smallpond – фреймворк для обработки данных на базе этой системы, который помогает ещё больше упростить рабочие процессы с большими объёмами информации.

3FSgithub.com/deepseek-ai/3FS
Smallpondgithub.com/deepseek-ai/smallpond

@ai_machinelearning_big_data


#OpenSourceWee #DeepSeek #Smallpond #3FS #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Upscayl — это кроссплатформенное приложение с открытым исходным кодом, позволяющее увеличивать изображения с низким разрешением с помощью искусственного интеллекта! Оно работает на Linux, macOS и Windows, поддерживает пакетную обработку, пользовательские модели и оптимизировано для GPU с Vulkan 1.3.

🔐 Лицензия: AGPL-3.0

🖥 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🌟 MatAnyone: модель для выделения по маске людей на видео.

MatAnyOne - memory-based модель для видео-маттинга, разработанная для получения стабильных и точных результатов в сценариях реального постпродакшена. В отличие от методов, требующих дополнительного аннотирования, MatAnyOne использует только кадры видео и маску сегментации целевого объекта, определенную на первом кадре.

MatAnyOne оперирует регионально-адаптивным слиянием памяти, где области с небольшими изменениями сохраняют данные из предыдущего кадра, а области с большими изменениями больше полагаются на информацию из текущего кадра. Такая техника позволяет MatAnyOne эффективно отслеживать целевой объект, даже в сложных и неоднозначных сценах, сохраняя при этом четкие границы и целые части переднего плана.

При создании модели применялась уникальная стратегия обучения, которая опирается на данные сегментации для улучшения стабильности выделения объекта. В отличие от распространенных практик, MatAnyOne использует эти данные непосредственно в той же ветви, что и данные маски. Это достигается путем применения регионально-специфичных потерь: пиксельная потеря для основных областей и улучшенная DDC-потеря для граничных областей.

Для обучения был специально создан кастомный набор данных VM800, который вдвое больше, разнообразнее и качественнее, чем VideoMatte240K, что по итогу значительно улучшило надежность обучения объектному выделению на видео.

В тестах MatAnyOne показал высокие результаты по сравнению с существующими методами как на синтетических, так и на реальных видео:

🟠На VideoMatte и YouTubeMatte, MatAnyOne - лучшие результаты по MAD (средняя абсолютная разница) и dtSSD (расстояние преобразования формы);

🟢В бенчмарке с реальными видео MatAnyOne достиг MAD 0.18, MSE 0.11 и dtSSD 0.95, что значительно лучше, чем у RVM10 (MAD 1.21, MSE 0.77, dtSSD 1.43) и MaGGIe12 (MAD 1.94, MSE 1.53, dtSSD 1.63.


⚠️ Согласно обсуждению в issues репозитория, MatAnyOne способен работать локально от 4 GB VRAM и выше с видео небольшой длительности. Реальных технических критериев разработчик не опубликовал.

▶️Локальная установка и запуск web-demo на Gradio:

# Clone Repo
git clone https://github.com/pq-yang/MatAnyone
cd MatAnyone

# Create Conda env and install dependencies
conda create -n matanyone python=3.8 -y
conda activate matanyone

pip install -e .

# Install python dependencies for gradio
pip3 install -r hugging_face/requirements.txt

# Launch the demo
python app.py


📌Лицензирование: S-Lab License 1.0.


🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VideoMatte #MatAnyone
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👨‍🎓 Новый конкурс по анализу данных от Stanford RNA 3D Folding на Kaggle

На Kaggle вышло новое соревнование — Stanford RNA 3D Folding, которое с задачей: предсказать трёхмерную конфигурацию РНК-молекул.

Почему это важно?
РНК играет ключевую роль в регуляции генетической информации, а точное знание её пространственной структуры имеет огромное значение для понимания биологических процессов, разработки новых лекарств и даже борьбы с инфекционными заболеваниями.

Несмотря на успехи в предсказании белковых структур (например, благодаря AlphaFold), предсказание 3D-конформации РНК остаётся одной из самых сложных задач в современной молекулярной биологии.

Суть соревнования:
Участникам предлагается разработать алгоритмы, способные эффективно моделировать и предсказывать трёхмерную структуру РНК, используя предоставленные наборы данных и экспериментальные результаты. В основе задачи лежит необходимость учитывать как вторичную структуру (базовое парование нуклеотидов), так и сложные третичные взаимодействия, которые определяют окончательную форму молекулы.

💰 Призовой фонд: $75,000

Что получает участник?

Предсказания 3D-конформаций РНК может значительно ускорить разработку новых терапевтических средств и методов лечения. Успешные модели могут стать фундаментом для дальнейших исследований в генетике, синтезе лекарственных препаратов и изучении сложных биологических процессов. Кроме того, участие в таком соревновании предоставляет уникальную возможность обмена знаниями и сотрудничества с ведущими экспертами в данной области.

https://kaggle.com/competitions/stanford-rna-3d-folding
Forwarded from Machinelearning
🌟 MASt3R-SLAM: детализированный SLAM с априорными данными 3D-реконструкции в реальном времени.

MASi3R-SLAM - проект, который умеет строить детальные 3D-карты окружающей среды и отслеживать движение камеры в реальном времени без предварительной калибровки. Система работает даже с изменяющимися во аремени параметрами, например, при зумировании или оптических искажениях.

Основа MASi3R-SLAM - алгоритм, использующий модели DUSi3R и MASi3R для восстановления геометрии сцены по 2 изображениям. DUSi3R анализирует пары изображений, предсказывая детальные карты 3D-точек в общей системе координат, а MASi3R дополнительно генерирует дескрипторы для каждого пикселя, повышая точность сопоставления даже при большом смещении кадров.

Полученные данные от моделей обрабатывает уникальный алгоритм, который анализирует «карты точек», прогнозируемые нейросетью, и находит соответствия между кадрами за 2 миллисекунды, что в 40 раз быстрее аналогов.

В тестировании на наборах TUM RGB-D и EuRoC, показали: MASi3R-SLAM превосходит DROID-SLAM и другие системы по точности траектории (средняя ошибка — 3 см) и детальности 3D-моделей.

На сегодняшний день основное ограничение MASi3R-SLAM — скорость декодера из-за его вычислительной нагрузки: полный цикл обработки одного ключевого кадра занимает в среднем 26–27 миллисекунд, что примерно 64% общего времени работы паплайна.

Например, при разрешении 512 пикселей по длинной стороне декодер MASi3R тратит до 2 секунд на глобальный поиск соответствий, тогда как алгоритм сопоставления сокращает это время до 2 мс. На выходе создается «бутылочное горлышко», которое ограничивает частоту кадров до 15 FPS.

⚠️ Перед установкой необходимо загрузить модели и установить версию Pytorch, соответствующую установленной версии CUDA.


▶️Локальная установка и примеры запуска для live-режима и видео:

# Create Conda env 
conda create -n mast3r-slam python=3.11
conda activate mast3r-slam

# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/

# Install dependencies
pip install -e thirdparty/mast3r
pip install -e thirdparty/in3d
pip install --no-build-isolation -e .

# Launch Live demo with camera
python main.py --dataset realsense --config config/base.yaml

# Or running on a MP4 video
python main.py --dataset <path/to/video>.mp4 --config config/base.yaml
python main.py --dataset <path/to/folder> --config config/base.yaml


📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CV #3D #SLAM #Robotics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM