Machine learning Interview
24.5K subscribers
1.05K photos
74 videos
12 files
711 links
Разбираем вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейронным сетям, Python.

Вопросы - @notxxx1


@itchannels_telegram -🔥лучшие it каналы

РКН: clck.ru/3FmwRz
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
НОВИНКА: Kokoro v1.0 - 82M, открытая многоязычная модель TTS (перевода речь в речь на другом языке), которая работает на WebGPU в браузере! 🔥

Полностью автономная модель, 100% локальная с поддержкой английского, испанского, французского, итальянского, японского и китайсого языков!

Работает прямо в браузере с потрясающе быстрыми выводами, поддерживаемыми ONNXRuntimeWeb

npm i kokoro-js - это все, что нужно для запуска.

Лицензирование: Apache 2.0

Github: https://github.com/hexgrad/kokoro/tree/main/kokoro.js
Demo: https://huggingface.co/spaces/webml-community/kokoro-webgpu

@machinelearning_interview

#tts #ml #ai #opensource #Kokoro
Forwarded from Machinelearning
🌟 RT-DETRv2: усовершенствованная CV-модель для детекции объектов в реальном времени.

RT-DETRv2 - новая версия RT-DETR, альтернативы YOLO. RT-DETRv2 получила ряд улучшений: повышение гибкости, практичности и производительности.

Ключевое изменение - модификация модуля deformable attention в декодере. В RT-DETRv2 предлагается устанавливать различное количество точек выборки для признаков разных масштабов. Это дает возможность более эффективно извлекать многомасштабные признаки, делая ее более адаптировной к множествам сценариям детекции.

Чтобы сделать модель модель более практичной, заменили оператор grid_sample, характерный для DETR, на опциональный discrete_sample, который выполняет округление предсказанных смещений выборки, что ускоряет процесс без значительной потери точности.

RT-DETRv2 обучается стратегией динамического усиления данных (dynamic data augmentation). На ранних этапах используются более интенсивные методы аугментации, чтобы модель лучше обобщала данные. На поздних этапах уровень аугментации снижается, что позволяет модели адаптироваться к целевой области.

В новой версии используется кастомизация гиперпараметров в зависимости от масштаба модели. Например, для ResNet18 увеличивается скорость обучения, тогда как для более крупных моделей - ResNet101, она снижается.

Тесты RT-DETRv2 выполнялись на наборе датасете COCO, где модель показала улучшение метрики AP на 0.3–1.4 пункта по сравнению с RT-DETR, сохраняя при этом высокую скорость работы. Например, RT-DETRv2-S с архитектурой ResNet18 достигла AP 47.9, что на 1.4 пункта выше, чем у RT-DETR-S.

Скрипты для файнтюна RT-DETRv2 с Trainer или Accelerate размещены в репозитории HuggingFace на Github, а ноутбук простого инференса локально - тут или запустить в Google Collab.


📌Лицензирование: Apache 2.0


🟡Статья
🟡Arxiv
🟡Google Collab инференса
🖥Github


#AI #CV #RTDETRv2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
✔️ Ученые добились телепортации с помощью квантового суперкомпьютера.

Исследователи из Оксфордского университета впервые продемонстрировали распределенные квантовые вычисления (DQC) между 2 модулями с захваченными ионами, соединенными оптической сетью. В эксперименте статьи, опубликованной в Nature, ученые использовали квантовую телепортацию для передачи управляемого гейта CZ между модулями с точностью 86%. Это достижение позволяет выполнять сложные квантовые алгоритмы, например алгоритм Гровера, с успешностью 71%.

Распределенная архитектура DQC позволит в будущем создавать крупномасштабные квантовые компьютеры, объединяя несколько модулей через квантовые и классические каналы связи.

Исследователи также показали, что квантовая система может быть построена и масштабирована с использованием уже имеющихся технологий.

«Наш эксперимент демонстрирует, что сетевая распределенная квантовая обработка информации вполне осуществима с помощью существующих технологий», - сказал профессор Дэвид Лукас, главный исследователь исследовательской группы и ведущий ученый в UK Quantum Computing and Simulation Hub.

«Масштабирование квантовых компьютеров остается сложной технической задачей, которая в ближайшие годы потребует новых знаний в области физики, а также интенсивных инженерных усилий».

Результаты исследования были опубликованы в журнале Nature в работе под названием «Распределенные квантовые вычисления по оптическому сетевому каналу».

Новость: independent.co.uk
Видео: https://www.youtube.com/watch?v=TK48to74q-g

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ DeepScaleR-1.5B-Preview

Модель с открытым исходным кодом и 1,5B параметрами, обученная с помощью RL и превосходящая o1-preview по общему математическому мышлению.

Github: https://github.com/agentica-project/deepscaler

HF: https://huggingface.co/agentica-org/DeepScaleR-1.5B-Preview

Blog: https://pretty-radio-b75.notion.site/DeepScaleR-Surpassing-O1-Preview-with-a-1-5B-Model-by-Scaling-RL-19681902c1468005bed8ca303013a4e2
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ Perplexity AI представила новую ультрабыструю поисковую модель Sonar.

Perplexity запустила обновленную версию поисковой модели Sonar, которая основана на Llama 3.3 70B и работает на мощностях от Cerebras Systems. Внутренние тесты, проведенные Perplexity показали, что Sonar превосходит GPT-4o mini и Claude 3.5 Haiku по удовлетворенности пользователей и сравнивается с GPT-4o и Claude 3.5 Sonnet в поисковых задачах.

Cerebras Systems использует уникальные Wafer Scale Engines, позволяющие Sonar обрабатывать 1200 токенов в секунду, что дает почти мгновенные ответы. Доступ к Sonar ограничен для платных пользователей Pro, но Perplexity планирует сделать его более широко доступным в будущем.

perplexity.ai

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🎲 Теория вероятностей играет ключевую роль в машинном обучении, статистике и анализе данных.

В этой статье мы разберем 12 задач, которые помогут лучше понять применение теории вероятностей на практике с использованием Python.

✔️ Читать статью

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
DeepHermes-3 Preview

Новый LLM, который объединяет возможности логического рассуждения и интуитивного языка. Модель использует новые данные для рассуждений на основе Hermes 3 Datamix, позволяет включать или выключать длинные цепочки рассуждений, обеспечивая точность за счет большего времени на вычисления. Это большое преимущество перед другими моделями, так как дает гибкость в выборе требуемой точности, при этом экономя ресурсы, если цепочка рассуждений не нужна.

DeepHermes-3 Preview.

@machinelearning_interview
Forwarded from Machinelearning
🌟 Oumi: опенсорс-фреймворк полного цикла для LLM.

Oumi - открытая платформа для разработки, файнтюна, оценки и экспериментов с языковыми и мультимодальными моделями, созданная совместными усилиями исследователей из 13 ведущих университетов.

Oumi предоставляет инструменты и рабочие процессы для разработки и запуска масштабных экспериментов на кластере, развертывания моделей в рабочей среде и поддерживает методы распределенного обучения (FSDP, DDP):

🟢обучение и файнтюн моделей от 10M до 405B параметров методами SFT, LoRA, QLoRA и DPO;
🟢поддержку популярных семейств моделей: Llama, DeepSeek, Qwen и Phi;
🟢синтез и курирование обучающих данных с использованием LLM-judge;
🟢быстрое развертывание моделей в средах vLLM и SGLang;
🟢проведение комплексного бенчмаркинга моделей по стандартным тестам;
🟢возможность подключения по API OpenAI, Anthropic и Vertex AI;
🟢интеграция с библиотекой Transformers.

В репозитории проекта собраны готовые ноутбуки и скрипты для каждого из этапов жизненного цикла моделей, а подробная документация по использованию поможет легко освоить эту платформу.

📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Документация
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 LLM Reasoners — это библиотека с открытым исходным кодом, разработанная для улучшения способности больших языковых моделей выполнять сложные рассуждения с использованием передовых алгоритмов! Она рассматривает многошаговые рассуждения как процесс планирования и поиска оптимальной цепочки рассуждений, достигая баланса между исследованием и эксплуатацией с помощью концепций "Мировой модели" и "Вознаграждения".

🔎 Основные особенности LLM Reasoners:

🌟 Современные алгоритмы рассуждений: Библиотека предлагает новейшие алгоритмы поиска для рассуждений с LLM, такие как Reasoner Agent, масштабирование на этапе вывода с помощью PRM, рассуждение через планирование, MCTS, Tree-of-Thoughts и другие.

🌟 Интуитивная визуализация и интерпретация: LLM Reasoners предоставляет инструменты визуализации, помогающие пользователям понимать процесс рассуждений. Даже для сложных алгоритмов, таких как Монте-Карло Tree Search, пользователи могут легко диагностировать и понимать процесс с помощью одной строки кода на Python.

🌟 Эффективные рассуждения с LLM: Библиотека оптимизирует производительность передовых методов рассуждений, интегрируя SGLang, высокопроизводительную инфраструктуру вывода LLM, поддерживающую структурированную генерацию. Также поддерживаются другие бэкенды LLM, такие как Huggingface Transformers, OpenAI API, Exllama, Fairscale, Llama.cpp и другие.

🌟 Строгая реализация и воспроизводимость: LLM Reasoners уделяет приоритетное внимание точности и надежности своих реализаций, обеспечивая, что алгоритмы не являются лишь теоретическими концепциями, а практически применимыми инструментами. Все методы тщательно разработаны, чтобы соответствовать их оригинальным формулировкам и производительности.

🔐 Лицензия: Apache-2.0

🖥 Github
Please open Telegram to view this post
VIEW IN TELEGRAM