Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.7K subscribers
2.25K photos
113 videos
64 files
4.66K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
🤖 👀 ТОП-5 опенсорсных библиотек для компьютерного зрения в 2024

Мы отобрали 5 мощных опенсорсных библиотек, которые помогут решить широкий спектр задач: от обнаружения аномалий в изображениях до аугментации данных.

👉Читать о библиотеках подробнее в статье
👍31
🔘🔘🔘Алгоритм DBSCAN для кластеризации 🔘🔘🔘

Кластеризация — это метод, который позволяет группировать объекты в кластеры на основе их сходства. Один из популярных алгоритмов для выполнения этой задачи — DBSCAN (Density-Based Spatial Clustering of Applications with Noise).

🪅 Основные преимущества DBSCAN

🔘Сам определяет количество кластеров (в отличие от K-means),
🔘Успешно справляется с кластеризацией данных, где кластеры могут иметь сложные формы.

Как работает DBSCAN

1⃣ Все объекты выборки делятся на три типа: внутренние/основные точки (core points), граничные (border points) и шумовые точки (noise points). Статус каждой точки определяется по плотности соседей в пределах заданного радиуса (Eps).

2⃣ Шумовые точки убираются из рассмотрения и не приписываются ни к какому кластеру.

3⃣ Основные точки, у которых есть общая окрестность, соединяются ребром.

4⃣ В полученном графе выделяются компоненты связности.

5⃣ Каждая граничная точка относится к тому кластеру, в который попала ближайшая к ней основная точка.

DBSCAN можно назвать одним из самых сильных алгоритмов кластеризации. Однако он может долго работать, поскольку чувствителен к размерности пространства признаков.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17👏2🔥1
⚛️ Нейросети для физики: как устроены PINN (Physics-informed neural networks)

Главная особенность таких нейросетей — наличие в Loss‑функции включена разница между предсказанными значениями и значениями, полученными из уравнений, описывающих физический процесс. Входом для такой модели являются координаты.

PINN могут применяться:
▪️для моделирования волнового распространения в сейсмологии;
▪️для оценки состояния и параметров, а также обнаружения аномалий в электроэнергетических системах;
▪️в моделировании кровотока в артериях и прогнозировании артериального давления и др.

Подробнее о PINN читайте в новой статье на «Хабре» 👈
👍5😁41
✍️ Хэндбук дата-сайентиста 2024

В этом репозитории автор собрал множество полезных ресурсов, которые помогут прокачать различные навыки. Среди собранных ресурсов есть как платные, так и бесплатные.

▪️YouTube-каналы
▪️Блоги
▪️Подкасты
▪️Книги

🔗 Ссылка на репозиторий
🔥6👍3
Привет, друзья! 👋

Мы готовим статью о самых раздражающих вопросах на собеседованиях и хотим узнать ваше мнение! 🤔💼

📌 Какой вопрос на собеседовании вы считаете самым бесящим или нелепым? Почему?
🎭 Как вы обычно отвечаете на вопрос «Расскажите о своих недостатках»? Поделитесь своими лайфхаками!
🚀 Какой самый неожиданный или креативный вопрос вам задавали на собеседовании? Как вы на него ответили?

Ваши ответы помогут другим кандидатам подготовиться к собеседованиям! Самые интересные истории и советы попадут в нашу статью.

Ждём ваших комментариев! 👇😊
👏3🥰2🙏1
🤔 Инварианты: проектирование эффективных алгоритмов

Инварианты — мощный инструмент для анализа, оптимизации и доказательства корректности алгоритмов. Покажем, как можно их использовать для разработки максимально эффективных решений сложных задач.

🔗 Читать статью
😁4🎉3🔥2👍1
🤖💼 ТОП-6 самых высокооплачиваемых профессий в сфере ИИ

Forbes опубликовал список самых высокооплачиваемых профессий в сфере ИИ. Рассказываем, какие профессии лидируют и какие навыки требуются.

Зарплаты указаны для западного рынка.

👉 Читать подробности в статье
🌚7👍3😁2🤔2
👾 Небольшая игра для понимания концепции активного обучения

Этот сайт содержит описание такого подхода, как активное обучение. Его суть заключается во взаимодействии алгоритма с некоторым источником информации, способным размечать запрошенные данные.

В игре вам предлагается разметить точки на графике так, чтобы построенная разделяющая линия совпала с истинной границей принятия решения.

🔗 Ссылка на игру
🎉3
👀 ML system design: 450 примеров для изучения

Это большая таблица, которая содержит материалы с описанием систем машинного обучения более 100 компаний: от Netflix до Slack. Вы можете искать по базе, фильтруя примеры по отраслям или направлению машинного обучения.

Вот лишь некоторые примеры из базы:

▪️GitLab: проверка качества сгенерированного ИИ материала;
▪️Netflix: классификация видеоконтента;
▪️Google: исправление грамматических ошибок

🔗 Ссылка на полную базу
🔥10
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈
🐱 Pipecat — open-source фреймворк для создания голосовых и мультимодальных агентов

Позволяет разработчикам создавать такие приложения, как персональные помощники, боты для работы с клиентами и пр.

Фреймворк поддерживает интеграцию с различными AI-сервисами, предлагает возможности для работы с текстом, изображениями и видео и обеспечивает гибкость для локального или облачного развёртывания.

🔗 Ссылка на репозиторий
1
🔢 Калькулятор для расчёта необходимого размера выборки для A/B тестов

Реддитор поделился сайтом, который сделал, чтобы облегчить себе жизнь.

Калькулятор может:
▪️работать с разными пропорциями распределения групп (например, 20/80),
▪️поддерживать более двух тестируемых групп помимо,
▪️выбирать между односторонним и двусторонним статистическим тестом.

🔗 Ссылка на калькулятор
7👍3