Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
275 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🌌 Galactic

Если вы хотите, изучить,, подготовить, очистить или создать эмбединги из больших наборов неструктурированных текстовых данных, попробуйте Galatic.

Он отдлично подходит для файнтюнинга данных, создания документов для RAG. Инструмент поможет выполнить полную подготовку неструктурированных датасетов для работы с LLM.

Github

@data_analysis_ml
👍143🔥2
⚡️Вышло обновление Automatic 1111 до версии 1.8.0

Обновился Automatic 1111 — самый популярный интерфейс для генерации изображений с помощью нейросетей Stable Diffusion

🟠Soft инпеинтинг с дополнительным размытием краев позволяет добиться невероятного качества изменения. Переходы теперь идеальные между оригиналом и инпеинтингом. Особенно если использовать модель для инпеинтинга SDXL, поддержка которых теперь доступна из коробки, просто скачайте модель как обычно.

🟠Поменялся интерфейс в меню экстрасетей (модели, лоры, эмбединги), теперь навигация представлена деревом каталогов и это наконец-то стало удобно.

🟠Добавлена нативная поддержка апскейлеров формата DAT, попробуйте скачать 4xLSDIRDAT в папку stable-diffusion-webui\models\DAT, не страшно если её нет, можете создать, она появится при попытке активировать DAT апскейлер на вкладке Extras.

🟠В txt2img теперь есть кнопка, которая позволяет сделать Hires. fix на уже готовой картинке, при этом сразу начинается апскейл экономя время.

🟠Крутых обновлений целая гора, вот список на изображении

Тестите, пишите как оно)

🖥 Automatic1111

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥115👍4
This media is not supported in your browser
VIEW IN TELEGRAM
🤗 Новый курс "Модели с открытым исходным кодом на Hugging face".

huggingface изменил правила игры, позволив разработчикам легко использовать любую из сотен тысяч уже готовых моделей с открытым исходным кодом для сборки в своих проектах.

Этот курс научит вас лучшим практикам работы с hf, в том числе поиску и выбору моделей.

Вы научитесь пользоваться библиотекой Transformers и познакомитесь с несколькими моделями обработки текста, аудио и изображений, включая сегментацию изображений с нулевым кадром, классификацию аудио с нулевым кадром и распознавание речи.

Вы также научитесь использовать мультимодальные модели для визуального ответа на вопросы, поиска изображений и подписи к изображениям. Наконец вы поработаете с Gradio и Hugging Face Spaces.

https://deeplearning.ai/short-courses/open-source-models-hugging-face/
12👍5🔥2
🚀 Датасет Amazon Reviews получил четвертое обновление!

Amazon Reviews, один из крупнейших и наиболее широко используемых наборов данных отзывов, насчитывающий более 500 миллионов отзывов пользователей, более 48 миллионов товаров, более 60 миллионов токенов, из 33 категорий.

https://amazon-reviews-2023.github.io

@data_analysis_ml
👍142🔥1
🔅Секреты успешного анализа данных: 10 принципов, которые работают

Эти 10 принципов — подборка практических и довольно очевидных правил, главное — придерживаться их. Начнём!

1️⃣Определите цель анализа данных.
Подумайте о том, что для вас на данный момент важнее всего: выявить скрытые закономерности в данных, предсказать будущие тренды или что-то другое.

2️⃣Обеспечьте качество данных.
Подготовка данных к анализу - это ваш первый шаг к созданию шедевра аналитики.

3️⃣Применяйте разнообразные методы анализа.
Уверенность в владении разнообразными методами анализа поможет вам принимать обоснованные решения и открывать новые перспективы.

4️⃣Используйте современные инструменты для обработки данных.
Открывайте новые горизонты современных технологий, обогащайте свои навыки и возможности в области обработки данных и становитесь настоящим профи данных.

5️⃣Создавайте эффективные модели прогнозирования.
Используя эффективные модели прогнозирования, вы вооружаетесь сильным инструментом, позволяющим вам принимать осознанные решения и идти впереди конкурентов.

6️⃣Осуществляйте визуализацию данных для наглядного представления информации.
Визуализация делает данные живыми и наглядными, что поможет вам принимать обоснованные решения.

7️⃣Учитывайте контекст и особенности данных.
Это позволит вам строить глубокие и точные модели, учитывая все нюансы и особенности, что помогает принимать обоснованные и эффективные решения.

8️⃣Используйте машинное обучение и искусственный интеллект.
ML и AI — это ваш мощный арсенал в битве за понимание и прогнозирование данных.

9️⃣Проводите регулярную проверку и обновление данных.
Это поможет вам принимать обоснованные решения, опираясь на достоверные и актуальные факты.

0️⃣Извлекайте практическую пользу из результатов анализа.
Это поможет вам использовать данные не только как информацию, но и как мощный инструмент для достижения целей и реализации задач.

В общем, данные — это не просто цифры и факты, это ключ к принятию обоснованных решений. Используйте их на полную!

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
26👍10🔥2
🔺 Полезные ссылки для специалиста по Data Science

Эти источники помогут освежить знания по DS, особенно полезно будет полистать перед собеседованием

Изучение основ Python
Питонтьютор — понятный и удобный курс для освоения базы. Там много задач для практики, которые попадаются на собеседованиях.
Основы Python-разработки — ещё один бесплатный курс: за 20 часов вы изучите основы и напишете простой код.
Основы программирования и анализа данных на Python — короткий видеокурс. Особенно рекомендую лекции 7—10 про полезные библиотеки Pandas, NumPy, Matplotlib и Seaborn.

Основы SQL
Интерактивный тренажёр по SQL — курс с множеством практических заданий на создание SQL-запросов. Рекомендую начать с него.
Основы работы с базами данных и SQL — ещё один курс с интерактивным тренажёром.
Упражнения на SQL-EX — тренажёр написания запросов SELECT. Регулярно решайте задачи, чтобы уверенно чувствовать себя на собеседованиях.

Библиотеки Python
Python PANDAS, полный курс для начинающих — библиотека Pandas помогает удобно работать с табличными данными и похожа логикой на SQL. Основные операции стоит знать наизусть: чтение таблиц, редактирование, работа с пропусками, изменение типов данных. После изучения теории возьмите какой-нибудь датасет и вручную «покрутите» его в Jupyter Notebook
Основы NumPy — библиотека NumPy помогает быстро и удобно производить математические операции. Она используется во многих других библиотеках. Необязательно знать все операции наизусть, главное — уметь быстро в них сориентироваться при необходимости.
Matplotlib — библиотеки для визуализации данных. В Seaborn графики выглядят красивее, а Matplotlib гибко настраивается. Заучивать все функции и методы необязательно.
50 оттенков Matplotlib — статья с примерами графиков, чтобы построить что-то подобное для своих данных.

Алгоритмы и структуры данных
Тренировки по алгоритмам — лекции с теорией, домашними заданиями и разборами. Сдавайте задания вовремя, чтобы получить сертификат. Лучших участников готовят к прохождению алгоритмических собеседований.
LeetCode — сайт с задачами для подготовки к собеседованиям. Решайте уровни Easy и Medium перед интервью.

Математика для анализа данных
Бесплатный курс «Основы математики для цифровых профессий» поможет закрыть пробелы в базовой математике, чтобы перейти к более сложным темам.
Теория вероятностей поможет проанализировать данные и отличить случайности от закономерностей. Смотрите лекции от МФТИ и других крутых универов по теорверу на YouTube.
Основы математической статистики — курс связан с теорвером, и с его помощью можно научиться делать достаточно точные выводы о данных по их выборке.
Курс ведёт Анатолий Карпов — ex-тимлид команды аналитики в отделе бизнеса и рекламы VK. Он крутой специалист, рекомендую его вебинары на YouTube

Продуктовая аналитика
Публичное собеседование по продуктовой аналитике
ML для оптимизации цен на основе эластичности по цене
Как мы не сделали рекомендательную систему в банке
Этого должно быть вполне достаточно, чтобы начать проходить собеседования по чистой продуктовой аналитике.

Используйте все эти ресурсы по максимуму 🔥

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28🔥136
⭐️Что такое алгоритм ADD-DEL и где используется?

Алгоритм ADD-DEL используется для определения наиболее значимых признаков и улучшения производительности модели.
ADD-DEL является одним из методов отбора признаков, основанных на пошаговом поиске. Он работает так:

Начальная точка: Начальное множество признаков пустое.

Добавление признаков (ADD): Алгоритм просматривает все признаки, которые еще не были добавлены в множество, и добавляет тот признак, который приводит к наибольшему увеличению критерия оценки. Этот процесс повторяется, пока добавление новых признаков не перестанет улучшать критерий оценки.

Удаление признаков (DEL): После того, как невозможно улучшить критерий оценки путем добавления новых признаков, алгоритм начинает удалять признаки. Он просматривает все признаки, которые уже были добавлены в множество, и удаляет тот признак, который приводит к наименьшему ухудшению критерия оценки. Этот процесс повторяется, пока удаление признаков не перестанет улучшать критерий оценки.

Процесс продолжается до достижения определенного критерия остановки, например, до достижения определенного числа признаков или улучшения производительности модели.

В целом алгоритм ADD-DEL используется довольно часто, для подробного ознакомления вот ниже полезные ссылки
🖥 Код с объяснением алгоритма
📎 Лекции МГУ
📎 Лекция Воронцова К.В.

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍256🔥6
📌Годная статья по кластеризации в Machine Learning

Что освещается в статье?
• Алгоритмы кластеризации — K-means, Spectral Clustering и DBSCAN

• На чём основан K-means

• О работе Spectral Clustering, как он работает с нелинейно разделимыми данными, устойчив ли к выбросам

• Как DBSCAN группирует точки на основе плотности и самостоятельно определяет количество кластеров.

• Как работает Affinity Propagation; соотношение между данными и выбором репрезентативных образцов

• Подводные камни алгоритмов кластеризации, такие как выбор оптимальных параметров и высокая вычислительная сложность

📎 Статья

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21🔥75
🌟 Открытая книга для специалистов в области AI и ML

Книга состоит из 3 глав.

Глава 1: Освоение OpenAI API
Первая глава знакомит читателей с API ChatGPT. Предоставлена дорожная карта для понимания ключевых стратегий, включая модерацию, Machine Reasoning и Prompt Chaining.

Глава 2: LangChain
Вторая глава посвящена практике использования LangChain. Описан процесс разработки, от настройки среды до внедрения передовых методик извлечения информации (Document Loaders, Text Splitters, Semantic Search, RAG Systems).

Глава 3: ML Ops для LLMs, или LLMOps
Третья глава представляет собой руководство по интеграции LLM в рабочие процессы.
Описываются ключевые этапы от выбора модели до ее развертывания и мониторинга.

Стоит учитывать, что книга не может охватить много аспектов, по-большей части всё вокруг прикручивания готового чат-бота для своих целей
Но при всё при этом можно найти для себя много всего полезного

📎 Книга

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥64
This media is not supported in your browser
VIEW IN TELEGRAM
📊 Uniplot

Uniplot легковесная библиотека, которая генерирует графики в терминале.

Эта библиотека была нужна для того, чтобы использовать графики как часть вашего конвейера CI / cd для анализа данных / машинного обучения - всякий раз, когда что-то идет не так, вы получаете не только ошибку и трассировку, но и графики, которые показывают, в чем заключалась проблема.

Github

@data_analysis_ml
🔥13👍86🤯2
🔥 Годный сайт, описывающий реализации нейросетей

Нереально полезный сайт, тут содержится много полезностей по ML и DS, например, реализация различных нейронных сетей.
На скрине показана имплементация LSTM, каждый шаг подробно описан со всеми нужными формулами.
Если нажать на название переменной, то она подсветится везде, что тоже очень удобно

📎 Сайт

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍237🔥4