🖥 Bamboolib — Анализ данных с помощью Python без программирования

Bamboolib – это библиотека Python, которая предоставляет компонент пользовательского интерфейса для анализа данных без написания кода.

Одним из вариантов её использования является импортирование готовых функций для анализа данных, создание которых занимает много времени. Bamboolib предназначена для автоматизации рутинных задач обработки данных, исследования и визуализации и может использоваться как начинающими, так и опытными аналитиками данных.

💨Статья
🖥 Github

@data_analysis_ml

↪️ 7 Простых советов, которые сделают вас профессионалом в использовании Pandas

Pandas – одна из самых популярных и широко используемых библиотек для анализа данных на Python. Её мощь и универсальность делают её незаменимым инструментом для всех, кто работает с данными.

Независимо от того, являетесь ли вы новичком или опытным пользователем, всегда есть возможности для совершенствования ваших навыков работы с Pandas. Вот несколько советов, которые помогут вам поднять свои навыки владения Pandas на новый уровень.

▪ Читать

@data_analysis_ml

📊 Руководство по работе с Matplotlib

Качественный образовательный материал, объясняющий простым языком принципы построения самых разнообразных диаграмм (в том числе комбинированных, например, scatterplot + line plot).

- Про различные типы графиков
- Подробный разбор компонентов и функций matplotlib - Про то, как управлять подписями на осях, размерами и расположением визуализаций
- Разбор функций для построения продвинутых визуализаций

▪Руководство
▪Книга Matplotlib

@data_analysis_ml

🖥 Подбор гиперпараметров модели машинного обучения в PySpark

Сегодня я расскажу, как с помощью библиотеки ML Tuning осуществить подбор гиперпараметров модели GBTRegressor в PySpark.

Apache Spark реализован на языке программирования Scala, который выполняется на JVM (Java Virtual Machine). Чтобы получить функциональность Spark в Python, используется PySpark. Поэтому те, кто не знаком со Scala, но знаком с Python, могут запросто использовать возможности фрейвморка Apache Spark.

• Читать

@data_analysis_ml

🛠 7 инструментов Python, которые должен иметь каждый разработчик машинного обучения и Data Science специалист.

В этой статье будут представлены 7 полезных инструментов Python, которые должны изучить все программисты в 2023 году, чтобы ускорить процесс написания кода и упростить трудоёмкие задачи анализа данных.

Вы увидите инструменты, начиная от сред разработки (IDE), таких как PyCharm, и заканчивая инструментами тестирования браузера, такими как Selenium.

▪Читать

@data_analysis_ml

🖥 Ускорьте код Pandas в 120 раз — Реальные методы ускорения


Pandas – это популярная и надёжная библиотека анализа данных на Python. Она предоставляет структуры данных и функции для управления числовыми таблицами и данными временных рядов.

Однако, при работе с огромными наборами данных, Pandas иногда может стать медленным и неэффективным инструментом. В этой статье мы рассмотрим, как мы можем использовать встроенные функции Python и Pandas для более быстрого выполнения вычислительных задач.

▪ Читать

@data_analysis_ml

🖼 Применение Аугментации с Даталодером

Важным для качественного решения задач CV (Computer Vision) с помощью нейронных сетей, помимо наличия качественной модели (зачастую уже предобученной на других задачах), также является датасет с достаточным количеством изображений (несколько десятков тысяч). Получить необходимый объем размеченных изображений зачастую довольно затруднительно, тогда на помощь может прийти аугментация. Аугментация позволяет увеличить объем исходного количества изображений за счет их изменений: поворот, растягивание/сжатие, изменение цветов и т.д.

Для сокращения времени процесса обучения нейронных сетей используют графические ускорители (GPU), объем памяти которых не способен вместить одновременно весь датасет и обучаемую модель. Для решения этой проблемы используют DataLoader, который «скармливает» нейросети данные из датасета порционно (батчами).

И кажется, что нет проблем: взять готовые архитектуры для аугментации, применить к датасету и поместить в даталодер. Однако, на данный момент DataLoader и Dataset в Pytorch не работают «из коробки» с популярной библиотекой для аугментации albumentations.

Выходом из этого является написание собственного класса Dataset. В данном случае — это Dataset для изображений Imagefolder (структура хранения изображений, при которой каждый класс хранится в папке с соответствующим именем). Для работы понадобится импорт следующих библиотек:

import os
import albumentations as A
from torchvision import datasets, transforms
from torch.utils.data import Dataset, DataLoader

Создадим свой собственный класс ImageFolder, наследуя из класса Dataset:
class ImageFolder(Dataset):
def __init__(self, root_dir, transform=None, total_classes=None):
self.transform = transform
self.data = []

if total_classes:
self.classnames = os.listdir(root_dir)[:total_classes] # for test
else:
self.classnames = os.listdir(root_dir)

for index, label in enumerate(self.classnames):
root_image_name = os.path.join(root_dir, label)

for i in os.listdir(root_image_name):
full_path = os.path.join(root_image_name, i)
self.data.append((full_path, index))

def __len__(self):
return len(self.data)

def __getitem__(self, index):
data, target = self.data[index]
img = np.array(Image.open(data))

if self.transform:
augmentations = self.transform(image=img)
img = augmentations["image"]

target = torch.from_numpy(np.array(target))
img = np.transpose(img, (2, 0, 1))
img = torch.from_numpy(img)

return img, target
Далее создадим правило, по которому исходное изображение будет меняться:

SIZE = 244
SIZE2 = 256

train_transform_alb = A.Compose(
[
A.Resize(SIZE2, SIZE2),
A.ShiftScaleRotate(shift_limit=0.05, scale_limit=0.05, rotate_limit=15, p=0.5),
A.RandomCrop(SIZE, SIZE),
A.RGBShift(r_shift_limit=15, g_shift_limit=15, b_shift_limit=15, p=0.5),
A.RandomBrightnessContrast(p=0.5),
A.Normalize(mean=(0.485, 0.456, 0.406), std=(0.229, 0.224, 0.225)),
]
)
В данном случае каждое изображение с какой-то долей вероятности (p) поворачивается, сжимается, обрезается, меняет цвета и яркость. А еще все изображения приводятся к одному размеру, а также нормализуются.

Однако, если мы применим трансформацию к исходным данным, их объем не изменится относительно изначальных, поэтому нужно отдельно написать шаги трансформации для исходных данных без аугментации (остаются: приведение к исходному размеру, центрирование и нормализация).

train_transform_base = A.Compose(
[
A.Resize(SIZE2, SIZE2),
A.CenterCrop(SIZE, SIZE),
A.Normalize(mean=(0.485, 0.456, 0.406), std=(0.229, 0.224, 0.225))
]
)

▪Читать дальше

@data_analysis_ml

🔍 Что говорить на поведенческом интервью по науке о данных.

Собеседования в сфере дата-сайенс могут проходить по-разному в зависимости от компании и той должности, которую вы планируете занять. Как правило, все начинается с поведенческого интервью с менеджером по найму или сотрудником отдела кадров, за которым следует техническое собеседование с руководителем группы. Затем проводятся тест на написание кода и еще одно техническое собеседование с членами будущей команды.

В разных организациях этот процесс может варьироваться, но первым этапом при найме специалистов в сфере дата-сайенс остается поведенческое интервью.

Поведенческое интервью  —  это собеседование при приеме на работу, во время которого кандидата просят рассказать о достижениях на прежнем месте и его поведении в конкретных ситуациях. Это помогает определить, справится ли он с той или иной должностью. Во время такой беседы рекрутер, как правило, преследует следующие цели.

Узнать, к какому типу людей относится соискатель.
Понять, соответствует ли он требованиям культуры компании, сможет ли принять ее основные ценности.
Выяснить, сработается ли он с другими членами команды, будет ли разделять их видение и цели.
Первым делом на поведенческом собеседовании по дата-сайенс задаются личные вопросы. Скорее всего, в начале беседы вас попросят представиться и рассказать больше о себе.

Итак, у вас появляется прекрасная возможность заявить о себе как о перспективном кандидате. Поэтому важно заранее подготовить ответы на эти вопросы.

До собеседования узнайте больше о компании и должности, которую собираетесь занять. Вам также понадобится набросать план ответов. В этой статье мы обсудим, как правильно структурировать самопрезентацию, чтобы максимально конструктивно построить беседу с интервьюером.

1. Расскажите о своем бэкграунде
Для начала расскажите о своем профессиональном опыте и полученном образовании.

Начните с опыта. Опишите свой карьерный путь до этого момента, расскажите, чему научились, и не забудьте упомянуть самые важные результаты своей деятельности.

Также вы можете рассказать о полученном образовании, если оно имеет отношение к должности, на которую вы претендуете. Важно сосредоточиться только на опыте, который связан с той вакансией, на которую вы проходите собеседование.

К сожалению, многие кандидаты останавливаются на этом шаге и не переходят к следующему, в результате чего теряют возможность заявить о готовности принять ценности, видение и миссию компании. Тем не менее это важный этап собеседования  —  так вы можете показать, что действительно готовы стать ценным сотрудником. Посмотрим, как это сделать.

2. Выразите готовность принять ценности компании
Теперь настало время показать, что вы готовы стать частью команды.

Расскажите о том, что цените в работе и рабочем окружении, и свяжите эту информацию с ценностями и миссией компании. Помимо этого, можно объяснить, почему вам нравится работать в сфере науки о данных, объединив это с подходом компании к данным и тем, что ее представители в них ценят.

Допустим, вы собираетесь устроиться компанию, которая использует данные для принятия важных решений. В таком случае стоит сказать, что вам нравится работать с данными из-за их влияния на бизнес (важный момент, который следует подчеркнуть). Но для этого нужно предварительно узнать больше информации о компании и продумать ответ перед собеседованием.

3. Убедите работодателя, что подходите на эту вакансию
На последнем этапе интервью нужно доказать, что вы достойны занять должность, на которую претендуете. Расскажите о своих профессиональных компетенциях, а также о том, как они помогут вам выполнять должностные обязанности и почему вы заинтересованы в том, чтобы занять именно эту вакансию.

Это важный момент: вам нужно показать, что вы справитесь с будущими обязанностями, а не просто упомянуть свой опыт и ждать положительного ответа. Также стоит рассказать о том, каких результатов, по вашему мнению, вы сможете достичь на этой должности и чего вы от нее ожидаете.

@data_analysis_ml