🔍Насколько легко «войти в айти»?

Мы продолжаем собирать ваши истории о смене профессии и трудоустройстве в IT, чтобы написать большую аналитическую статью.

👉Если вы еще не рассказывали о своем опыте, пройдите короткий опрос по ссылке.

🎄✨ До Нового года осталось меньше недели, поэтому мы подводим итоги

🧑‍🎄 За год наше комьюнити стало больше на 2000 человек

❤️ Особенно вам понравились вот эти посты:

S4 лучше трансформеров?
Почему Swift может заменить Python в мл?
Гайд по обучению модели на PyTorch и MLlib
Когда какие базы данных лучше использовать?
Чего ждать от языка Mojo?

💜 Также вы с интересом читали эти статьи:

25 бесплатных AI-инструментов для разработчиков
Машинное обучение: что это такое и как оно работает
Как научиться решать сложные задачи
LlamaIndex: создаем чат-бота без боли и страданий. Часть 2
16+ лучших нейронок для синтеза речи

🧑‍💻 В 2023 году мы усердно работали и запустили несколько новых каналов:

Библиотека собеса по Data Science | вопросы с собеседований
Библиотека задач по Data Science | тесты, код, задания
Книги для дата сайентистов | Data Science

Кстати, в канале с книгами прямо сейчас проходит новогодний розыгрыш 👈

🎁 И последнее, но не менее важное: мы сделали скидку -35% на все курсы нашей академии proglib.academy

С наступающим!🙂

📊 Разные типы графиков и код для их отрисовки из Matplotlib, Seaborn и Plotly

1️⃣ Линейный график
Самый простой тип графика, последовательность точек данных на линии.

🔵 Matplotlib:

import matplotlib.pyplot as plt
x = [1, 2, 3, 4]
y = [10, 20, 25, 30]
plt.plot(x, y)
plt.show()

🟡 Seaborn:

import seaborn as sns
import pandas as pd
data = pd.DataFrame({'X': [1, 2, 3, 4], 'Y': [10, 20, 25, 30]})
sns.lineplot(x='X', y='Y', data=data)
plt.show()

🟣 Plotly:

import plotly.express as px
fig = px.line(data, x='X', y='Y')
fig.show()

2️⃣ Диаграмма рассеяния (Scatter plot)
Изображает значения двух переменных в виде точек на декартовой плоскости.

🔵 Matplotlib:

import numpy as np
x = np.random.rand(50)
y = np.random.rand(50)
plt.scatter(x, y)
plt.show()

🟡 Seaborn:

sns.scatterplot(x=x, y=y)
plt.show()

🟣 Plotly:

fig = px.scatter(x=x, y=y)
fig.show()

3️⃣ Гистограмма
Показывает частоту появления различных значений случайных величин в выборке.

🔵 Matplotlib:

data = np.random.randn(1000)
plt.hist(data, bins=30)
plt.show()

🟡 Seaborn:

sns.histplot(data, bins=30)
plt.show()

🟣 Plotly:

fig = px.histogram(data, nbins=30)
fig.show()

4️⃣ Ящик с усами (Box plot)
Диаграмма размаха, показывает медиану (или, если нужно, среднее), нижний и верхний квартили, минимальное и максимальное значение выборки и выбросы.

🔵 Matplotlib:

data = np.random.normal(0, 1, 100)
plt.boxplot(data)
plt.show()

🟡 Seaborn:

sns.boxplot(data)
plt.show()

🟣 Plotly:

fig = px.box(y=data)
fig.show()

🎁Что бы вы хотели получить в подарок на Новый год?

Расскажите в комментариях👇

🌲Раз уж у нас Новый год — построим дерево решений

❔Что это такое?
Это модель машинного обучения, которая предсказывает значение целевой переменной, используя последовательность решающих правил. Применяется для задач как классификации, так и регрессии.

Картинка выше иллюстрирует такое дерево, решающее задачу классификации на датасете с ирисами. Видно, что на каждом уровне дерево разбивает объекты на группы, согласно тому, какое значение принимает какой-то признак.

▶️Наша цель — построить оптимальное дерево, которое будет наилучшим образом предсказывать целевую зависимость. Поэтому нам нужен критерий ветвления. Это функция, измеряющая, насколько хорошо предлагаемое разбиение по группам. В контексте классификации наиболее распространёнными критериями являются индекс Джини (Gini impurity) и энтропия (Entropy).

⚫️Сделаем простейшее дерево с помощью библиотеки scikit-learn:

import pandas as pd
from sklearn.tree import DecisionTreeClassifier 
from sklearn.model_selection import train_test_split 
from sklearn import metrics 

df = pd.read_csv('iris.csv') # загрузим датасет с ирисами

X = df.drop('Species', axis=1) # отнесём признаки к X
y = df['Species'] # отнесём целевую переменную к y

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42) # разделим данные на обучающие и тестовые
clf = DecisionTreeClassifier() 
clf.fit(X_train, y_train) # обучим дерево
y_pred = clf.predict(X_test) # проверим на тестовых данных

print(metrics.accuracy_score(y_test, y_pred)) # -> 1.0

Получившаяся модель идеально классифицирует тестовые примеры. Это, впрочем, даёт намёк на одну из проблем деревьев решений — они склонны к переобучению. Это следует учитывать при построении моделей.

⭐️Эффект Валуиджи в больших языковых моделях (LLM)

Автор статьи на LessWrong подробно рассказывает о таком явлении: после того, как вы обучите LLM удовлетворять желаемое свойство «P», чат-бота становится легче заставить удовлетворить прямо противоположное свойство.

⭐️Пример
Вы прописываете следующий диалог в промпте.

Алиса: Ты ненавидишь круассаны и никогда не съел бы ни одного.
Боб: Да, круассаны ужасны. Франция — бу-у.
Алиса: Ты любишь бекон и яйца.
Боб: Да, английский завтрак — единственный завтрак для такого патриота как я.
Алиса: <тут запрос пользователя>
Боб:

Автор объясняет, что такой промпт порождает два симулякра: один антикруассановский, а другой — про-круассановский. В результате модель может с некоторой вероятностью наделить Боба неожиданным про-круассановским поведением.

⭐️Эффект был замечен у чат-бота Bing. Вопреки требованиям он начинал отвечать на запросы грубостями. Именно поэтому автор назвал эффект в честь Валуиджи — взбалмошного и прямолинейного антагониста Луиджи из вселенной Super Mario.

⭐️Почему так происходит?
Автор даёт несколько объяснений, но все они так или иначе связаны с контекстом. Одно из объяснений касается стандартного конструирования протагонистов и антагонистов в литературе. Когда мы получаем описание протагониста, мы можем с лёгкостью представить, каким будет его враг — полной противоположностью.

Советуем прочесть статью полностью: в ней автор подробнее рассказывает о пресловутых симулякрах, литературе и внутренней работе LLM.