❓ How to: как «на самом деле» работает Dropout

Если вы думаете, что Dropout просто обнуляет часть нейронов, это лишь половина правды. Есть ещё один важный шаг, который делает обучение стабильным.

⭐ Разберёмся на примере:
— Представьте, что у нас есть 100 нейронов в предыдущем слое, все с активацией 1.
— Все веса соединений с нейроном A в следующем слое равны 1.
— Dropout = 50% — половина нейронов отключается во время обучения.

⭐ Что происходит:
— Во время обучения: половина нейронов выключена, так что вход нейрона A ≈ 50.
— Во время inference: Dropout не применяется, вход A = 100.

⭐ Проблема:
Во время обучения нейрон получает меньший вход, чем во время inference. Это создаёт дисбаланс и может ухудшить обобщающую способность сети.

⭐ Секретный шаг Dropout:
Чтобы это исправить, Dropout масштабирует оставшиеся активации во время обучения на коэффициент 1/(1-p), где p — доля отключённых нейронов.

— Dropout = 50% (p = 0.5).
— Вход 50 масштабируется: 50 / (1 - 0.5) = 100.

Теперь во время обучения вход нейрона A примерно соответствует тому, что он получит при inference. Это делает поведение сети стабильным.

⭐ Проверим на практике:

import torch
import torch.nn as nn

dropout = nn.Dropout(p=0.5)
tensor = torch.ones(100)

# Обучение (train mode)
print(dropout(tensor).sum())  # ~100 (масштабировано)

# Вывод (eval mode)
dropout.eval()
print(dropout(tensor).sum())  # 100 (без Dropout)

В режиме обучения оставшиеся значения увеличиваются, в режиме inference — нет.

⭐ Вывод:
Dropout не просто отключает нейроны — он ещё масштабирует оставшиеся активации, чтобы модель обучалась корректно.

🏃‍♀️ Proglib Academy

#буст

В каком типе данных сохраняются *args при передаче в функцию?

👾 — Список
👍 — Кортеж
🥰 — Словарь
⚡ — Ничего из вышеперечисленного

🏃‍♀️ Proglib Academy

#междусобойчик

🧠 Периодическая таблица машинного обучения от MIT

В MIT создали структуру, объединяющую 20+ классических алгоритмов машинного обучения в единую таблицу — как периодическую таблицу Менделеева, но для ИИ. Она показывает, как связаны между собой разные подходы, и даже указывает на пробелы, где ещё можно открыть что-то новое.

🔍 Ключевая идея: большинство алгоритмов обучаются находить связи между точками данных. Авторы вывели одно общее уравнение, на котором строятся десятки методов — от кластеризации до современных LLM.

Что в этом крутого:
— Объединяет более 20 ML-алгоритмов через общую математическую структуру
— Позволяет комбинировать подходы и получать более мощные модели
— Уже дал новый алгоритм для кластеризации изображений, который на 8% лучше SOTA
— Делает поиск и разработку новых методов системным, а не случайным

💬 Как говорят авторы:

«Мы начали видеть машинное обучение как пространство, которое можно исследовать, а не просто гадать».

📌 Подробнее

🏃‍♀️ Proglib Academy

#буст

🔒 Оптимистическая vs пессимистическая блокировка: как выбрать и не пожалеть

Что произойдет, если несколько пользователей одновременно начнут менять одни и те же данные? Скорее всего — потеря изменений и ошибки.

Чтобы этого избежать, в системах используются блокировки: пессимистические — когда конфликтам не дают случиться, и оптимистические — когда система проверяет их только перед сохранением.

Разбираемся, как работают блокировки и какая из них лучше подойдет твоему приложению.

🔗 Читать статью

🏃‍♀️ Proglib Academy

#буст

💡 Что посмотреть: топ-3 курса для дата-сайентистов

1️⃣ Numpy For Machine Learning — освоение основ работы с массивами и математическими операциями в Python для анализа данных.

2️⃣ Scikit-Learn Tutorials - Master Machine Learning — подробное руководство по машинному обучению с использованием одного из самых популярных Python-библиотек.

3️⃣ Pandas For Machine Learning — курс по обработке и анализу данных с помощью Pandas, ключевого инструмента для работы с данными.

🏃‍♀️ Proglib Academy

#буст

Мопс за 900 вдобавок

🏃‍♀️ Proglib Academy

#развлекалово

⚡️Redis — не единственный выбор: 3 достойные замены

Redis — это мощный инструмент для работы с данными в памяти, который часто используется как кэш, база данных или брокер сообщений. Однако в некоторых случаях другие решения могут оказаться более подходящими:

⭐ Dragonfly

Dragonfly — это современное высокопроизводительное хранилище данных в памяти, которое позиционируется как замена Redis. Оно предлагает лучшую производительность и масштабируемость, особенно для задач с высокой нагрузкой. Dragonfly поддерживает протокол Redis, что делает переход на него практически безболезненным.

✔️ Плюсы:

— Высокая производительность
— Полная совместимость с Redis
— Эффективное использование ресурсов.

⭐ KeyDB

KeyDB — это многопоточная версия Redis, которая использует несколько ядер процессора для повышения производительности. Он полностью совместим с Redis, поэтому вам не придется переписывать код при переходе.

✔️ Плюсы:

— Многопоточность для лучшей производительности
— Простота миграции с Redis
— Поддержка всех основных функций Redis.

⭐ Memcached

Memcached — это классическое решение для кэширования данных в памяти. Оно простое, надежное и отлично подходит для задач, где требуется высокая скорость доступа к данным. Хотя Memcached уступает Redis в функциональности, он остается популярным выбором для кэширования.

✔️ Плюсы:

— Простота и минимализм
— Высокая скорость работы
— Широкая поддержка в экосистеме.

🏃‍♀️ Proglib Academy

#буст

Что выведет код?

🔥 — 3
❤️ — 3.5
👍🏼 — Error

🏃‍♀️ Азбука айтишника

#междусобойчик

🧠 Как выжать максимум из резюме на HeadHunter

Хорошее резюме — это только начало. Даже если вы профессионал, в поиске работы многое решает видимость анкеты в выдаче. А вот тут начинается борьба за внимание рекрутера.

⭐ Что помогает реально продвинуть резюме вверх:

— Автоподнятие и ручные апдейты
— Правильное имя файла резюме
— Ключевые слова, которых ищут HR
— Механика «откликов + запросы»
— И даже… использование разных браузеров (да-да)

🔗 Все 9 приёмов с примерами — в статье.

🐸 Библиотека джависта #буст