💾 10 способов работы с большими файлами в Python, о которых ты не знал

Годнота для всех, кто работает с данными. Статья раскрывает разные подходы к обработке больших файлов — от простых итераторов до распределенных вычислений.

👍 Сохраняй себе, точно пригодится в работе: https://proglib.io/sh/VOcgo7w0W1

😱 10 Python-библиотек, которые изменят ваш Data Science

Python для Data Science — это не только Pandas и NumPy! В нашей статье — 10 скрытых библиотек, которые ускорят работу с большими данными, автоматизируют ML и улучшат визуализацию.

✅ Быстрые альтернативы Pandas (Dask, Modin, Polars, Datatable)
✅ AutoML для моделей (PyCaret, H2O.ai)
✅ Упрощение трансформаций (Fugue)
✅ Умная визуализация (Sweetviz, Lux)

Ссылка на сборник библиотек: https://clc.to/ibe2ew

Главные ИИ-новости февраля

🦾 Hugging Face запустила Spaces — гигантский каталог, где собрано почти 400,000 нейросетей.

🎙 Джефф Дин и Ноам Шазир (Google) дали двухчасовое интервью о будущем ИИ.

🚀 Grok-3 с улучшенным ризонингом.

🤖 Яндекс выпустил YandexGPT.

📸 YOLO v12 — новая версия культового детектора объектов.

🧠 OpenAI выпустили GPT-4.5 — еще умнее и креативнее.

📚 Анонс бесплатного курса по генеративному ИИ от Kaggle и Google.

👨‍💻 Google представил AI co-scientist и Gemini Code Assist — новый ИИ-помощник для кодинга.

ИИ не стоит на месте — следите за обновлениями!

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

🎬 Предсказываем ваш следующий любимый фильм с NetworkX, Jaccard Similarity и cuGraph

В мире, переполненном данными, делать осознанный выбор становится сложнее. К счастью, рекомендательные системы помогают упростить этот процесс, используя мощь графов.

Почему графы?
Они отлично моделируют связи между объектами, а NetworkX — популярный инструмент для графового анализа в Python. Он удобен, богат алгоритмами и имеет активное сообщество.

❌ Но есть проблема — NetworkX не справляется с большими масштабами данных, которые нужны для рекомендаций.

Можно ли создать эффективную рекомендательную систему на графах в несколько строк кода, сочетая удобство и высокую производительность?

💡 Ответ ищите в статье: https://clc.to/hE8VPA

🤔 Основы математики в Machine Learning / Deep Learning

🗓 6 марта приглашаем вас на прямой эфир, где мы подробно разберем ряд Тейлора, собственные векторы и другие ключевые понятия в ML.
(ссылка)

🌟 Спикер: *Мария Горденко* – Старший преподаватель ФКН НИУ ВШЭ, НИТУ МИСИС, аспирант департамента анализа данных и искусственного интеллекта ФКН НИУ ВШЭ, а также преподаватель на курсе Алгоритмы и структуры данных в proglib academy.


Место работы: Инженер-программист, ведущий эксперт НИУ ВШЭ, цифровой ассистент и цифровой консультант НИУ ВШЭ.


😮 На вебинаре вы узнаете:

🔵 Теорию вероятностей: обсудим случайные величины, вероятность, математическое ожидание и дисперсию.

🔵 Линейную алгебру: изучим векторы, матрицы, собственные векторы и собственные значения.

🔵 Математический анализ: разберем производные и разложение функций в ряд Тейлора.

🔵 Практику: применим полученные знания на реальных кейсах из области Machine Learning и Deep Learning.

🎯 Почему это важно?
Понимание математических основ помогает глубже разобраться в работающих под капотом алгоритмах ML/DL и эффективно применять их на практике.

👉 Присоединяйтесь к нам и совершенствуйте свои навыки в машинном обучении!

📌 Регистрация по ссылке: https://proglib.io/w/6693dce7

❗ Гессиан больше не нужен! Упрощаем оценку неопределённостей в ML.

Оценка неопределённости в нейросетях — важная, но вычислительно затратная задача. В недавнем исследовании, показано, что традиционные методы на основе Гессиана не только требовательны к ресурсам, но и порой неточны.

Что предложено:
✅ Заменяем Гессиан на единичную матрицу в аппроксимации Лапласа
✅ Улучшаем определение выбросов в данных
✅ Достигаем точности на уровне небайесовских методов

Как это работает? Читайте в статье: https://clc.to/yxJ1sQ

🔍 Топ-5 библиотек для объяснения ML моделей

🟢 SHAP (Shapley Additive Explanations)
Один из самых популярных методов объяснения модели на основе вкладов признаков.

🟢 LIME (Local Interpretable Model-agnostic Explanations)
Модель-агностичный подход, который обучает локальную интерпретируемую модель вокруг конкретного предсказания.

🟢 Eli5 (Explain Like I’m Five)
Упрощённое объяснение сложных ML-моделей, поддержка scikit-learn, Keras и других фреймворков.

🟢 AI Explainability 360 (AIX360)
Библиотека от IBM для объяснения моделей на различных типах данных: табличных, текстовых, изображениях и временных рядах.

🟢 InterpretML
Инструмент от Microsoft, который включает как интерпретируемые «прозрачные» модели, так и объяснители для «чёрных ящиков».

TSFRESH: автоматическое извлечение признаков из временных рядов

📌 TSFRESH (Time Series Feature extraction based on scalable hypothesis tests) — это мощная библиотека для автоматического извлечения признаков из временных рядов.

🔹 Использует алгоритмы из статистики, анализа временных рядов, обработки сигналов и нелинейной динамики.
🔹 Позволяет анализировать не только временные ряды в классическом понимании, но и любые последовательности событий.
🔹 Включает встроенный механизм отбора релевантных признаков.

Ссылка на проект: https://clc.to/TntpNw

🚀 Что должны уметь супергерои Data Science?

Data Science — это такая область, где требуется баланс между программированием, математикой и исследовательской работой. В разных компаниях ожидания от дата-саентистов могут сильно различаться: кто-то требует глубоких знаний в математике, а кто-то больше акцентирует внимание на навыках разработки. В любом случае, хороший код — это основа работы каждого супергероя DS.

Хотите узнать, как развивать навыки дата-саентиста, работать с командой и интегрировать решения с коммерческой и продуктовой разработкой?

Ответ в статье: https://clc.to/3o7TpA

Как вычислить Softmax без переполнения?

Вычисление Softmax связано с экспонентами, которые могут вызывать числовые ошибки и переполнение. Особенно при больших входных значениях.

📌 Что делать? Подробнее на картинке.

🤖 AI + собеседования = новый тренд?

Недавний опрос показал, что каждый десятый россиянин уже использует AI, чтобы подготовиться к собеседованию!

🔹 Лидеры — ChatGPT и GigaChat: помогают оформить резюме и сопроводительное письмо.
🔹 AI для тренировки интервью пока используют реже.
🔹 60% уверены, что нейросети реально помогают.
🔹 Но есть опасения, что AI может завышать реальные навыки.

💥 И вот пример, как AI уже меняет рынок труда:

Чунгин Ли, студент Колумбийского университета, создал InterviewCoder — AI-приложение для прохождения технических собеседований.

✔️ Стартап приносит $30K в месяц!
✔️ Он протестировал его на собеседовании в Amazon и получил офер!
✔️ Рассказал об этом в Twitter, собрал кучу просмотров, но…
✔️ Amazon разозлился, пожаловался в его университет, и теперь Чунгина могут отчислить.

Как думаете, это гениальный лайфхак или обман работодателей?

✅ Промпт для обучения модели классификации

Хотите быстро натренировать ML-модель для классификации? Используйте этот промпт:

I have a dataset that contains [describe the dataset: type, structure, source, and key features]. The dataset consists of [number of rows] rows and [number of columns] columns. The features include [list of key features], and the target variable is [target feature].

Please build a machine learning model that predicts [target feature] using appropriate preprocessing, feature engineering, and model selection.

Попробуйте и расскажите, какие результаты получили!

Библиотека дата-сайентиста #буст

😍 Подборка 25 полезных и бесплатных ресурсов для аналитиков

Если ты сомневаешься, стоит ли тратить время на освоение статистических методов и других сложных тем аналитики, начни с бесплатных курсов. Это отличный способ:

👍 Получить крепкую базу знаний, которая поможет понять, стоит ли углубляться дальше.
👍 Получить сертификаты, которые могут быть полезны для твоего резюме, особенно если опыта пока нет.

Ссылка на ресурсы: https://clc.to/4p3g-g

Библиотека дата-сайентиста #буст

🚀 How to: как настроить Gradient Boosting

Не выбирайте слишком много гиперпараметров. Достаточно этих пяти:
✔️ learning rate, глубина деревьев, количество деревьев, subsample ratio, L1/L2-регуляризация.

Учитывайте взаимосвязь параметров:
✔️ Меньший learning rate → нужно больше деревьев.
✔️ Глубокие деревья → нужен меньший learning rate.

Как настраивать:
✔️ Фиксируем 500–1000 деревьев.
✔️ Тюним learning rate, глубину и другие параметры.
✔️ Используем раннюю остановку (15–20 итераций без улучшений).

Полезные рекомендации:
✔️ Learning rate: 0.001–0.05, по умолчанию 0.01.
✔️ Размер датасета: для маленьких → деревья 1–3, для больших → 4–6.
✔️ Регуляризация: L2 — для коррелированных фич, L1 — для отбора важных.
✔️ subsample: 0.1–0.7, по умолчанию 0.5.
✔️ k-fold CV обязателен, для временных рядов — nested sliding CV.

🔥 Какой совет был полезен? Делитесь!

Библиотека дата-сайентиста #буст