👍 Эффективная работа с JSON Lines в Python: сравнение библиотек
JSON — популярный формат для обмена данными, но его обработка в data science и data engineering может быть сложной. Часто данные представлены в виде JSON Lines (NDJSON), и первый шаг — преобразование их в dataframe.
В статье от Nvidia сравнивают производительность и функциональность Python-библиотек:
✅ pandas
✅ DuckDB
✅ pyarrow
✅ RAPIDS cuDF pandas Accelerator Mode
Результаты:
📊 cuDF.pandas показывает отличное масштабирование и высокую пропускную способность, особенно для сложных данных.
🔧 Широкий набор опций JSON-ридера в cuDF повышает совместимость с Apache Spark и упрощает обработку аномалий в JSON.
Статья: https://clc.to/m8Lsog
JSON — популярный формат для обмена данными, но его обработка в data science и data engineering может быть сложной. Часто данные представлены в виде JSON Lines (NDJSON), и первый шаг — преобразование их в dataframe.
В статье от Nvidia сравнивают производительность и функциональность Python-библиотек:
✅ pandas
✅ DuckDB
✅ pyarrow
✅ RAPIDS cuDF pandas Accelerator Mode
Результаты:
📊 cuDF.pandas показывает отличное масштабирование и высокую пропускную способность, особенно для сложных данных.
🔧 Широкий набор опций JSON-ридера в cuDF повышает совместимость с Apache Spark и упрощает обработку аномалий в JSON.
Статья: https://clc.to/m8Lsog
👍12❤3🔥1
🤔 Основы математики в Machine Learning / Deep Learning
🗓 6 марта приглашаем вас на прямой эфир, где мы подробно разберем ряд Тейлора, собственные векторы и другие ключевые понятия в ML.
(ссылка)
🌟 Спикер: *Мария Горденко* – Старший преподаватель ФКН НИУ ВШЭ, НИТУ МИСИС, аспирант департамента анализа данных и искусственного интеллекта ФКН НИУ ВШЭ, а также преподаватель на курсе Алгоритмы и структуры данных в proglib academy.
Место работы: Инженер-программист, ведущий эксперт НИУ ВШЭ, цифровой ассистент и цифровой консультант НИУ ВШЭ.
😮 На вебинаре вы узнаете:
🔵 Теорию вероятностей: обсудим случайные величины, вероятность, математическое ожидание и дисперсию.
🔵 Линейную алгебру: изучим векторы, матрицы, собственные векторы и собственные значения.
🔵 Математический анализ: разберем производные и разложение функций в ряд Тейлора.
🔵 Практику: применим полученные знания на реальных кейсах из области Machine Learning и Deep Learning.
🎯 Почему это важно?
Понимание математических основ помогает глубже разобраться в работающих под капотом алгоритмах ML/DL и эффективно применять их на практике.
👉 Присоединяйтесь к нам и совершенствуйте свои навыки в машинном обучении!
📌 Регистрация по ссылке: https://proglib.io/w/25a0a8c9
🗓 6 марта приглашаем вас на прямой эфир, где мы подробно разберем ряд Тейлора, собственные векторы и другие ключевые понятия в ML.
(ссылка)
🌟 Спикер: *Мария Горденко* – Старший преподаватель ФКН НИУ ВШЭ, НИТУ МИСИС, аспирант департамента анализа данных и искусственного интеллекта ФКН НИУ ВШЭ, а также преподаватель на курсе Алгоритмы и структуры данных в proglib academy.
Место работы: Инженер-программист, ведущий эксперт НИУ ВШЭ, цифровой ассистент и цифровой консультант НИУ ВШЭ.
😮 На вебинаре вы узнаете:
🔵 Теорию вероятностей: обсудим случайные величины, вероятность, математическое ожидание и дисперсию.
🔵 Линейную алгебру: изучим векторы, матрицы, собственные векторы и собственные значения.
🔵 Математический анализ: разберем производные и разложение функций в ряд Тейлора.
🔵 Практику: применим полученные знания на реальных кейсах из области Machine Learning и Deep Learning.
🎯 Почему это важно?
Понимание математических основ помогает глубже разобраться в работающих под капотом алгоритмах ML/DL и эффективно применять их на практике.
👉 Присоединяйтесь к нам и совершенствуйте свои навыки в машинном обучении!
📌 Регистрация по ссылке: https://proglib.io/w/25a0a8c9
❤3👍3
5 распространённых ошибок в Django
1️⃣ Не использование
❌ Ошибка: Неоптимизированные запросы к базе данных при работе с внешними ключами и многими ко многим, что приводит к неэффективным запросам (проблема N+1).
2️⃣ Недооценка возможностей Django Admin
❌ Ошибка: Недостаточное использование мощных функций интерфейса администрирования Django.
3️⃣ Обращение с QuerySets как с обычными списками
❌ Ошибка: Неправильное понимание работы QuerySets, что приводит к лишним запросам к базе данных.
4️⃣ Неверное обслуживание статических и медиа-файлов
❌ Ошибка: Использование Django для обслуживания статических и медиа-файлов в продакшене.
5️⃣ Использование `
❌ Ошибка: Использование
1️⃣ Не использование
select_related и prefetch_related для FK и M2M запросов❌ Ошибка: Неоптимизированные запросы к базе данных при работе с внешними ключами и многими ко многим, что приводит к неэффективным запросам (проблема N+1).
2️⃣ Недооценка возможностей Django Admin
❌ Ошибка: Недостаточное использование мощных функций интерфейса администрирования Django.
3️⃣ Обращение с QuerySets как с обычными списками
❌ Ошибка: Неправильное понимание работы QuerySets, что приводит к лишним запросам к базе данных.
4️⃣ Неверное обслуживание статических и медиа-файлов
❌ Ошибка: Использование Django для обслуживания статических и медиа-файлов в продакшене.
5️⃣ Использование `
.all() с большими или неупорядоченными наборами данных❌ Ошибка: Использование
.all() на моделях без дефолтного порядка или с большими наборами данных, что приводит к проблемам с производительностью.👍8❤2🔥1
Философия разработки: советы для разработчиков
В своей статье старший разработчик делится важными принципами, которые помогут избежать распространенных ошибок:
👍 Избегайте переписывания с нуля — распознавайте сложности заранее.
👍 Автоматизируйте хорошие практики — автоматические тесты помогут поддерживать стандарты и предотвратить ошибки.
👍 Учитывайте патологичные данные — ваш код должен справляться с любыми ситуациями, даже с самыми необычными входными данными.
👍 Ищите более простые решения — улучшайте код и ищите более элегантные способы решения задач.
👍 Пишите тестируемый код — минимизируйте побочные эффекты и обеспечьте чистоту интерфейсов.
Статья с деталями: https://clc.to/wSVV0A
В своей статье старший разработчик делится важными принципами, которые помогут избежать распространенных ошибок:
👍 Избегайте переписывания с нуля — распознавайте сложности заранее.
👍 Автоматизируйте хорошие практики — автоматические тесты помогут поддерживать стандарты и предотвратить ошибки.
👍 Учитывайте патологичные данные — ваш код должен справляться с любыми ситуациями, даже с самыми необычными входными данными.
👍 Ищите более простые решения — улучшайте код и ищите более элегантные способы решения задач.
👍 Пишите тестируемый код — минимизируйте побочные эффекты и обеспечьте чистоту интерфейсов.
Статья с деталями: https://clc.to/wSVV0A
👍12😁2❤1🔥1
Forwarded from Библиотека девопса | DevOps, SRE, Sysadmin
🧠 Твоя БД скоро станет умнее тебя: 5 трендов open-source баз данных 2025
БД перестают быть просто хранилищем — теперь они оптимизируют запросы, автоматически анализируют данные и даже используют AI для прогнозов.
Какие фичи перевернут мир open-source БД в 2025? Узнайте в статье👇
🫢 Прочитать статью
🐸 Библиотека devops'a
БД перестают быть просто хранилищем — теперь они оптимизируют запросы, автоматически анализируют данные и даже используют AI для прогнозов.
Какие фичи перевернут мир open-source БД в 2025? Узнайте в статье👇
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3🤩1
Полезный инструмент в Python — wraps из модуля functools.
✅ Это декоратор, который помогает сохранить имя и документацию функций, когда вы их декорируете.
👍 На первый взгляд, звучит как мелочь, но если вы пишете API или код, который будут использовать другие, это может сыграть важную роль.
✅ Это декоратор, который помогает сохранить имя и документацию функций, когда вы их декорируете.
👍 На первый взгляд, звучит как мелочь, но если вы пишете API или код, который будут использовать другие, это может сыграть важную роль.
👍10👏9❤4🥰1👾1
Визуализация пакетов PyPi — новый способ поиска библиотек
Если вы разрабатываете на Python, то наверняка используете PyPi. Мы нашли интересную визуализацию пакетов, которая делает процесс их изучения и поиска более удобным и наглядным.
✅ Графическая карта пакетов
✅ Удобный поиск и исследование зависимостей
✅ Возможность находить новые полезные библиотеки
📂 Исходный код и инструкции для воспроизведения тоже доступны.
Ссылка на проект: https://clc.to/uxDWGg
Если вы разрабатываете на Python, то наверняка используете PyPi. Мы нашли интересную визуализацию пакетов, которая делает процесс их изучения и поиска более удобным и наглядным.
✅ Графическая карта пакетов
✅ Удобный поиск и исследование зависимостей
✅ Возможность находить новые полезные библиотеки
📂 Исходный код и инструкции для воспроизведения тоже доступны.
Ссылка на проект: https://clc.to/uxDWGg
👍7❤2🔥1
Msgspec vs DataClasses: битва за лучшую сериализацию в Python
Msgspec и DataClasses — два популярных способа структурирования данных в Python.
В разборе:
⚡ Чем отличаются Msgspec и DataClasses?
⚡ Какой из них эффективнее?
⚡ Где лучше применять каждый?
📖 Читать статью: https://clc.to/MP1VxA
Msgspec и DataClasses — два популярных способа структурирования данных в Python.
В разборе:
⚡ Чем отличаются Msgspec и DataClasses?
⚡ Какой из них эффективнее?
⚡ Где лучше применять каждый?
📖 Читать статью: https://clc.to/MP1VxA
❤8👍1🔥1
Copier — инструмент для работы с шаблонами проектов
🔹 Что умеет Copier?
1. Работает с локальными путями и Git-репозиториями.
2. Позволяет динамически заменять значения в любых текстовых файлах.
3. Генерирует чистый вывод.
4. Безопасно обновляет файлы без перезаписи, если это не указано явно.
🔥 Готов к работе с Gitpod, CI, PyPI и Codecov.
Ссылка на проект: https://clc.to/55Ixlg
🔹 Что умеет Copier?
1. Работает с локальными путями и Git-репозиториями.
2. Позволяет динамически заменять значения в любых текстовых файлах.
3. Генерирует чистый вывод.
4. Безопасно обновляет файлы без перезаписи, если это не указано явно.
🔥 Готов к работе с Gitpod, CI, PyPI и Codecov.
Ссылка на проект: https://clc.to/55Ixlg
❤5👍3🔥1
Вам нравится читать контент на этом канале?
Возможно, вы задумывались о том, чтобы купить на нем интеграцию?
Следуйте 3 простым шагам, чтобы сделать это:
1) Нажмите на ссылку: Вход
2) Пополняйтесь удобным способом
3) Размещайте публикацию
Если тематика вашего поста подойдет нашему каналу, мы с удовольствием опубликуем его
Возможно, вы задумывались о том, чтобы купить на нем интеграцию?
Следуйте 3 простым шагам, чтобы сделать это:
1) Нажмите на ссылку: Вход
2) Пополняйтесь удобным способом
3) Размещайте публикацию
Если тематика вашего поста подойдет нашему каналу, мы с удовольствием опубликуем его
Telegram
Telega.in
Платформа для запуска рекламы в Telegram: продвигайтесь в проверенных каналах и чатах.
❤2
🔥 Промпт для рефакторинга кода
Хотите обновить код и привести его к лучшим современным практикам?
Используйте этот промпт:
Библиотека питониста #буст
Хотите обновить код и привести его к лучшим современным практикам?
Используйте этот промпт:
Please review and refactor the following Python code to follow modern best practices and PEP 8 standards.
Refactoring requirements:
1. Ensure PEP 8 compliance (readability, formatting, naming conventions).
2. Improve structure, modularity, and performance.
3. Add docstrings, comments, and type hints where needed.
4. Optimize loops, data structures, and error handling.
5. Replace deprecated or inefficient code with modern Pythonic alternatives.
6. Provide a brief explanation of the improvements made.
[insert code here]
Библиотека питониста #буст
❤5👍2😁2🥱1