🐍 Простые фишки парсинга в Python

1️⃣ Парсинг больших JSON-файлов без загрузки в память

import ijson

with open("big.json", "r") as f:
    for item in ijson.items(f, "records.item"):
        print(item)  # потоковый парсинг, не держим всё в памяти

2️⃣ HTML-парсинг с поддержкой XPath через lxml

from lxml import html

doc = html.fromstring("<div><span>Hello</span></div>")
print(doc.xpath("//span/text()")[0])  # Hello

3️⃣ Парсинг логов с регулярками и именованными группами

import re

line = '2025-08-23 12:10:45 [INFO] User=egor Action=login'
pattern = r'(?P<date>\d{4}-\d{2}-\d{2}) .* User=(?P<user>\w+) Action=(?P<action>\w+)'
m = re.search(pattern, line)
print(m.groupdict())  
# {'date': '2025-08-23', 'user': 'egor', 'action': 'login'}

4️⃣ Парсинг YAML c поддержкой типов

import yaml

data = yaml.safe_load("""
user: egor
active: true
age: 30
""")
print(data)  # {'user': 'egor', 'active': True, 'age': 30}

5️⃣ Парсинг бинарных данных (struct)

import struct

raw = b"\x01\x00\x00\x00\x2A\x00"
id, value = struct.unpack("<iH", raw)
print(id, value)  # 1 42

6️⃣ Парсинг HTML-таблиц напрямую в DataFrame (pandas)

import pandas as pd

url = "https://en.wikipedia.org/wiki/List_of_countries_by_GDP_(nominal)"
tables = pd.read_html(url)
print(tables[0].head())  # первая таблица со страницы

🔥 Эти методы позволяют эффективно парсить большие JSON, бинарные форматы, HTML с XPath, YAML и даже таблицы прямо в pandas.
Используйте их, если обычных инструментов уже не хватает.

🐍 Малоизвестный совет по Python: используй pyparsing вместо громоздких и тяжёлых regex.

Обычно все пишут через модуль re и собирают гигантские регулярки, которые сложно читать и отлаживать. Но есть библиотека pyparsing, где можно строить парсер как из конструктора — из простых правил.

Главная фишка: если в одном месте разбор сломался, pyparsing пробует другие варианты, а не падает. Это делает его удобным инструментом для разбора конфигов, мини-языков и любых сложных форматов текста, где regex становится болью.

from pyparsing import Word, alphas, nums, Group, OneOrMore

# Определим правило: слово + число
identifier = Word(alphas) + Word(nums)

# Парсер будет читать такие пары подряд
parser = OneOrMore(Group(identifier))

result = parser.parseString("user123 order456 item789")
print(result.asList())

# output:

🐍 Python трюк: сортировка namedtuple

Вместо словарей можно использовать namedtuple для хранения структурированных данных, а потом легко сортировать по любому полю.

from collections import namedtuple

Name = namedtuple("Name", ["first", "last"])
names = [
    Name("Mike", "Driscoll"),
    Name("Zahna", "Brown"),
    Name("James", "Williams")
]

# Сортировка по имени
print(sorted(names, key=lambda n: n.first))

# Сортировка по фамилии
print(sorted(names, key=lambda n: n.last))

@pythonl

🚀 Django 6.0 — уже в пути!

✨ Главное в Django 6.0
- Content Security Policy (CSP)
Новый ContentSecurityPolicyMiddleware, теги csp() и настройки SECURE_CSP / SECURE_CSP_REPORT_ONLY.
- Фоновые задачи
Декоратор @task и метод enqueue() для простого запуска background jobs.
- Template Partials
Теги {% partialdef %} и {% partial %} для переиспользуемых фрагментов в шаблонах.
- Обновлённое Email API
Современный EmailMessage вместо устаревших MIME-классов.
- Другие улучшения
• В админке — иконки Font Awesome
• В auth увеличены итерации PBKDF2
• Улучшения в Postgres, GeoDjango, миграциях и др.

🔄 Изменения без обратной совместимости
- Минимальная версия MariaDB — 10.6
- Поддержка Python ≥ 3.12
- DEFAULT_AUTO_FIELD теперь всегда BigAutoField
- Удалены устаревшие API и внутренние методы

👉 Подробнее: https://docs.djangoproject.com/en/dev/releases/6.0/

#django #python

@pythonl

У VK миллионы пользователей. А теперь представьте, сколько легаси и логов.

В канале Backend VK Hub инженеры VK рассказывают о том, что происходит за кулисами больших сервисов и как справляться со всей этой красотой.

Подписывайтесь, если хочется не только читать, но и обмениваться опытом с практикующими инженерами.

🎨 Улучшение изображений с помощью SRPO

SRPO — это метод, который оптимизирует процесс восстановления изображений с высокой степенью шума, используя новую стратегию выборки и прямую обратную связь. Он обеспечивает более быструю и стабильную тренировку моделей, минимизируя вычислительные затраты и избегая проблем с переобучением.

🚀Основные моменты:
- Эффективное восстановление изображений с высокой степенью шума.
- Ускоренная тренировка за счет оптимизации с аналитическими градиентами.
- Отсутствие проблем с "взломом" вознаграждений.
- Динамическое управление текстовыми условиями для настройки предпочтений.

📌 GitHub: https://github.com/Tencent-Hunyuan/SRPO

@pythonl

📚✨ Lue - Умный терминальный ридер с TTS

Lue — это терминальный ридер электронных книг, поддерживающий множество форматов, включая EPUB и PDF. Он предлагает текст в речь с возможностью настройки скорости воспроизведения и синхронизации с выделением слов, что улучшает восприятие текста.

🚀Основные моменты:
- Поддержка форматов: EPUB, PDF, TXT и др.
- Модульная система TTS с Edge и Kokoro.
- Кроссплатформенность: macOS, Linux, Windows.
- Настройка скорости воспроизведения от 1x до 3x.
- Удобный интерфейс с поддержкой мыши и клавиатуры.

📌 GitHub: https://github.com/superstarryeyes/lue

🎁 Авто-бот для покупки подарков в Telegram

Этот бот автоматически ищет и покупает подарки по заданным критериям, интегрируясь с Telegram. Он предлагает настраиваемые параметры и способен быстро обрабатывать заказы.

🚀 Основные моменты:
- Полностью автоматический поиск новых подарков
- Высокая скорость покупки (более 5 подарков в секунду)
- Интеграция с Telegram-ботом
- Настраиваемые параметры для фильтрации подарков
- Постоянный мониторинг доступных подарков

📌 GitHub: https://github.com/ThunderTo/Gift-Buyer-Tg

#python

@pythonl

🔥 Успех в IT = скорость + знания + окружение

Здесь ты найдёшь всё это — коротко, по делу и без воды.
Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты!

AI: https://t.iss.one/+EPEFXp67QfIyMjMy
Python: https://t.iss.one/+cq7O4sOHldY1ZTIy
Linux: t.iss.one/linuxacademiya
Собеседования DS: t.iss.one/machinelearning_interview
C++ t.iss.one/cpluspluc
Docker: t.iss.one/DevopsDocker
Хакинг: t.iss.one/linuxkalii
Devops: t.iss.one/DevOPSitsec
Data Science: t.iss.one/data_analysis_ml
Javascript: t.iss.one/javascriptv
C#: t.iss.one/csharp_1001_notes
Java: t.iss.one/java_library
Базы данных: t.iss.one/sqlhub
Python собеседования: t.iss.one/python_job_interview
Мобильная разработка: t.iss.one/mobdevelop
Golang: t.iss.one/Golang_google
React: t.iss.one/react_tg
Rust: t.iss.one/rust_code
ИИ: t.iss.one/vistehno
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Frontend: t.iss.one/front
Big Data: t.iss.one/bigdatai
МАТЕМАТИКА: t.iss.one/data_math
Kubernets: t.iss.one/kubernetc
Разработка игр: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg
Физика: t.iss.one/fizmat

💼 Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.iss.one/memes_prog
🇬🇧Английский: t.iss.one/english_forprogrammers
🧠ИИ: t.iss.one/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy

Подпишись, если хочешь быть в числе тех, кого зовут в топовые проекты!

🚀 Обучение LLM-агентов для многоповоротного принятия решений

AgentGym-RL — это фреймворк для тренировки LLM-агентов, способных принимать решения в сложных многоповоротных сценариях с использованием методов усиленного обучения. Он предлагает разнообразные реальные сценарии и поддерживает популярные алгоритмы RL, улучшая производительность моделей до уровня коммерческих решений.

🚀 Основные моменты:
- Модульная система для гибкости и расширяемости.
- Поддержка различных реальных сред, включая веб-навигацию и глубокий поиск.
- Метод ScalingInter-RL для стабильного обучения агентов.
- Интерактивный интерфейс для визуализации взаимодействий.

📌 GitHub: https://github.com/WooooDyy/AgentGym-RL

#python

🧠 Инструменты для искусственного интеллекта

Собрание полезных AI-инструментов и ресурсов для разработчиков, исследователей и энтузиастов. Участвуйте в развитии сообщества, добавляя новые сервисы и улучшая коллекцию.

🚀 Основные моменты:
- Широкий выбор AI-инструментов по различным категориям.
- Открытое сообщество для совместной работы и улучшения.
- Возможность вносить свой вклад через Pull Requests.

📌 GitHub: https://github.com/Hyraze/collective-ai-tools

#python

Wink AI Challenge — хакатон на стыке IT и кино. Участников ждут задачи, которые ускорят производство фильмов и сериалов за счёт прикладных AI-решений. Призовой фонд соревнования — 1 125 000 рублей.

Регистрация до 31 октября: https://cnrlink.com/winkaichallengepydjango

Приглашаем на первый в России хакатон, посвящённый применению ИИ в кинопроизводстве, ML-инженеров, backend- и frontend-разработчиков, специалистов в DevOps, MLOps, а также инженеров в сфере мультимедиа.

Вы сможете:
🔸 Разработать ML-модель, которую оценят и будут использовать продюсеры популярных российских фильмов и сериалов.  
🔸 Решить кейсы, основанные на реальных задачах, с которыми продюсеры сталкиваются каждый день.
🔸 Использовать настоящие сценарии и видеоматериалы для анализа текстов, извлечения сущностей и генерации структуры съёмок.
🔸 Попрактиковаться в применении NLP, NER и мультимодальных данных в задачах кинопроизводства.

Регистрируйтесь на Wink AI Challenge, чтобы разработать ИИ-ассистента, который станет частью производства фильмов и сериалов: https://cnrlink.com/winkaichallengepydjango

🛠️ Улучшаем отладку с пользовательскими типами

Этот репозиторий помогает отображать пользовательские типы и контейнеры в отладчике LLDB, делая их более понятными. С помощью кастомных функций и синтетических провайдеров вы сможете легко видеть значения ваших объектов и контейнеров.

🚀Основные моменты:
- Поддержка пользовательских типов и контейнеров в LLDB.
- Использование Python для настройки отображения.
- Примеры для классов и контейнеров, таких как example::date и example::span.
- Удобное взаимодействие с отладчиком через .lldbinit.

📌 GitHub: https://github.com/codeinred/lldb_user_types

#python

МТС приглашает всех, кто пишет на С++, Go, Python, JS, Java, C# и других языках, на True Tech Champ — всероссийский чемпионат по программированию. Соревнование будет проходить в двух треках.

Трек 1. Алгоритмический. Индивидуальный зачет [призовой фонд 2 750 000 рублей]

Реши задачи, которые помогут прокачаться в работе с алгоритмами и структурами данных. Похожие задания встречаются на собеседованиях в МТС и других крупных компаниях. До 240 лучших участников попадут в финал и сразятся в лайв-кодинге.

Трек 2. Программирование роботов. Командный формат [призовой фонд 7 500 000 рублей]

Проведи робота по виртуальному лабиринту, затем управляй им дистанционно на офлайн-полигоне, а в финале — пройди испытания на реальной площадке и выбей соперников с платформы.

🎁 Организаторы отправят командам финалистов по одному роботу Waveshare Cobra Flex для кастомизации. После соревнований они останутся у участников в качестве подарка.

📍 Зрелищный шоу-финал с ИИ-технологиями, кодерскими челленджами и выступлениями международных и российских спикеров пройдет 21 ноября в МТС Live Холл.

Стоит участвовать, чтобы:
— Освежить знания и прокачать новые навыки.
— Заявить о себе на всю страну, получить карьерный буст и шанс лично пообщаться с HR-специалистами МТС.

⏰ Регистрация участников до 20 октября на сайте.

1️⃣0️⃣0️⃣0️⃣ БЕСПЛАТНЫХ приложений, которые можно развернуть прямо у себя на сервере. На GitHub нашли настоящую сокровищницу!

50+ категорий: от аналитики и бронирований до автоматизации рутины и чтения книг.

Внутри — сотни инструментов под любые задачи: файлообменники, парсеры, сервисы для мониторинга и даже решения для ресторанов и отелей.

Всё работает локально — данные остаются только у вас, ничего не уходит разработчикам или в сеть.

https://github.com/awesome-selfhosted/awesome-selfhosted

@pythonl