🐍 Как правильно запускать внешние команды из Python

Для большинства задач не нужны os.system() или низкоуровневый Popen. Достаточно subprocess.run() - он запускает программу, передаёт аргументы, возвращает код завершения и позволяет получить вывод.

import subprocess

result = subprocess.run(
    ["git", "status", "--short"],
    capture_output=True,
    text=True,
    check=True,
    timeout=10,
)

print(result.stdout)

Что здесь происходит:

- capture_output=True сохраняет stdout и stderr
- text=True возвращает строки вместо bytes
- check=True выбрасывает CalledProcessError, если команда завершилась с ошибкой
- timeout=10 не позволяет процессу зависнуть навсегда

Ошибки лучше обрабатывать явно:

import subprocess

try:
    result = subprocess.run(
        ["git", "status", "--short"],
        capture_output=True,
        text=True,
        check=True,
        timeout=10,
    )
except subprocess.TimeoutExpired:
    print("Команда выполнялась слишком долго")
except subprocess.CalledProcessError as error:
    print(error.stderr)
else:
    print(result.stdout)

Передавайте команду списком аргументов. shell=True нужен редко и может создать уязвимость к внедрению команд, особенно если строка содержит пользовательские данные.

subprocess.run() - простой и надёжный мост между Python и системными утилитами, Git, компиляторами, CLI-инструментами и другими программами.

Подробнее:
https://pythonmorsels.com/running-subprocesses-in-python/

🐍 Free-threaded Python убрал GIL, но NumPy всё равно упирался во внутренние блокировки

Казалось бы, Python 3.13+ без GIL должен позволить нескольким потокам одновременно выполнять численные операции.

Но на практике параллельные ufunc начинали конкурировать за внутренние структуры NumPy, счётчики ссылок и выделение памяти.

В NumPy 2.5 разработчики устранили несколько ключевых узких мест:

- таблицу диспетчеризации ufunc заменили на lock-free concurrent hash map;
- часть общих служебных объектов сделали «бессмертными», снизив конкуренцию при подсчёте ссылок;
- выделение памяти перевели на PyMem_RawMalloc и PyMem_RawFree.

Теперь независимые операции можно масштабировать обычными потоками:

from concurrent.futures import ThreadPoolExecutor

import numpy as np

arrays = [
    np.random.rand(5_000_000)
    for _ in range(8)
]

with ThreadPoolExecutor(max_workers=8) as pool:
    results = list(pool.map(np.sin, arrays))

Главное преимущество перед multiprocessing - массивы не нужно сериализовать и копировать между процессами.

Потоки работают в одном адресном пространстве, поэтому могут эффективнее использовать многоядерный CPU и общую память.

Но есть важная оговорка:

free-threaded не означает автоматически thread-safe.

Одновременное изменение одного ndarray из нескольких потоков всё ещё может привести к гонкам, повреждённым данным и падению интерпретатора.

Безопаснее использовать:

- отдельный массив для каждого worker;
- общий массив только для чтения;
- явную синхронизацию при записи.

Удалить GIL оказалось недостаточно. Чтобы Python действительно масштабировался по ядрам, пришлось перепроектировать и внутренности NumPy.

Подробнее:
https://labs.quansight.org/blog/scaling-numpy-on-free-threaded-python

📚 Бесплатный 348-страничный учебник по Machine Learning для инженеров и исследователей

Machine Learning: A First Course for Engineers and Scientists - полноценная книга от Cambridge University Press, которую авторы бесплатно выложили в виде pre-publication PDF для личного использования.

Внутри:

* supervised learning, k-NN и decision trees
* linear/logistic regression и regularization
* neural networks и deep learning
* random forests, boosting и kernels
* Bayesian methods и Gaussian Processes
* generative models и unsupervised learning
* оценка качества, practical ML и ethics

Хороший вариант, если хочется не просто запускать fit(), а реально понять математику и инженерную логику ML.

PDF:
https://smlbook.org/book/sml-book-draft-latest.pdf

#DataScience #MachineLearning #ML #Mathematics #Algorithms

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
DevOps: t.iss.one/DevOPSitsec
Docker: https://t.iss.one/+90Z5TAyfuNU5YmRi
Golang: t.iss.one/Golang_google
Rust: t.iss.one/rust_code
C++: t.iss.one/cpluspluc
C#: t.iss.one/csharp_1001_notes
Java: t.iss.one/javatg
JavaScript: t.iss.one/javascriptv
React: t.iss.one/react_tg
Frontend: t.iss.one/front
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Мобильная разработка: t.iss.one/mobdevelop
Базы данных: t.iss.one/sqlhub
Data Science: t.iss.one/data_analysis_ml
Big Data: t.iss.one/bigdatai
Математика: t.iss.one/data_math
Физика: https://t.iss.one/+S4hinvO3QI43ZjNi
Kubernetes: t.iss.one/kubernetc
GameDev: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg

Собеседования и карьера:

DS собеседования: t.iss.one/machinelearning_interview
Python собеседования: t.iss.one/python_job_interview

Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.iss.one/memes_prog
Английский для программистов: t.iss.one/english_forprogrammers
ИИ и технологии: t.iss.one/vistehno
954 ГБ open-source курсов: https://t.iss.one/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
DevOps: t.iss.one/DevOPSitsec
Docker: https://t.iss.one/+90Z5TAyfuNU5YmRi
Golang: t.iss.one/Golang_google
Rust: t.iss.one/rust_code
C++: t.iss.one/cpluspluc
C#: t.iss.one/csharp_1001_notes
Java: t.iss.one/javatg
JavaScript: t.iss.one/javascriptv
React: t.iss.one/react_tg
Frontend: t.iss.one/front
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Мобильная разработка: t.iss.one/mobdevelop
Базы данных: t.iss.one/sqlhub
Data Science: t.iss.one/data_analysis_ml
Big Data: t.iss.one/bigdatai
Математика: t.iss.one/data_math
Физика: https://t.iss.one/+S4hinvO3QI43ZjNi
Kubernetes: t.iss.one/kubernetc
GameDev: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg

Собеседования и карьера:

DS собеседования: t.iss.one/machinelearning_interview
Python собеседования: t.iss.one/python_job_interview

Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.iss.one/memes_prog
Английский для программистов: t.iss.one/english_forprogrammers
ИИ и технологии: t.iss.one/vistehno
954 ГБ open-source курсов: https://t.iss.one/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

10 бесплатных книг по программированию, которые можно читать прямо с GitHub

1. The Rust Programming Language
https://github.com/rust-lang/book

2. Rust by Example
https://github.com/rust-lang/rust-by-example

3. The Little Book of Rust Books
https://github.com/lborb/book

4. Python Data Science Handbook
https://github.com/jakevdp/PythonDataScienceHandbook

5. Dive Into Deep Learning
https://github.com/d2l-ai/d2l-en

6. Probabilistic Machine Learning
https://github.com/probml/pml-book

7. Algorithms for Decision Making
https://github.com/algorithmsbooks/algforopt-notebooks

8. Operating Systems: Three Easy Pieces
https://github.com/remzi-arpacidusseau/ostep-homework

9. Crafting Interpreters
https://github.com/munificent/craftinginterpreters

10. Free Programming Books — огромная библиотека бесплатных книг по Python, Java, C++, Go, AI, SQL, Linux и десяткам других тем
https://github.com/EbookFoundation/free-programming-books

Последний репозиторий особенно полезен: там собрана огромная регулярно обновляемая база легально доступных книг и учебных материалов по программированию.

📚 Бесплатная книга по causal inference + ML

Applied Causal Inference Powered by Machine Learning and AI - большая открытая книга про причинно-следственный анализ с современным уклоном в машинное обучение и AI.

Внутри:

* causal graphs и DAG
* потенциальные исходы
* A/B и observational data
* propensity score
* matching и weighting
* heterogeneous treatment effects
* Double/Debiased Machine Learning
* causal forests
* uplift и policy learning
* связь causal inference с современными ML-моделями

Подойдёт тем, кто хочет выйти за пределы обычной корреляции и разбираться, что действительно влияет на результат.

496 страниц, PDF доступен бесплатно:

https://arxiv.org/abs/2403.02467

Интегрируйте OCR в ваш Python-продукт за 15 минут 🚀

Создаёте SaaS, автоматизируете B2B или собираете ИИ-агентов на Python? Забудьте про облачные костыли и отправку конфиденциальных данных на чужие сервера!

Provision OCR — российский движок для локального распознавания документов в защищенном контуре.

⚡️ Python-friendly: интеграция через REST API и gRPC для FastAPI, Django или Flask.
⚡️ Docker-ready: быстрый запуск в один контейнер без сложной настройки окружения.
⚡️ 100% локальности: полное соответствие требованиям безопасности.
⚡️ Производительность: от <3 сек/стр. на GPU (RTX 2070+) или работа на CPU, точность до 99%.
⚡️Готовые шаблоны любых документов на русском: договоры, счета-фактуры и другие.

💻 Пример интеграции с Django:
https://github.com/Provision-Labs/Django_OCR_UI

💡 Дистрибутив в нашем Telegram-канале: @ProvisionLabs

#Python #Django #FastAPI #OCR #ProvisionOCR #Backend #OnPremise #AI #DevOps #OpenSource #ИИ

🔥 Face Anything - восстановление 4D-лица из любой последовательности изображений

На ECCV 2026 представили Face Anything - unified feed-forward модель для высокоточного 4D face reconstruction и плотного трекинга лица.

Ключевая идея - canonical facial point prediction: каждому пикселю назначается нормализованная координата лица в общем каноническом пространстве.

Это позволяет объединить dense tracking и динамическую реконструкцию в одну задачу и получать:

* стабильную геометрию между кадрами
* точные соответствия facial points
* 4D-реконструкцию из произвольной последовательности изображений

Код:
https://github.com/kocasariumut/FaceAnything

🔥 Python + AI без игрушечных демок. Курс для тех, кто хочет собирать рабочие системы.

Stepik: «Python современный AI для разработчика и автоматизации задач»

63 урока, 382 шага, практика с кодом и автопроверкой.

Внутри: RAG, tool calling, агенты, evals, MCP, Ollama, vLLM, pgvector + HNSW, безопасный text-to-SQL, prompt injection, кэш, очереди и sandbox для агентного кода.

Плюс реальные автоматизации: почта, отчёты, боты, вебхуки и браузерные сценарии.

Для тех, кто уже знает Python и хочет перейти к production AI.

⏳ 72 часа скидка 55%

https://stepik.org/a/295921

MIT бесплатно выложил 920-страничный учебник Mathematics for Computer Science.

Это большой курс по математике, которая реально нужна в Computer Science.

Внутри:

- логика и доказательства
- множества и отношения
- индукция
- графы
- теория чисел
- рекуррентные соотношения
- комбинаторика
- вероятность
- дискретные структуры и алгоритмическое мышление

Хорошая база для алгоритмов, теории вычислений и более серьёзного изучения CS.

📗 PDF доступен бесплатно.

📚 Бесплатный 17-страничный PDF по Hidden Markov Models

Короткий и плотный разбор HMM от Stanford.

Внутри:

- скрытые состояния и наблюдения
- transition и emission probabilities
- вычисление вероятности последовательности
- Forward algorithm
- Viterbi algorithm
- обучение параметров модели
- базовые примеры применения

Хороший материал, чтобы быстро понять HMM без огромного учебника.

PDF:
https://web.stanford.edu/~jurafsky/slp3/A.pdf

🔥 Хак в Django: Meta.indexes можно использовать для собственных миграций

Оказывается, models.Index в Django можно превратить почти в универсальную migration-операцию.

Идея:

class CustomMigrationOperation(models.Index):
    def create_sql(self, model, schema_editor, **kwargs):
        ...

    def remove_sql(self, model, schema_editor, **kwargs):
        ...

А затем добавить её прямо в модель:

class Meta:
    indexes = [CustomMigrationOperation()]

После этого makemigrations сам подхватит изменение, а migrate выполнит нужный SQL.

Почему это работает:

Index уже умеет генерировать SQL через create_sql() и remove_sql().

Так можно описывать не только индексы, но и:

triggers
table comments
security labels
другие schema-level настройки

Автор использовал этот приём для PostgreSQL Anonymizer, чтобы правила анонимизации жили рядом с моделью и автоматически попадали в миграции.

Подход довольно hacky, но как способ расширить механизм миграций Django — очень интересный.

https://www.better-simple.com/django/2026/09/02/nifty-feature-use-index-for-custom-migrations/

📘 Elementary Probability for Applications - бесплатная книга по теории вероятностей

163 страницы с базой по вероятностям и прикладными примерами.

Подойдёт тем, кто хочет нормально разобраться в случайных событиях, распределениях, ожиданиях и других основах, которые постоянно встречаются в Data Science и Machine Learning.

Хороший компактный материал без перегруза.

https://clcoding.com/2026/07/elementary-probability-for-applications.html

Бесплатная книга по Physics-based Deep Learning

461-страничный учебник о применении глубокого обучения в физических симуляциях.

Внутри:

- Physics-Informed Neural Networks
- физические ограничения в loss-функциях
- дифференцируемые симуляции
- обучение с подкреплением
- моделирование неопределённости
- практические примеры в Jupyter Notebook

Полезно для изучения научного ML, PINN и нейросетевого решения физических задач.

https://arxiv.org/abs/2109.05237

Учить Rust через язык, который уже знаешь.

Microsoft собрала бесплатную коллекцию руководств: Rust для разработчиков на C/C++, C# и Python. Вместо объяснений с нуля каждый гид опирается на знакомые концепции и показывает, что в Rust устроено иначе.

Есть и материалы для тех, кто уже пишет на Rust: асинхронность, продвинутые паттерны, проектирование с помощью типов и инженерные практики.

Книги Microsoft - https://microsoft.github.io/RustTraining/

📘 195 страниц математики, чтобы понять, как устроен Generative AI

Вышла The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer — компактная книга, которая объясняет математическую основу современных генеративных моделей без ухода в бесконечную теорию.

Внутри:

- PCA и probabilistic PCA;
- VAE;
- diffusion models;
- normalizing flows;
- autoregressive models;
- GAN и Wasserstein GAN;
- energy-based models.

Автор показывает, как они математически связаны между собой и откуда выводятся основные идеи.

Подойдёт тем, кто уже пользуется LLM и diffusion-моделями, но хочет разобраться глубже, чем на уровне «вот нейросеть, вот loss».

195 страниц, один цельный маршрут по фундаменту Generative AI.

PDF: https://arxiv.org/pdf/2605.29713

100 вопросов на Python Senior: к чему готовиться на собеседовании в 2026

Вышла подборка из 100 вопросов для собеседования на Python Senior с развёрнутыми ответами и рабочими примерами кода. Уровень там явно выше «чем список отличается от кортежа».

Первый большой блок про внутренности CPython: как устроен объект, как работают подсчёт ссылок и сборщик мусора, зачем нужен weakref при циклических ссылках. Дальше идёт конкурентность. Почему существует GIL, когда потоки всё ещё полезны, что даёт free-threaded Python по PEP 703 и как выбирать между threading, multiprocessing и asyncio, включая TaskGroup и структурную конкурентность.

Отдельно разобраны дескрипторы и метаклассы, декораторы с параметрами, генераторы и yield from. По типизации есть современный синтаксис дженериков из PEP 695, Protocol и сужение типов через TypeIs. В конце вопросы про профилирование и поиск узких мест, стандартную библиотеку, тестирование и архитектуру, зависимости и безопасность в продакшене. Свежие изменения из Python 3.13 и 3.14 тоже учтены: экспериментальный JIT, отложенные аннотации и отдельный GIL на каждый интерпретатор.

Полезно и тем, кто идёт на собеседование, и тем, кто сам их проводит.

https://uproger.com/voprosy-na-sobesedovanii-python-senior/