Пока команда разрабов Python понемногу наращивает скорость работы интерпретатора, новый язык программирования Mojo с заявкой на замену Python тихо пилит свои первые релизы. Уже сейчас прирост в CPU рассчётах в 10к раз! Можно скачать и сравнить скорость, или посмотреть что пишут другие.

Как по мне, это выглядит как еще одна версия интерпретатора, хотя, это и не совсем так. Похоже на тот же cython - нативная поддержка дефолтного кода Python плюс свои фишки синтасиса сверху. Всё же надежда на прорывные технологии остаётся, Подождём, увидим...

Забавно, что в минимальных требованиях 8Гб оперативки 😧

#libs #offtop

Что позволяет делать f-strings в 3.12.

▫️можно использовать одинаковые кавычки во всём выражении
▫️можно добавлять переносы для многострочного выражения
▫️можно использовать символ новой строки (эта проблема неактуальна)

>>> print(f"{"\n".join(
>>>     ["1","2","3", 
>>>     f"{
>>>         f"{2+2}"
>>>         *(2+2)
>>>      }"
>>>     ]
>>> )}")
1
2
3
4444


#tricks #libs

Варианты распаковки контейнеров по отдельным переменным

Обычная распаковка по точному количеству

data = [1, 2, 3, 4, 5]
v1, v2, v3, v4, v5 = data

Распаковка с неизвестным количество но не меньше чем N

v1, *_ = data
v1, *_, v4, v5 = data

Если точно знаете позицию нужного объекта в списке, включая вложенные списки, то достать его можно двумя способами
Через индекс:

data = [[1]]
v1 = data[0][0]

Через распаковку со скобками:

data = [[1]]
(v1, ), = data

data = [[[1]]]
((v1,), ), = data

Еще примеры распаковки вложенных объектов

data = [[1, 2], [3, 4], [5, 6]]
(v1, v2), (v3, v4), (v5, v6) = data
(v1, v2), *_, (v5, *_) = data

#tricks

Если вы занимаетесь веб разработкой то знаете, что для оформления UI принято использовать шрифтовые иконки.
Самые популярные наборы это, конечно же, FontAwesome и MaterialDesign

Было бы здорово иметь подобный функционал в PySide? Думаю, что да!
И, как вы уже поняли, есть подходящая библиотека🙀

https://github.com/spyder-ide/qtawesome

▫️добавление любых иконок из популярных наборов иконок
▫️выбор цвета иконки
▫️изменение цвета для активного виджета
▫️поддержка анимации
▫️создание видежта иконки

Пример создания иконки

import qtawesome as qta
icon = qta.icon('fa5.flag')

#libs

Где можно применять моржовый (walrus) оператор? (Py3.8+)

Очевидное назначение моржового оператора - сократить количество кода. Сделать присвоение значения переменной и его использование в одно действие. Чаще всего используется в конструкциях if и while

if match := pattern.search(data):
    print(match.groups())

while chunk := file.read(1024):
   process(chunk)

Можно ли использовать его внутри f-string?

print(f'{x:=10}')
# NameError: name 'x' is not defined

Это синтаксис форматирования а не walrus. Чтобы превратить выражение в walrus используем скобки

print(f'{(x:=15)}')
# '15'
print(x)
# 15

Получается, что скобки помогут использовать walrus не только с if, while, match и тд.

Пример не самого очевидного присвоения значений переменным

x = (y := 1, 2)
print(x)
print(y)
# (1, 2)
# 1

Вызов функции тоже может быть использован как скобки для walrus

def get(): return 2
def do_it(x, y): return x + y

x = do_it(y := get(), y+3)
print(x, y)
# 7 2

Два "моржа" на одном пляже в одной строке

def compute(x): return x*2
def get_value(): return 1

if z := compute(x := get_value()):
    print(f"compute({x}) = {z}")
else:
    print(f"{x} is not valid value")
# compute(1) = 2

В следующем примере мы экономим не только код но и количество расчётов

list1 = [1, 2, 3, 4, 5]
# без walrus
list2 = [x*2 for x in list1 if x*2 % 15 == 0]
# c walrus
list2 = [(n := x*2) for x in list1 if n % 15 == 0]

Создание списка выполняется последовательно, поэтому можно объявить переменную в первом элементе и использовать в остальных

f = lambda v: v*2
[y := f(1), y**2, y**3]
# [2, 4, 8]

Более страшный пример с созданием lambda через walrus

[y := (f := lambda x, i: x*i)(3, 10), z:=f(y, 20), f(z, 30)]
# [30, 600, 18000]

не делайте так

Экономим один вызов lower() в простом выражении

is_palindrome = (w := word.lower()) == w[::-1]

И ещё пример экономии места в файле и времени CPU

try:
    10 / 0
except Exception as err:
    logger.log(message := f"Error, {err}!")
    send_report(message)

А еще не будет ошибкой синтаксиса если использовать walrus перед return.

def calculate(a, b):
    return result := a * b

Но, по очевидным причинам, смысла в этом нет 😄

#triks

Awesome Python Typing

Коллекця ссылок на различные инструменты повышения качества кода и удобства работы.
Типизация, линтинг, автокомплиты и другие полезности.

Есть ссылка на надавно вышедшую SQLAlchemy2, так что актуальность поддерживается.

Странно что всё еще нет в списке Ruff. Хотя, в Issues уже добавили запрос. Но автор не уверен что эта тулза подходит для его списка.

#libs

Всех, кто в теме, с праздником! 🎉🚀⭐️

Библиотека platformdirs для получения стандартных локальных путей на компьютере юзера для хранения данных приложения и конфигов.

▫️кросплатформенная (Linux, macOS, Windows, Android)
▫️изоляция разных версий приложения
▫️большой список стандартных директорий

Альтернативная библиотека: appdirs

#libs

Где хранить настройки мы уже выяснили. А как вы храните на хосте юзера чувствительные и секретные данные?

Занимаетесь обфускацией паролей и токенов делая защиту от дурака? Да, я тоже когда-то этим занимался😆

Правильным способом будет хранение в специальных шифрованных хранилищах, которые предпоставляет ваша ОС.
Сохранённую информацию можно получить только если залогиниться под юзером. То есть мы защищены паролем текущего юзера.

В каждой ОС своё решение, и удобно будет исопльзовать просплатформенные библиотеки. Самая популярная это keyring.

Использовать очень просто. Любой пароль или токен сессии нужно сохранить под каким-либо именем. Обычно это имя сервиса. Так же потребуется юзернейм.
С этими же данными можем получить пароль обратно.

>>> import keyring
keyring.set_password('myapp', 'username', 'pswd!')
print(keyring.get_password('myapp', 'username'))
# pswd!

Поддерживается основные бэкэнды из коробки и можно доставить сторонние или написать свой.

Для генерации и проверки паролей не забываем про secrets.

#libs

На днях вышел Django 5.

▫️ GeneratedField
Поля, которые автоматически рассчитываются по экспрешену (Database generated model field).

▫️Фасетный фильтр для админки
Показывает количество элементов для каждого фильтра.

▫️Async
Добавлены асинхроные функции django.contrib.auth, ORM. Ряд декораторов теперь поддерживаются асинхронными вьюшками.

▫️ORM
Новые возможносте полей, такие как поддержка словарей и функций в choices, дефолтные значения на стороне БД (Database-computed default values) с аргументом db_default и другие.

▫️Шаблоны
Новые возможности шаблонов, позволяющие писать меньше кода в формах.

#django

Библиотеки для рабты с коллекциями файлов (секвенциями)

▫️ Поиск коллекций в директории
▫️ Проверка целостности
▫️ Поиск пересечений
▫️ Форматирование
И другие функции

➡️ CLIQUE https://clique.readthedocs.io/en/stable/

import clique
files = [
    '/tmp/file1_001.png',
    '/tmp/file1_002.png',
    '/tmp/file1_003.png',
    '/tmp/file1_005.png',
]
collection = clique.assemble(files)[0][0]
collection.head
# '/tmp/file1_'
collection.tail
# '.png'
collection.padding
# 3
collection.indexes
# <SortedSet "[1, 2, 3, 5]">
collection.holes()
# <Collection "/tmp/file1_%03d.png [4]">
collection.separate()
# [<Collection "/tmp/file1_%03d.png [1-3]">, 
# <Collection "/tmp/file1_%03d.png [5]">]

➡️ PYSEQ https://pyseq.rsgalloway.com/

import pyseq
files = [
    '/tmp/file1_001.png',
    '/tmp/file1_002.png',
    '/tmp/file1_003.png',
    '/tmp/file1_005.png',
]
sequence = pyseq.Sequence(files)
sequence.head()
# 'file1_'
sequence.tail()
# '.png'
sequence.path()
# '/tmp/file1_1-5.png'
sequence.frames()
# [1, 2, 3, 5]
sequence.format('%p')
# '%03d'
sequence.missing()
# [4]

У библиотек схожий функционал но в деталях различается.
clique не умеет работать с pathlib.Path а pyseq не понимает генератор как источник. Но обе могут найти все коллекции в директории и выдать много информации о них.

#libs

Поздравляю всех с 2к24! ❄️⛄️🎁🎄🐲

PEP471 добавил в Python3.5 в модуль os новую функцию scandir()

▫️это генератор с соответствующими возможностями
▫️возвращает не просто строку а объект DirEntry
▫️работает в 4-10 раз быстрей чем os.listdir и os.walk

Раньше это была отдельная библиотека, которая позже стала частью CPython, как и ряд других новых библиотек в Python 3.

В настоящий момент метод Path.iterdir() всё еще использует os.listdir().
Обёртка, заставляющая обычную функцию работать как генератор

def iterdir(self):
  for name in os.listdir(self):
    yield self._make_child_relpath(name)

В тоже время Path.glob() и Path.rglob() уже используют os.scandir(), то есть полноценные генераторы.

#libs

rich

Библиотека для нескучного принта!
Добавляет в ваш терминал цвет и разные способы форматирования текста.

https://github.com/willmcgugan/rich

➡️ Мой небольшой пример

#libs

Новый пакеджинг для Python uv написанный на Rust от автора быстрого линтера Ruff

Что нам обещают

▫️ Эпичная скорость
▫️ Легкий переход с pip и pip-tools
▫️ Отсутствие зависимостей и дистрибуция в виде одного автономного bin файла

Следим, надеемся, тестируем...

#libs

Когда пишешь асинхронный код нужно учитывать особенности такого подхода. Всегда требуется держать в уме, когда возвращается корутина а когда реальный результат. Между этими двумя сущностями должен быть вызов через await.
Вот пример синхронного запроса в базу данных с помощь sqlalchemy. Query пишу инлайном для компактности.

entities = session.execute(select(EntityModel)).scalars().all()

Всё ясно и линейно. А вот он же асинхронный.

result = await session.execute(select(EntityModel))
entities = result.scalars().all()

Это значит что session.execute возвращает корутину, или awaitable объект. Сначала его нужно выполнить через await, тогда получишь объект с которым можно дальше работать.
Не хочу сказать что это мастхэв практика, но простые асинхронные запросы тоже можно сократить до одной строки. Просто использовать скобки.

entities = ( await session.execute(select(EntityModel)) ).scalars().all()

На самом деле я использую такую конструкцию только в прототипах тестов или вспомогательных функциях тестов. В продакшн такое обычно не попадает.

#tricks

Библиотека psutil предоставляет весьма широкий инструментарий для взаимодействия с процессами.
Одна из полезных функций - узнать какие файлы открыты в контексте процесса или узнать какой процесс занимает файл.

Узнаём какие файлы использует процесс

import psutil
def list_file_handlers(process_name):
    for proc in psutil.process_iter():
        if proc.name().lower().startswith(process_name):
            for file in proc.open_files():
                print(file)
list_file_handlers('python')

Функция вернёт имя процесса который занял файл. Если файл не занят то вернёт None.

def who_is_use(fpath):
    for proc in psutil.process_iter():
        for item in proc.open_files():
            if fpath == item.path:
                return proc.name()

Для использования требуются админские права.

#libs

⭐️ Поздравляю!!! ⭐️
🌺🌼🌹🧚‍♀️👠🍀🎉

+ бонус в коментах 😊

Библиотека APScheduler для управления заданиями в Python.
Может запускать планировщик и задания как отдельный поток (синхронный код) и как коркутины (асинхронный код), отложенные или через интервал.

Что есть в APScheduler:

▫️гибкий функционал создания задачи
▫️удобное управление созданными заданиями (pause\resume, listing, modify, reschedule)
▫️кастомизация классов библиотеки
▫️различные хранилища заданий (Memory и различные БД)
▫️интеграции в фреймворки
▫️7 вариантов планировщика

Три варианта тригеров для задач:

▫️по дате с помощью datetime
▫️через интервал с помощью datetime
▫️через интервал с помощью cron

и другие полезности

В данный момент готовится к релизу 4я версия

PS. Всегда использую вместе с FastAPI, очень рекомендую к ознакомлению.

#libs

Функция subprocess.check_output() удобна, когда нужно просто получить аутпут процесса.

info = subprocess.check_output(cmd, text=True)

Но вы не сможете таким образом получить аутпут процесса который завершился с ненулевым кодом выхода. Вместо этого у вас выбрасывается исключение

CalledProcessError: Command '[...]' returned non-zero exit status 1.

Не так давно я столкнулся с этой ситуацией, когда процесс, будучи запущенным с флагом --help, вполне штатно печатает в аут нужную информацию но выходит с кодом 1. И это для него нормальное поведение.

За генерацию исключения отвечает аргумент check, который по умолчанию равен False но именно в check_output он равен True и не может быть переопределён при вызове.

Нет, это не недосмотр разрабочтков и вам не потребуется искать обходные пути. Дело в том, что вся полезная нагрузка в таких случаях находится в классе исключения.

Классы TimeoutExpired и CalledProcessError имеют ряд атрибутов, которые хранят всю нужну инфу. Например, вызванная команда (cmd), код выхода (returncode) и то что мы ищем - аутпут процесса (output)

Итого, базовая фукнция для захвата аутпута для любого кода выхода будет выглядеть как-то так:

def get_proc_output(cmd):
    try:
        return subprocess.check_output(cmd, text=True)
    except subprocess.CalledProcessError as e:
        return e.output

#tricks