Сегодня состоялся релиз Python 3.9! 🎉🥳🚀

Для тех кто пишет много кода очень важна краткость. Именно этот релиз добавляет нам удобную запись объединения словарей.
Вместо такой записи:

d3 = {**d1, **d2}

теперь можно писать так:

d3 = d1 | d2

Конечно это не единственная новая фича.
Остальные подробности на странице релиза:
https://www.python.org/downloads/release/python-390/

А вы ждёте Qt6 как жду его я? )))
Наверняка, те кто ждёт, уже в курсе, но я уточню даты релизов.

- Qt 6.0 Feature freeze - 31.8.2020
- Qt 6.0 Alpha - 2.10.2020
- Qt 6.0 Beta 1 - 15.10.2020
- Qt 6.0.0 RC - 17.11.2020
- Qt 6.0.0 Final - 1.12.2020

Полный список https://wiki.qt.io/Qt_6.0_Release

Между тем, библиотеки PySide3 ждать не стоит. Дело в том, что разработчики решили синхронизировать версии библиотек C++ и Qt for Python.
Так что ждём сразу PySide6!

#qt

🖨 Зачем подменять стандартную функцию print()?

В Python3 директива print() стала функцией, то есть объектом, с которым мы можем делать что угодно. Во 2-м Python мы такого лишены.

Как можно изменить стандартное поведение этой функции?
Обычно подменяют объект sys.stdout, что работает и во 2-м. Но будем действовать через builtins. При этом изменим только функцию print(), а stdout останется прежним.

Что нам потребуется сделать?

1. Создать функцию, которая заменит print и не сломает стандартное поведение
2. Подменить объект builtins.print

import builtins
_print = builtins.print
builtins.print = lambda *a, **kw: _print(*a, **kw)

В примере выше я заменил print но не добавил никакого функционала. Сейчас print() работает как и прежде, только через посредника.

Давайте думать варианты.

🔸 Изменить аргументы по умолчанию.
Порой во время разработки приложения требуется именно распечатывать информацию в консоль через print(). Если это сервер, то всякий раз приходится дописывать flush=True чтобы очищался буфер вывода и мы видели в консоли текст сразу же. Давайте сделаем так чтобы этот аргумент по умолчанию был True. Тогда лямбда будет выглядеть так:

lambda *a, **kw: _print(*a, **{**kw, 'flush': True})

🔸 Поиск принтов в коде.
Приходилось пару раз рефакторить код сервера с очень запутанной структурой. На этапе избавления от принтов я не мог найти где распечатывается пустой список?! Ни одного принта по проекту нет а он распечатывается😢 Давайте заставим функцию print() сообщать нам где она находится.

import builtins, sys
_print = builtins.print

def _located_print(*args, **kwargs):
_print(*args, **kwargs)
f = sys._getframe().f_back
_print('=> File:', f.f_code.co_filename,
'| line', f.f_lineno)

builtins.print = _located_print

Выйдет примерно так:

>>> print('Hello')
Hello
=> File: /path/to/script.py | line: 1

🔸 Как-либо модифицировать все принты.
Например добавлять что-то в начале, изменять цвет, заменять символьные смайлы на юникод и тд.
Вот пример от меня. В Python 3.8 добавили возможность через f-string распечатывать имя переменной вместе с её значением:

>>> value = 123
>>> print(f"{value=}")
value=123

Аналогичный функционал я повторил через подмену функции print().
🌎 Полный код здесь

🔸 Отключить принт повсеместно!
Да, бывает и такое нужно). Кроме простого отключения (код сами догадайтесь какой) можно заменять всё на одинаковое сообщение, сделав принт бесполезным. Чтобы не использовали принт в проектах!

import builtins
_print = builtins.print
builtins.print = lambda *a, **kw: _print("Don't use prints!")

Получится что-то такое

>>> print('Debug message')
Don't use prints!

Но это больше похоже на шутку, реализовать которую помогут стартап скрипты, о которых юзер не догадывается 😝

🔸 Заменить все принты на нормальное логирование.
Тоже вариант, но не особо полезный. Лучше писать нормальный логгинг чем так "костылять". Ну а для тренировки можно попробовать реализовать и этот вариант. Думаю, сами справитесь)

_________________________
Стоить ещё учесть пару моментов:

- эту подмену следует делать в самом начале работы приложения, в скрипте с которого начинается запуск. Удобно делать через стартап скрипт. Исходники при этом менять не требуется.

- функция изменится повсеместно во всех модулях на время сессии

- stdout не изменён, то есть обычный логгер будет писать в консоль нормально.

- Мы подменяем функцию на другую, а значит help(print) не покажет нам документацию, __name__ будет неверный и тд. Так что не забывайте использовать functools.wraps

- в моих примерах кое-где не обрабатывается kwargs. Не копируйте вслепую, всегда понимайте что делаете или не делайте вовсе.


Присылайте в коменты свои варианты! 😎

#tricks

В Python можно делать рекурсивные связи.
Например, список вложенный сам в себя:

>>> x = []
>>> x.append(x)
>>> print(x)
[[...]]

Словари вложенные друг в друга:

>>> a = {}
>>> b = {}
>>> a['b'] = b
>>> b['a'] = a
>>> print(a)
{'b': {'a': {...}}}

Зачем это нужно? Лично я пока не сталкивался с подобными задачами, но, скорее всего, они есть)


#tricks

🙄 Разминка для ума!

Треугольник Серпинского, интересная фигура которую построить достаточно просто.

Алгоритм такой:

1. создаём любые 3 точки на плоскости
2. из этих точек случайно выбираем любую, как начальную
3. случайно выбираем любую точку из этих же трёх точек как цель
4. перемещаемся в сторону цели на половину расстояния
5. повторяем бесконечно с пункта 3

Если сделать достаточно много итераций то вырисовывается интересная фигура. Треугольник, в который вписаны более мелкие треугольники. Это самый настоящий фрактал!

Я собрал пример построения такой фигуры на базе Qt.
🌎 Код можно посмотреть здесь.

С помощью paintEvent я рисую точки по озвученному алгоритму. Каждые 10 секунд либо по клику на виджете строится следующий треугольник.

Особенности примера:

🔸 Атрибут Qt.WA_OpaquePaintEvent позволяет сохранить то, что было нарисовано в прошлой итерации. Таким образом мы видим постепенное наполнение точек а не мелькающую одну точку.
🔸 QTimer позволяет создавать отложенные вызовы один раз или с повторением через интервал.
🔸 QColor.fromHsv() позволяет создать рандомный но предсказуемый цвет с помощью HSV схемы. Не слишком светлый и не слишком тёмный но всегда с разный. Рандомизации подвергается только смещение по цветовому кругу (Hue), яркость (Value) и насыщенность (Saturation) можно контролировать отдельно в своих пределах или оставить статичными. Обычный рандом цвета по RGB не даёт такой предсказуемый результат.
🔸 Каждый новый цикл с новым треугольником предварительно затемняет предыдущие через этот вызов
painter.fillRect(rec, QColor(0, 0, 0, 100))
То есть полупрозрачный цвет. Таким образом, чем старше треугольник, тем он темней.
Если сделать виджет фулскрин, то у нас получится некий ScreenSaver)))
🔸 Да, я знаю, что рисование в Qt не самый лучший способ сделать этот пример) Скорее всего самый НЕподходящий. Попробуйте сделать тоже самое но другими средствами.

#qt #source #tricks

Давайте немного прокачаем стандартный словарь. Зачем? А потому что Python это позволяет)))
Добавим возможность работать с ключами словаря как с атрибутами объекта. Для этого нам потребуется определить три метода:

__getattr__ - получение атрибута
__setattr__ - изменение атрибута
__delattr__ - удаление атрибута

Наследоваться будем от стандартного словаря

class _AttribDict(dict):
  def __getattr__(self, name):
    return self[name]

  def __setattr__(self, name, value):
    self[name] = value

  def __delattr__(self, name):
    del self[name]

Подменяем стандартный словарь в одну строку

__import__('builtins').__dict__['dict'] = _AttribDict

Всё, можно тестить 😬

>>> obj = dict(name='Object1', id=14)
>>> print(obj)
{'name': 'Object1', 'id': 14}

Выглядит как обычный словарь

>>> obj['name'] = 'Thing 1'
>>> print(obj['name'])
Thing 1

Изменение ключей работает. То есть стандартное поведение не сломали. А теперь попробуем обратиться к атрибутам

>>> print(obj.name)
Thing 1

Пробуем изменить ключ через атрибут

>>> obj.name = 'Thing 2'
>>> print(obj.name)
Thing 2

И удаляем ключ через атрибут

del obj.name
print(obj)
{'id': 14}

Теперь с ключами словаря можно работать и обычным способом:

dict['key']

и как с атрибутами:

dict.key

Выглядит интересно.
Но помните , если Python позволяет это делать, это не значит что это можно делать 👮‍♂️!
Подобные эксперименты лучше оставить для развлечения и не допускать в прод.
Хорошая разминка, не более того.

#tricks

А знаете ли вы, что в Bash есть особая переменная "$_" ? Из описания можно узнать, что в переменную "$_" помещается последний аргумент последней команды.

Что-то знакомое? Конечно, в Python есть примерно тоже самое.

Мы знаем, что дата первого релиза Bash (8 июня 1989) несколько раньше чем первый релиз Python (20 февраля 1991). Если учесть, что по задумке автора Python это агрегация самых успешных практик отовсюду, можно ли сказать что именно эта фишка к нему пришла из Bash? Ни подтверждения ни опровержения я пока не нашел.
Давайте просто считать это совпадением 😉

А как это может быть полезно в Bash?
Приведу простой пример, который оценят те, кто часто работает в терминале.

Допустим, нам надо создать директорию и зайти в неё. Что обычно делаем?

:~$ mkdir foldername 
:~$ cd foldername 
:~/foldername$

Как это сделать в одну команду?

:~$ mkdir foldername && cd foldername 
:~/foldername$

Уже лучше, но хочется короче, без повторов. Вот тут и пригодится наша переменная. Напомню, что в неё сохраняется последний аргумент предыдущей команды.

:~$ mkdir foldername && cd $_
:~/foldername$

_________________
PS.
Символы "&&"" разделяют команды и означают, что требуется выполнить вторую команду только если первая завершилась успешно.


#linux #tricks

Метод строки isidentifier() поможет узнать, подходит ли данная строка в качестве имени объекта.
Вполне может заменить самостоятельно придуманную регулярку.

>>> 'some_name'.isidentifier()
True

Обычное имя переменной

>>> '私は手紙です'.isidentifier()
True

Юникод в качестве имени тоже доступен

>>> '1_name'.isidentifier()
False   

Имя не может начинаться с цифры

>>> '੬_name'.isidentifier()
False

Включая все цифры юникода

>>> 'some name'.isidentifier()
False

Пробелы недопустимы

#basic

Для тех кто пишет расширения на PyQt/PySide для CG-софтов.

Когда я только начинал писать тулзы под Maya (тогда еще версия 2010-2011) мне приходилось ручками ставить PyQt4 под Maya. Даже написал мануалы по установке на своём сайте. Но потом стал доступен из коробки PySide и позже он обновится до PySide2. Для некоторых систем была поддержка PyQt5.
И как простому разработчику поддерживать этот зоопарк? Ведь хочется чтобы тул работал на любой версии (вы тоже делали модуль что-то типа import_qt.py? 😁)

На помощь приходит проект Qt.py который поставил себе цель унифицировать использование Qt-биндингов вне зависимости от среды где запускается код. Те, кто давно пишут на Qt, скорее всего знают этот проект.
Он стал стандартом для CG-индустрии и используется в топовых студиях и проектах.
Qt․py помогает запускать один и тот же код на разных платформах с разными вариантами Qt-библиотек. Это может быть как интеграция в CG-софт, так и переносимость стендалонов между разными платформами с разными версиями Python.

Я решил рассказать о некоторых особенностях работы с этой библиотекой.
Сегодня о том, как установить и использовать Qt․py и что это вам даёт.

Установка

pip install Qt.py

Чтобы начать использовать Qt․py в коде достаточно заменить импорт вашего варианта Qt-биндинга на Qt․py

from [PySide|PyQt4|PySide2|PyQt5] import QtWidgets
=>
from Qt import QtWidgets

Теперь ваш код будет поддерживать любой вариант биндинга Qt в Python.
При этом не потребуется использовать if-else конструкции под разные версии. Все вызовы теперь одинаковы.
Всё что нужно сделать, это написать его по правилам PySide2. Именно эта версия была взята за основу.

Приоритет импорта такой:

1. PySide2
2. PyQt5
3. PySide
4. PyQt4

Что именно загрузилось можно посмотреть в переменной __binding__



>>> import Qt
>>> Qt.__binding__
'PySide2'

Приоритет имопрта можно изменить через переменные QT_PREFERRED_BINDING и QT_PREFERRED_BINDING_JSON. Причем под каждый проект оверрайды можно настраивать индивидеально.

#qt #libs

В прошлом посте говоря "Все вызовы теперь одинаковы" я несколько слукавил. Всё-таки есть в этом зоопарке версий некоторая несовместимость вызов которой просто так не унифицировать. Эти моменты вынесены в отдельный модуль QtCompat (compatibility). Там не так много функций но они довольно полезны.

Этот модуль содержит унификаци модуля shiboken2, функций loadUi, translate и несколько переименованных функций классов или изменённую сигнатуру аргументов и возвращаемых значений. Это единственное исключение из правила когда вам потребуется где-то изменить свой код кроме импортов и этот код не похож на обычный код PySide2.

Например, в PyQt4 и PySide есть метод

QHeaderView.setResizeMode

Для PyQt5 и PySide2 они были благополучно переименованы в

QHeaderView.setSectionResizeMode

Чтобы применить этот метод следует использовать такой код

from Qt import QtCompath

header = self.horizontalHeader()
QtCompat.QHeaderView.setSectionResizeMode(header, QtWidgets.QHeaderView.Fixed)

Унификация загрузки UI файлов:

# PySide2
from PySide2.QtUiTools import QUiLoader
loader = QUiLoader()
widget = loader.load(ui_file)

# PyQt5
from PyQt5 import uic
widget = uic.loadUi(ui_file)

# Qt.py
from Qt import QtCompat
widget = QtCompat.loadUi(ui_file)

Хорошо что таких моментов не много и их легко запомнить.
Полный список можно посмотреть в таблице.

#qt #tricks

Модуль Qt․py это не просто текстовый модуль, его компоненты генерируются на лету в зависимости от ситуации.
Поэтому ваша любимая IDE не сможет качественно сообразить автокомплиты под этот модуль.
Решение здесь более чем очевидно, надо сделать stubs-файлы. Это файлы с расширением .pyi, описывающие содержимое модуля но не имеющие рабочего кода.
Ну что, готовы потратить пару месяцев своей жизни чтобы описать все классы Qt и их методы? 😭
Расслабьтесь, за вас это уже сделали добрые люди.
Спасибо Fredrik Averpil !

Качаем здесь ⬇️
https://github.com/fredrikaverpil/Qt.py/tree/stubs/stubs/Qt

Не думаю что стоит устанавливать Qt․py из этого репозитория. Он там не обновляется. Так что забираем только файлы .pyi.
За актуальность этих файлов тоже не ручаюсь, но большинство методов там имеются.

Установка:

🔸 Вариант 1:
- находим куда установлен сам модуль Qt․py, это будет одинокий файл который так и называется Qt․py
- кидаем директорию рядом с ним (если есть доступ на запись). Должно получиться так:

📁 site-packages\
  📄 Qt.py
  📁 Qt\
  ...

🔸 Вариант 2
- копируем директорию Qt куда угодно
- пробиваем путь к ней в настройках энвайронмента в переменную PATH так, чтобы путь был ДО директории Qt.

Закинуть можно и в свою домашнюю директорию. Если скопируете сюда:

~/stubs/Qt

То переменную пишем так

export PATH=~/stubs:${PATH}

После этого IDE должна распарсить stubs-файлы и автокомплиты появятся 😎

#qt #libs #tricks

Выполните этот код:

>>> import __hello__
Hello world!

Данный модуль называют пасхалкой в Python, но это не совсем так. Это модуль добавлен для тестирования и демонстрации "заморозки" модулей.

# This file exists as a helper for the test.test_frozen module.

Вот так можно убедиться что модуль "заморожен":

>>> import imp
>>>> imp.is_frozen('__hello__')
True

Исходник этого модуля можно посмотреть здесь

У него так же есть модуль-брат __phello__ исходник которого здесь

>>> import __phello__
>>> print(__phello__.initialized)
True
>>> from  __phello__ import spam
>>> print(spam)
<module '__phello__.spam' (frozen)>
>>> print(__phello__.__loader__)
<class '_frozen_importlib.FrozenImporter'>

А вот здесь лежит файл который собирает эти модули

В данном случае "ЗАМОРОЖЕННЫЙ" означает что модуль вшит непосредственно в библиотеку python3.dll (Windows) или libpython3.so (Linux).

#libs

Как проверить является ли число чётным или нечётным? Конечно же оператор "остаток от деления"

is_odd = bool(x%2)

Если остаток от деления равен 0 то это чётное число, если 1 то нечётное.
Но есть еще альтернативный способ, это битовый оператор AND

is_odd = bool(x&1)

Как это работает?
Распечатайте ряд целых чисел в двоичном формате

>>> for i in range(0, 7):
>>> print(bin(i))
0b0
0b1
0b10
0b11
0b100
0b101
0b110

Можно заметить, что последние биты чередуются между 0 и 1.
А что делает оператор AND (&)? Он возвращает 1 если оба бита числа имеют значение 1.
Учитывая, что у числа 1 в двоичном представлении только один бит равен 1, и он последний, то все остальные биты от любого числа всегда будут возвращать 0.
Таким образом, делая операцию AND любого числа с числом 1 мы всегда получим либо число 0 либо число 1. Это будет зависеть от последнего бита другого операнда.

Выглядит это примерно так

>>> 38 & 1
0

00100110 &
00000001 =
00000000

>>> 227 & 1
1

11100011 &
00000001 =
00000001

#tricks

Что быстрей по производительности, оператор "%" или битовый оператор "&"?

Мы знаем что битовые операторы работают жутко быстро. Но и простые операторы достаточно оптимизированы.
Вот мои тесты на разных платформах (и разном железе, так что смотрим только разницу)

🔸 Windows 10

>>> timeit.timeit('for x in range(1000): x%2', number=100000)
3.8916409015655518
>>> timeit.timeit('for x in range(1000): x&1', number=100000)
2.883111000061035

🔸 Windows 7 VMWare

>>> timeit.timeit('for x in range(1000): x%2', number=100000)
4.5197880999999995
>>> timeit.timeit('for x in range(1000): x&1', number=100000)
5.360066200000006

🔸 Ubuntu 16 VPS

>>> timeit.timeit('for x in range(1000): x%2', number=100000)
2.355823243036866
>>> timeit.timeit('for x in range(1000): x&1', number=100000)
2.754374884068966

🔸 Debian 10 VMWare

>>> timeit.timeit('for x in range(1000): x%2', number=100000)
2.979030784990755
>>> timeit.timeit('for x in range(1000): x&1', number=100000)
3.54338647100667

🔸 Raspbian 10 (на RaspberryPI 4 с процессором ARM)

>>> timeit.timeit('for x in range(1000): x%2', number=10000)
1.1418334439999995
>>> timeit.timeit('for x in range(1000): x&1', number=10000)
1.4677007579999923

Хм, только на Windows 10 оператор & быстрей чем %. Может это связано с тем что это единственный не виртуальный процессор (кроме ARM на малине)?

Не хочу ничего утверждать этой информацией, это просто для заметки. Не так много у меня железа чтобы сделать нормальные тесты и не так много времени чтобы выяснить причину такого поведения.

https://github.com/davvid/wg-python3/blob/guidelines/deliverables/guidelines.rst

Гайдлайн по кодингу на Python с учётом версии 2 и 3.
Полезно почитать тем, кто всё еще переходит на Python3.

#2to3