Сегодня, 01.01.2020, официально завершена поддержка Python2. Старый друг отправляется на пенсию...

Если вы еще не начали переходить на Python3 то сейчас самое время!
Различий очень много. Как внутренние архитектурные решения, невидимые рядовому программисту, так и явные изменения, которые приходится использовать каждый день.

Для тех, кто только начинает знакомиться с 3й версией я собрал самые, на мой взгляд, заметные отличия 3й версии Python.

🔸Unicode по умолчанию
Для тех, кто пишет на Python2, всегда была актуальная проблема использования любых символов вне ASCII таблицы. Это относилось как к строкам в данных, так и просто комментариям по коду.
В Python3 по умолчанию строки это UNICODE, кодировка по умолчанию UTF-8. Теперь можно где угодно в строках использовать символы из кириллицы, таблицы Unicode, иероглифы, смайлы и эмодзи.
Конечно же это не относится к именам переменных и файлов! Только строки и коменты.

🔸Функция print()
Не смотря на то, что теперь приходится писать лишние скобочки, мы получили серьезный апгрейд такой простой, но полезной функции. Если вкратце, то print "объединился" с sys.stdout. Как это работает?

Как не переносить курсор на новую строку после печати?
PY2:

print text,

PY3:

print(text, end='')

Логично предположить что вместо пустой строки можно подставить любые символы.

Форсировать вывод в stdout во время блокирующей операции в консольном приложении.
PY2:

import sys
print text   # или sys.stdout.write(text)
sys.stdout.flush()

PY3:

print(text, flush=True)

Кроме того, с помощью аргумента file можно печатать в файл или другой подходящий интерфейс.

🔸Оператор деления
Теперь деление целых чисел не обязательно в результате будет иметь целое число. То есть, если числа int не делятся без остатка то результатом будет float

Как разделить два int и получить float?
PY2:

12/5
>>> 2  # ужасный результат!
12/float(5) # приходится делать так
>>> 2.4

PY3:

12/5
>>> 2.4

Между тем, чтобы работало как раньше, то есть деление без остатка, просто нужно использовать другой оператор:

12//5
>>> 2

🔸Относительный импорт
В Python3 изменили принципы относительного импорта. Теперь стало проще и более предсказуемо. Но об этом лучше подробней и отдельно.

Все перечисленные выше фишки были доступны и в Python2 как бекпорт. То есть можно было активировать этот функционал через модуль __future__. Но когда оно по умолчанию, это сильно удобней)))

🔸 Асинхронное программирование
Теперь в Python3 удобно писать асинхронный код с помощью библиотеки asyncio и аналогичных.

🔸 F-String
Да, в Python добавился новый способ форматирования строки (если не ошибаюсь, уже 5й), но он офигенный!
PY2:

value = 123
string = "Value = {}".format(value)

PY3:

value = 123
string = f"Value = {value}"

🔸Упорядоченный словарь
Нет, я не про OrderedDict, я про обычный dict. Теперь порядок ключей сохраняется! В каком порядке добавляли, в таком порядке они и итерируются. Мелочь, но приятно.

Это далеко не всё, но для начала достаточно 😉


#2to3

Поздно писать код, совместимый с Python2 и Python3 одновременно. Если вы матёрый программист, то, возможно, использовали библиотеку six для создания совместимого кода. Или использовали различные модули автоматизации для преобразования кода из Python2 в совместимый для Python2 и Python3. Например sixer или python-future.

Но это время прошло! Теперь пишем только на 3м Python. Совместимость с версией 2 скоро вовсе не потребуется (кроме отдельных тяжелых случаев поддержки legacy систем, но я надеюсь таких у вас нет или совсем мало)

Скорее всего, у многих появляется вопрос, а что делать с кодом который написан под Python2? Садиться и переписывать? Или хотя бы сделать совместимым с Python3?
Всё зависит от конкретной ситуации. Убедитесь что ваша инфраструктура готова под Python3 прежде чем начать.
Скорее всего пора переписывать и не оглядываться назад!

Но не всё так безнадёжно, в стандартной поставке Python уже давно есть готовый инструмент для автоматизации процесса. Это библиотека lib2to3 и прилагаемый скрипт 2to3.py

С чего начать?

1. Документация
Прежде всего почитайте документацию
https://docs.python.org/3.8/library/2to3.html
А также встроенная справка

для Windows

python C:\python37\Tools\scripts\2to3.py --help

для Linux

2to3-3.7 --help
2to3-2.7 --help

(имена зависят от установленных версий Python)

2. Тест
Прежде чем приступать к ожесточенным конвертациям, обязательно протестируйте весь процесс! Например, чтобы просто посмотреть какие будут изменения в скрипте, запустите команду с флагом --list-fixes

2to3 --list-fixes my_script.py

3. Полезные советы
Нашел развёрнутую статью про тему 2to3, советую почитать.
https://python3porting.com/2to3.html

3. Конвертация
Не забываем что в качестве источника для конвертации можно указать директорию. И ВСЕГДА указывайте путь сохранения результата.
Пример конвертации пакета

2to3 --output-dir=./py3/package_name -W -n ./package_name

#2to3

Одно из незаметных но приятных изменений в Python3, которое не часто упоминается, это проблема Leak of variables.
Относится она к конструкции List Comprehensions, он же генератор списков.
Лучше всего данный фикс показать на примере.

Python2
x = 'some_value'
my_list = [x for x in range(10)]
print x
>>> 9

Python3
x = 'some_value'
my_list = [x for x in range(10)]
print(x)
>>> some_value

Переменная "х" в генераторе списка не затирает глобальную переменную с таким же именем. То есть внутри генератора действуют локальные переменные.
Но стоит помнить, что к обычным циклам это не относится.

Python3
x = 'some_value'
for x in range(10):
pass
print(x)

>>>9

#2to3

Ранее, в посте о главных новшествах Python3, я упоминал про полный переход на unicode. А в конце было сказано:

"Конечно же это НЕ относится к именам переменных и файлов! Только строки и комменты."

На самом деле это было лишь предостережение. Можно создавать имена переменных и модулей на unicode!

То есть мы вполне можем сделать так:

Bash:

$ echo "print('Приветы')" > моймодуль.py

// создали файл с именем на кириллице

>>> import моймодуль
Приветы

Или так

>>> Василий = "Василий"
>>> Петрович = "Петрович"
>>> фулнейм = ' '.join([Василий, Петрович])
>>> print(фулнейм)
Василий Петрович

Или так

def сделать_красиво(было):
    более_красиво = 100500
    стало = было * более_красиво
    return стало

Или так

>>> Ψ = 100
>>> Σ = -100
>>> смысл = Ψ + Σ
>>> print(смысл)
0

Надеюсь не нужно объяснять что смысла в этом ноль и так делать не стоит)))

Кстати, это была секретная информация, так что никому! Чтобы и в мыслях не было! 🤐

PS. я поддерживаю русский язык только в комментариях по коду. Конечно, если только вы уверены, что команда разработчиков будет русскоязычной и никак иначе! Это очень помогает разбираться в чужом коде (или в своём через время) Но это крайний случай.

#tricks

Иногда бывает ситуация когда dev-сервер по какой-либо причине не закрылся и висит в процессах, занимая порт.
Это может быть из-за падения IDE или просто сам забыл погасить и закрыл терминал.
Для таких случаев я набросал простую функцию с командой:

kill_on_port() {
    port=$(lsof -t -i:$1)
    echo "KILL PROCESS:" $port
    sudo kill -9 $port
}
alias killonport="kill_on_port $@"

Код поместить в ~/.bashrc и рестартнуть систему.

Если во время старта dev-сервера получаете ошибку что порт уже занят, просто выполните команду, подставив свой порт.

Bash

kill_on_port 8000

Скорее всего бесполезно, если другой процесс назначен на перезапуск вашего dev-сервера в случае падения.
Имя команды можете изменить на любое другое.

#linux

Все знают как красиво написать дату и время с помощью библиотеки datetime:

>>> from datetime import datetime
>>> 
>>> dt = datetime.now()
>>> dt.strftime('%Y.%m.%d %H:%I')
'2020.01.08 12:00'

Но мало кто знает, что тоже самое можно сделать и другим способом:

>>> "{:%Y.%m.%d %H:%I}".format(dt)
'2020.01.08 12:00'

Если паттерн хранится отдельно, то можно записать так

>>> date_frmt = '%Y.%m.%d %H:%I'
>>> '{:{}}'.format(dt, date_frmt)
'2020.01.08 12:00'

Хм, а чем это лучше, спросите вы?

1. Удобно писать более комплексные шаблоны

>>> event_name = 'Python-вебинар'
>>> "Сегодня, {:%Y.%m.%d}, ровно в {:%H:%I} мы начинаем {}!".format(dt, dt, event_name)
'Сегодня, 2020.01.08, ровно в 12:00 мы начинаем Python-вебинар!'

(ну да, такие паттерны можно писать и в strftime, если что. Хотя, можете напороться на UnicodeEncodeError даже в Python3!)

Чтобы не повторять аргумент dt делаем форматирование по индексу

"{0:%Y}  {0:%H.%I}".format(dt)

Если используем разные даты, то можно сделать форматирование по имени

"{date1:%Y}-{date2:%Y} (current {date1:%Y})".format(date1=dt1, date2=dt2)

2. Форматирование даты находится непосредственно в тексте а не в отдельной переменной, что бывает удобней в некоторых случаях. Например, если текст хранится в базе данных то не нужно гдето отдельно хранить формат дат.

3. Зная про эту фишку, и что реализуется она с помощью magic-метода

__format__

можно начать писать свои классы с подобным функционалом! Собственно, в классе datetime этот метод просто вызывает уже знакомый метод strftime.

Я набросал простой пример с таким поведением, смотрим в гистах 🔗.

Есть такая запись форматирования

>>> "{0:>10}".format(42)
"        42"

Что означает: сделать строку шириной 10 символов и переданный аргумент выровнять по правую сторону.
Есть аналог для перемещения влево и по центру, но не об этом сейчас.
Что будет, если подать в такую строку кастомный класс?

>>> class MyClass:
>>>   pass

>>> c = MyClass()
>>> "{0:>10}".format(c)
TypeError: unsupported format string passed to MyClass.__format__

Упс, ошибка форматирования! То есть Python говорит что у нашего класса нет метода ˍˍformatˍˍ. Даже ˍˍstrˍˍ и ˍˍreprˍˍ не помогут.

>>> class MyClass:
>>>     def __str__(self):
>>>         return 'My Class'
>>>     def __repr__(self):
>>>         return '<My Class>'
>>> c = MyClass()
>>> "{0:>20}".format(c)
TypeError: unsupported format string passed to MyClass.__format__

Что ж, это легко решается добавлением метода ˍˍformatˍˍ. Но а что если это не ваши классы и изменить исходники никак нельзя? Можно сделать небольшое преобразование, например такими способами:

>>> "{0:>20}".format(str(c))
"            My Class"
>>> "{0:>20}".format(repr(c))
"          <My Class>"

Но лучше использовать явный конвертор, то есть механизмы самого форматирования. В таком случае необходимое действия будет жёстко указано в самом паттерне.
Чтобы "конвертнуть" свой класс с помощью ˍˍstrˍˍ пишем так:

"{0!s:>20}".format(c)

А чтобы преобразование сделалось с помощью ˍˍreprˍˍ, пишем так:

"{0!r:>20}".format(c)

Теперь не важно какой класс прилетит, всё сработает!
Только учтите, если не определить методы ˍˍstrˍˍ и ˍˍreprˍˍ то получится что-то типа:

"<MyClass object at 0x7f27a62ed278>"

Но хотя бы не будет ошибки.

PS. А если определить метод ˍˍformatˍˍ, то можно и другие буковки использовать для специфичных преобразований!

#tricks

На заметку начинающим.
Оператор for..in имеет необязательный блок else.

Как это работает?
Этот блок выполняется только если итерация завершилась успешно, пройдя все элементы.
Чтобы блок else не выполнился, итерация должна прерваться с помощью break.

Зачем это нужно?
Предполагается, что такая конструкция нужна для определения значения по умолчанию, в случае если мы ищем нужное значение в цикле. Как только необходимые данные найдены, выходим из цикла с помощью break. Если ничего не нашли, то выполняется блок else, в котором выполняем альтернативные действия.

Чем полезно?
В целом, пишется более лаконично (читай питонично)
Позволяет сократить время вычислений, если получение дефолта достаточно затратная процедура. Например, есть такой код:

value = get_default()
for i in array:
    res = get_new_value(i)
    if res:
        value = res
        break

В этом примере мы сначала создаем значение по умолчанию, потом в итерации получаем нужный параметр. Если get_new_value() не вернула новое значение, блок if никогда не сработает и остается значение по умолчанию.
Но что, если функция get_default() занимает слишком много времени или не должна вызываться просто так? Тогда написать можно иначе:

value = None
for i in array:
    res = get_new_value(i)
    if res:
        value = res
        break
if value is None:
    value = get_default()

А с блоком else можно записать короче

for i in array:
    res = get_new_value(i)
    if res:
        value = res
        break
else:
    value = get_default()

А тех кто на Python3.8+, еще короче:

for i in array:
    if (res:=get_new_value(i)):
        value = res
        break
else:
    value = get_default()

Вероятно, можно такую логику записать еще короче, но это уже другая история

#tricks

Аналогично конструкции for-else есть конструкция while-else

Как работает?
Блок while перед каждой итерацией проверяет условие. Если оно верно, то выполняется блок цикла. Если нет, то выполняется блок else, после которого выход из итерации.

Так это обычно выглядит в виде простой и понятной записи:

while True:
    if [condition]:
        # здесь тело цикла
    else:
        # здесь выполняем код перед выходом
        break

# выходим из цикла

Почему мы не поместили кондишен непосредственно после while? Чтобы перехватить его изменение и выполнить что-то еще, используя дополнительные условия.

А вот так в сокращенном виде

while [condition]:
    # здесь тело цикла
else:
    # здесь выполняем код перед выходом

Стоит уточнить, что если в теле цикла вызвать break, то блок else не сработает.

#tricks

Не удержался и решил показать пример как можно записать код из поста про if-else еще короче, буквально в одну строку!

value = any((get_new_value(i) for i in array)) or get_default()

Тут стоит знать две особенности функций any/all и операторов or/and.

1.Эти операторы не возвращают тип bool
Они только делают преобразование данных в этот тип на момент сравнения.

2. Как именно устроена логика? В какой момент сработает return?
any() - возвращает первый элемент, который преобразовался в True или последний элемент
all() - возвращает первый элемент, который преобразовался в False или последний элемент
or и and делают аналогично, только для двух операндов

Но все они возвращают именно исходное значение, а не bool!

Ну а наличие генератора позволяет не выполнять лишних операций, только до момента нахождения нужного значения.
Если значение так и не найдено, оператор or запустит функцию get_default().

PS. Несмотря на возможность записать таким образом, я призываю всегда отдавать предпочтение понятности кода, а не краткости. Если про понятность не понятно, делаем import this и читаем, читаем, читаем...

#tricks

Признавайтесь, кто так пишет?

if not value in array:
   ...

По задумке, мы пытаемся проверить, отсутствует ли значение value в списке array. Звучит логично, но!

В данном случае оператор not и оператор in не связаны. То есть всё, что делает оператор not, это инвертирование значения, идущего после него, причём результатом будет bool. А после мы проверяем, есть ли этот bool в списке array??? Неожиданный поворот!
Выглядеть это может так:

if (not value) in array:
   ...

Но стоп, почему же тогда никаких проблем с этой записью нет и ОНО РАБОТАЕТ в таком виде!?

Дело в том, что я намеренно перечислил операторы в порядке их написания (чтобы страшней было). Хотя, на самом деле, оператор in имеет бОльший приоритет. В этом примере мы сначала проверяем наличие элемента в списке (вместо проверки "отсутствия") а потом инвертируем результат.

if not (value in array):
   ...

Да, получаем ровно тот же результат (считай повезло), но в два действия. Специально для таких случаев есть оператор not in, то есть более "питонично" писать так:

if value not in array:
   ...

Это будет выполняться в одно действие, так как оператор один (несмотря не мизерные затраты времени оператора not).

Понимайте то, что кодите!

#tricks

Нужно записать большое число? Обычно пишем так

for i in range(300000000):
    execute_test(i)

И сколько там нулей? Попробуй посчитать...
Такие числа можно записать более кратко или понятно.

1. Экспонента

for i in range(3e9):
    execute_test(i)

Запись XeY означает

X*(10**Y) # оператор ** это степень

Если нужно не ровное число с нулями, то можно добавить любое уточняющее действие

>>> 4e10+1234
40000001234.0
>>> 15e5-42
1499958.0

Экспонента может быть отрицательной, тогда нулики добавляем справа от точки

>>> 7e-5+1
1.00007

Такая запись не создаёт другой тип данных, это просто формат записи

2. Использовать разделитель

Есть специальный синтаксис для записи длинных чисел, используем для разделителя символ подчёркивания.

for i in range(300_000_000):
    execute_test(i)

Сразу видны элементы числа! Таким способом можно записать любое число.

>>>143_435_543.123_000_2
143435543.1230002

Кстати, наверняка замечали что иногда Python сам выводит числа в виде экспоненты, если это возможно

>>> 0.000_000_1
1e-07

#tricks

Допустим, есть некий массив

a = [1, 2, 3]

Как мы переберём все элементы? Это очевидно.

for x in a:
print(x)

Как это сделать с помощью генератора списка (list comprehension)?

r = [x for x in a]

Добавим еще один массив

b = 'abc'

Теперь нам нужно перебрать все возможные сочетания из этих двух списков. Тоже не проблема:

for x in a:
for y in b:
print(x, y)

Можно ли такой алгоритм повторить с помощью генератора списка? На самом деле можно

>>> [[x, y] for x in a for y in b]
[[1, 'a'], [1, 'b'], [1, 'c'], [2, 'a'], ...]

А если добавить еще один список?

>>> c = ('yes', 'no', 'maybe')
>>> r = [[x, y, z] for x in a for y in b for z in c]
[[1, 'a', 'yes'], [1, 'a', 'no'], [1, 'a', 'maybe'], ...]

Получаем список списков, в которых есть все варианты комбинаций по 3 элемента.

В следующем коде круглыми скобками показаны части разных итераций, чтобы было понятно чо во что входит.
Код не для исполнения!

[( ( ([x, y, z] for x in a) for y in b) for z in c)]

Генераторы списков это круто, но когда используются без фанатизма!
Всегда помните:
Простое лучше чем сложное (Simple is better than complex).

И на последок пример:

vectors = [[[1, 2, 3], [4, 5, 6], [7, 8, 9]], [[10, 11, 12], [13, 14, 15]]]
print([digit for part in vectors for elem in part for digit in elem])

Попробуйте понять что там происходит и что распечатает этот код 😭😵🤪
Это хороший пример того, как не стоит усложнять читаемость кода.

PS. Да, "генераторы" в Python это другая сущность, но как-то иначе удачно перевести comprehension не получается. Ну не называть же их "пониматоры" списков)
PPS. Для получения множества комбинаций лучше используйте itertools.combinations

#tricks

Как с помощью Python быстро расшарить файлы в локальную сеть?
Если без заморочек, то очень просто!
Заходим в нужную директорию и выполняем команду:

Shell:

$ python -m http.server

Получаем ответ

Serving HTTP on 0.0.0.0 port 8000 (https://0.0.0.0:8000/) ...

Значит, что сервер запущен!
0.0.0.0 - означает, что могут зайти все кто сможет "достучаться" до вашего компьютера.
Теперь остаётся заменить этот IP на свой локальный адрес.
Чтобы его узнать, можете поискать во всяких окошках, но это не наш метод 😎

Выполняем команду:

Windows:

> ipconfig

Linux:

$ ifconfig

В полученной распечатке ищем нужное сетевое устройство и его адрес.
Ищем что-то вроде 192.168.1.100

Для тех, кто чтит Python-way

Linux/Windows

> python -c "import socket;print(socket.gethostbyname(socket.gethostname()))"

Теперь формируем и отправляем полученный адрес кому требуется:

https://192.168.1.100:8000/

Небольшой FAQ

Q: Не работает что-то :(
A: Проверь настройки сети, может фаервол?

Q: А как прервать передачу файлов?
A: Ctrl+C

Q: Смогут ли люди из интернета зайти на мой минисервер?
A: Если ты не на публичном сервере с белым IP то нет.

Q: А можно поставить свой "секретный" порт вместо порта по умолчанию?
A: Можно: python -m http.server 12345

А еще можно посмотреть справку чтобы узнать другие параметры запуска

$ python -m http.server -h

Есть способ раздать и "наружу" в интернет, но об этом в другой раз.

#tricks