🔎 Текстовая схожесть: от regex до нейросетей

В реальном мире строки редко совпадают «под копирку».
Например:

"aPpLe iPhone® 14 Pro Max"
"iphone 14 pro max"

Вопрос — чем сравнивать? Ответ зависит от того, что именно вы хотите поймать.

1️⃣ Regex — чистим шум по шаблону

Идеален как первый шаг: убрать мусор, стандартизировать формат.

import re
def clean(t):
    t = t.lower()
    t = re.sub(r"[®™©]", "", t)
    return re.sub(r"\s+", " ", t).strip()

clean("iPhone® 14 Pro Max")
# 'iphone 14 pro max'

✅ Приводит строки к общему виду
✖️ Не знает, что «наушники» и «headphones» — это одно и то же

2️⃣ difflib — встроенный baseline

Умеет считать похожесть на уровне символов. Отлично для быстрого «на коленке».

from difflib import SequenceMatcher
SequenceMatcher(None, "iphone 14 pro max", "i phone 14 pro max").ratio()
# 0.97

✅ Ловит пробелы и опечатки
✖️ Путается, если слова меняются местами

3️⃣ RapidFuzz — быстрый и умный fuzzy

Оптимизированный под скорость и адекватнее реагирует на перестановку слов.

from rapidfuzz import fuzz
fuzz.WRatio("apple iphone 14 pro max", "iphone 14 pro max apple")
# 95

✅ Справляется с разным порядком слов и лишними словами
✖️ Для него «wireless headphones» и «bluetooth earbuds» — разные вещи

4️⃣ Sentence Transformers — смысл > буквы

Нейросети, которые понимают значение, а не только текстовый паттерн.

from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity

m = SentenceTransformer('all-MiniLM-L6-v2')
cosine_similarity(
    [m.encode("wireless headphones")],
    [m.encode("bluetooth earbuds")]
)[0][0]
# 0.75

✅ Понимает синонимы и концептуальную близость
✖️ Требует ресурсов, особенно на больших данных

➡️ Как выбирать:
— re → всегда первым шагом
— difflib → мелкие задачи без зависимостей
— RapidFuzz → продакшн, большие объёмы, сложные текстовые вариации
— Sentence Transformers → смысл важнее скорости, есть GPU

🐸 Библиотека питониста

#буст

Офлайн-митап Peer To Beer x Точка Банк: приходите слушать доклады и делиться своими историями

🍉 15 августа в Москве пройдёт митап для Python и Go-разработчиков. В программе доклады, открытый микрофон и нетворкинг-активности, которые организаторы подготовили вместе с Точка Банк — так что знакомства будут нескучными и позволят не только весело провести вечер, но и получше узнать друг друга.

🐤 Доклады
Юрий Маркин, Х5. Тернистый путь из Python в Golang

Поделюсь личным опытом работы с Golang, разбирая как его сильные стороны, так и аспекты, которые можно улучшить. Обсудим минимализм в дизайне, особенности defer, работу с горутинами и многое другое, с акцентом на баланс между плюсами и минусами.

Сурен Хоренян, ВК Реклама. А правда, что Golang быстрее Python?

Расскажу свой опыт работы с Go, и почему с высоты многолетнего опыта на Python мне выглядит странным большое внимание к Go в мире веб-разработки.

🐥 Открытый микрофон
Рассказывайте любую историю из любой сферы за 3 минуты: весёлую, странную, полезную. Приз достаётся тому, кому громче аплодируют.

‼️ Нетворкинг и тематические настолки
Будут знакомства, но нестандартные. Возможно, придётся жестами показывать прокси-сервер.

🥳Регистрация
После регистрации анкета пройдёт модерацию — собирают специалистов со схожим опытом, чтобы на нетворкинге всем было интересно.

📅 Когда: 15 августа, пятница. Старт регистрации в 19:00
📍Место: спот в районе станции метро Чистые пруды, детали отправят после подтверждения регистрации

Приходите, чтобы август запомнился не только арбузами и песнями Стрыкало.
Регистрируйтесь в боте @peertobeer_bot

🪙 Сколько вы стоите как разработчик: 3 способа не прогадать с зарплатой

Представьте: приходите на собеседование, называете сумму, а рекрутер сразу отвечает: «Хорошо, без проблем».

Звучит приятно? Не всегда. Часто это значит, что вы только что продешевили.

Чтобы не занижать себе цену:
1️⃣ Изучите вилки зарплат по вашей роли и региону.
2️⃣ Проанализируйте свой опыт, стек и редкие навыки.
3️⃣ Отрепетируйте разговор о деньгах, чтобы звучать уверенно.

📌 Полный разбор с примерами тут: https://proglib.io/sh/qJDGQMk2Hg

🐸 Библиотека питониста

✔️ How to: 10 вещей, которые можно сделать с Python collections

Модуль collections — это кладезь специализированных контейнеров, которые упрощают код, делают его читаемее и иногда даже быстрее, чем стандартные dict, list, set и tuple.

Вот 10 приёмов, которые могут вас удивить:

1️⃣ Counter — быстрое подсчёты элементов

Используется для подсчёта количества вхождений элементов в последовательности и поиска наиболее частых значений:

from collections import Counter

words = ['galaxy', 'nebula', 'asteroid', 'comet', 'gravitas', 'galaxy', 'stardust', 'quasar', 'galaxy', 'comet']
word_counts = Counter(words)
print(word_counts.most_common(2))

2️⃣ namedtuple — «лёгкие» классы для хранения данных

Создаёт объекты с доступом к полям по имени и индексу, занимают меньше памяти, чем классы:

from collections import namedtuple

Book = namedtuple('Book', ['title', 'author', 'year_published', 'isbn'])
my_book = Book("The Hitchhiker's Guide to the Galaxy", "Douglas Adams", 1979, "978-0345391803")
print(my_book.title, my_book.year_published)

3️⃣ defaultdict — словарь без KeyError

Автоматически создаёт значение для нового ключа, что удобно для группировки данных:

from collections import defaultdict

grouped_scores = defaultdict(list)
for player, score in [('A', 8), ('B', 7), ('A', 6)]:
    grouped_scores[player].append(score)
print(grouped_scores)

4️⃣ deque — быстрая очередь и стек

Двусторонняя очередь с быстрым добавлением и удалением с обоих концов:

from collections import deque

q = deque([1, 2, 3])
q.append(4)
q.popleft()
print(q)

5️⃣ OrderedDict — управление порядком элементов

Сохраняет порядок вставки и умеет перемещать элементы в конец или начало:

from collections import OrderedDict

od = OrderedDict(a=1, b=2, c=3)
od.move_to_end('a')
print(list(od.keys()))

6️⃣ ChainMap — объединение словарей без копирования

Позволяет искать ключи в нескольких словарях, как будто это один:

from collections import ChainMap

dict1 = {'a': 1, 'b': 2}
dict2 = {'b': 3, 'c': 4}
chain = ChainMap(dict1, dict2)
print(chain['b'])

7️⃣ deque с maxlen — ограниченный буфер

Хранит только последние N элементов, автоматически удаляя старые:

from collections import deque

history = deque(maxlen=3)
for cmd in ["cd ~", "ls", "pwd", "mkdir test"]:
    history.append(cmd)
print(history)

8️⃣ defaultdict для вложенных структур

Легко создаёт многоуровневые словари без явной инициализации:

from collections import defaultdict
import json

def tree(): return defaultdict(tree)
nested = tree()
nested['user']['name'] = 'Alice'
print(json.dumps(nested, indent=2))

9️⃣ Counter — арифметика частот

Можно складывать, вычитать и находить пересечение частот элементов:

from collections import Counter

c1 = Counter(a=3, b=1)
c2 = Counter(a=1, b=2)
print(c1 + c2, c1 & c2)

🔟 deque.rotate — циклический сдвиг элементов

Быстро сдвигает элементы вправо или влево:

from collections import deque

d = deque([1, 2, 3, 4])
d.rotate(1)
print(d)

🐸 Библиотека питониста

#буст

🆕 Django 5.2.5 и Python 3.13.6 — свежие релизы

6 августа 2025 вышли новые версии сразу двух ключевых инструментов для Python-разработчиков.

✔️ Django 5.2.5

Обновление исправляет несколько ошибок из прошлых версий:
— Исправлен баг с использованием стратегии UNNEST в QuerySet.bulk_create() с внешними ключами (регрессия из 5.2.1).
— Исправлено падение при фильтрации по составному первичному ключу с кортежем, содержащим выражения.
— Исправлено падение при валидации моделей с GeneratedField или сложными constraints из Q и Case.
— Добавлена совместимость с docutils 0.22.
— Исправлено падение при работе с ManyToManyField в моделях с составным PK.

📄 Читать релиз-ноутсы Django 5.2.5

✔️ Python 3.13.6

Это шестой maintenance-релиз Python 3.13, включающий:
— ~200 багфиксов и улучшений сборки
— Обновления документации
— Мелкие оптимизации

📄 Полный список изменений

🐸 Библиотека питониста

#свежак

убедительно 😎

🐸 Библиотека питониста

#развлекалово

📌 Промпт дня: для реализации конкретного алгоритма

Иногда нужно быстро вспомнить или протестировать алгоритм.

С таким промптом код получится чистым, а структура — понятной:

Implement a [name of algorithm] in [programming language]. 
Please include:  
1. The main function with clear parameter and return types  
2. Helper functions if necessary  
3. Time and space complexity analysis  
4. Example usage  

Зачем использовать:
— Чёткая структура запроса повышает шанс получить корректную и читаемую реализацию.
— Анализ сложности помогает оценить эффективность алгоритма.
— Пример использования облегчает интеграцию кода в проект.

Пример:

Implement a Dijkstra’s algorithm in Python. 
Please include:
1. The main function with clear parameter and return types
2. Helper functions if necessary
3. Time and space complexity analysis
4. Example usage

🐸 Библиотека питониста

#буст

🤝 Истории подписчиков: знакомство с Python

Наши подписчики вспомнили, как у них началось знакомство с Python.
Иногда — это лёгкий старт, но чаще — забавные (и немного болезненные) истории.

Вот три из них ⬇️

1️⃣ Первое свидание с Python:

Я учил Python… прямо во время написания C++ модуля.
Задача — сделать часть C++ кода вызываемой из Python. До того, как я вообще знал Python.
SWIG помог, но ощущения были как при операции на открытом сердце человеку, с которым ты только что пошёл на первое свидание.

2️⃣ Название решает:

Мой первый Python-скрипт назывался python.py. Он не работал, и я несколько часов ломал голову, пока не написал свой первый вопрос на Stack Overflow.
Там спросили: «А вы точно не назвали его python?» — и помогли.
Теперь понимаю, насколько это было глупо… но для новичка это казалось отличным названием.

3️⃣ После R — культурный шок:

Я пришёл из R и был в бешенстве, что скобки и фигурные, и квадратные в Python значат совсем разные вещи.
А ещё меня бесило, что нет функции grep.

💬 А как у вас началось знакомство с Python?

🐸 Библиотека питониста

#междусобойчик

✔️ 2 минималистичные библиотеки, которые делают асинхронность в Python проще

В Python всё чаще приходится выбирать между sync и async реализациями (а иногда ещё и писать обе).

Если вам надоело дублировать код или разбираться в тёмных углах asyncio, вот две очень лёгкие и практичные альтернативы.

🙂 transfunctions — одна функция → три разных поведения

С помощью шаблона вы пишете *один* фрагмент кода, а библиотека генерирует:
— обычную функцию (func())
— async-версию (await func())
— генератор (for _ in func():)

Пример:

@transfunction
def template():
    print('so, ', end='')
    with sync_context:
        print("it's just usual function!")
    with async_context:
        print("it's an async function!")
    with generator_context:
        print("it's a generator function!")
        yield

Хотите всё автоматически — используйте @superfunction, и функция сама поймёт, как её вызвали:

~my_superfunction()         # обычный вызов
await my_superfunction()    # async-исполнение
for x in my_superfunction():  # генератор

🙂 tinyio — tiny event loop (≈300 строк) вместо asyncio

Если вы когда-нибудь думали «asyncio слишком сложный для такой простой задачи» — эта библиотека для вас.

tinyio — микроскопический event loop с безопасной обработкой ошибок и простейшим API:

def slow_add_one(x):
    yield tinyio.sleep(1)
    return x + 1

def foo():
    a, b = yield [slow_add_one(3), slow_add_one(4)]
    return a, b

loop = tinyio.Loop()
print(loop.run(foo()))  # → (4, 5)

— вместо await используется yield
— если ошибка случается в одной корутине — автоматически отменяются все, чтобы не было скрытого «зомби»-кода
— нет Task, Future, TaskGroup — только Loop, sleep, run_in_thread

🙂 Установка

pip install transfunctions
pip install tinyio

🐸 Библиотека питониста

#буст