Нейросети теперь сами для себя придумывают экзамены 🧑‍💻

Все привыкли к бенчмаркам вроде HumanEval, которые давно заезжены и на которых все модели уже натренировались. Как понять, какая LLM реально программирует лучше? И вот Tencent выкатили в опенсорс AutoCodeBenchmark.

Это целый конвейер, который использует LLM, чтобы создавать новые, уникальные задачи по программированию на 20 языках.

Как это работает?
1. Берется простейший кусок кода (типа a+b).
2. LLM получает задание "эволюционировать" его во что-то сложное и написать тесты.
3. Самое главное: сгенерированный код тут же отправляется в безопасную "песочницу" (MultiLanguageSandbox), где он компилируется и выполняется. Если код — нерабочая дичь, он отбраковывается.
4. Только после успешной проверки код превращается в полноценную задачу бенчмарка.

Такой подход "генерация-проверка" гарантирует, что задачи в бенчмарке корректны и решаемы. Это позволяет бесконечно генерировать новые тестовые наборы, которые модели еще не видели. По сути, это новый, куда более честный и масштабируемый способ измерять реальные возможности кодовых LLM.

Описание архитектуры смотрим тут:
▶️Разбираем AutoCodeBenchmark от Tencent: нейросеть, которая сама придумывает и проверяет задачи по программированию ◀️

Интересно, как скоро модели научатся генерировать бенчмарки, на которых они сами будут выглядеть лучше конкурентов? 😊

#щупаем_сорцы

👨‍💻 Минутка почти еженедельной рубрики «какого черта вы это делаете руками в 2025?».

Сегодняшний пациент — самописные скрипты для отслеживания изменений файлов.

Видел это миллион раз: бесконечный цикл, внутри os.walk, time.sleep(1) и сверка mtime. Наивный, прожорливый и кривой костыль, который жрет CPU впустую, даже когда ничего не происходит. Чуть лучше — взять старый-добрый watchdog.

Но есть watchfiles.

Это библиотека с ядром на Rust, использующее нативные API ОС (inotify на Linux, FSEvents на macOS и т.д.), и удобная обертка на Python. Пока событий нет — потребление ресурсов нулевое. Реакция мгновенная.

Это тот же паттерн, что и у Ruff, Polars или uv: тяжелую, низкоуровневую работу, где важна производительность, мы делегируем нативному коду. А в Python оставляем удобство и бизнес-логику.

Я тут расписал все это в деталях: заглянул под капот watchfiles, сравнил с watchdog и самописными костылями, показал, как пользоваться CLI и для чего это вообще нужно в разработке.

👉 Читать: watchfiles: руководство по эффективному мониторингу файлов в Python

Или вы до сих пор считаете, что while True + os.walk — это норм? Расскажите, почему 🌚

#это_база

"Играем" в MMORPG, где вашим персонажем управляет Python-скрипт 🎮

Игруха Artifacts — это бесплатная сэндбокс-MMORPG, где каждое действие персонажа — это HTTP-запрос. Вся "игра" — это, по сути, написание умного бота для самого себя. И это основная механика, а не читерство.

Можно управлять сразу 5-ю персами, создав полностью автономный отряд 🤖. Один рубит лес, второй добывает руду, третий крафтит шмот, двое других этим шмотом зачищают локи от мобов. А вы сидите, пьете кофе и смотрите.

🐍 Как это работает на Python?

Для основы не нужно ничего, кроме библиотеки requests.

1️⃣ Регистрируемся на сайте и создаем персонажа.
2️⃣ Находим свой токен в профиле. Это ваш ключ к API, держите его в секрете.
3️⃣ Пишем код.

Допустим, ваш ник CodeWarlock и вы хотите переместить его на клетку (0, 1), где пасутся нубские курицы для фарма.

Вот как будет выглядеть ваш первый скрипт:

import requests
import time

# --- Ваши данные ---
MY_TOKEN = "Bearer ВАШ_TOKEN_СЮДА"
CHARACTER_NAME = "CodeWarlock"
BASE_URL = "https://api.artifactsmmo.com/my"

# --- Заголовки для всех запросов ---
headers = {
    "Content-Type": "application/json",
    "Accept": "application/json",
    "Authorization": MY_TOKEN
}

def move_character(x, y):
    """Отправляет персонажа на указанные координаты."""
    url = f"{BASE_URL}/{CHARACTER_NAME}/action/move"
    payload = {"x": x, "y": y}
    
    try:
        response = requests.post(url, headers=headers, json=payload)
        response.raise_for_status()  # Проверит на ошибки HTTP (типа 4xx, 5xx)
        
        data = response.json()
        print(f"Перемещаемся на ({x}, {y})...")
        
        # После любого действия есть кулдаун. Его нужно дождаться.
        cooldown = data.get('cooldown', 0)
        print(f"Кулдаун: {cooldown} секунд. Ждем...")
        time.sleep(cooldown)
        print("Готов к следующему действию!")

    except requests.exceptions.RequestException as e:
        print(f"Ошибка запроса: {e}")
        # Тут можно посмотреть тело ответа, чтобы понять, что не так
        if 'response' in locals():
            print(f"Ответ сервера: {response.text}")

# --- Запускаем нашего "игрока" ---
if __name__ == "__main__":
    # Двигаемся на клетку с курицами
    move_character(0, 1)
    
    # Тут можно добавить следующую логику:
    # fight_monster("chicken")
    # ...и так далее

Все! Аналогично делаются запросы на бой, сбор ресурсов, крафт. Меняется только эндпоинт (вместо /move будет /fight) и payload.

Идеальный тренажер для новичков, чтобы на практике понять API, и шикарная "песочница" для опытных, чтобы построить сложные цепочки автоматизации.

🇨🇳 Alibaba выкатили свой бесплатный ИИ-редактор кода — Qoder.

Разрабы называют его "агентной платформой для программирования", которая понимает всю кодовую базу и её архитектуру, а не только открытый файл.

Главная фича — Quest Mode:
Ты текстом описываешь задачу со всеми спеками, а агент сам планирует, пишет код, тестирует и вносит правки в проект. Асинхронно.

Что ещё интересного:
- Под капотом пачка моделей (Claude, GPT, Gemini и др.), которые подбираются автоматом под задачу.
- Запоминает контекст и твой стиль кода.
- Пока что полностью бесплатно на время превью.

Хороший подгон, с учетом того, что Trae, который был временно бесплатный и я его использовал, стал платным (ну почти, бесплатно там теперь только Gemini Flash).

Пошел тестировать ☕️

#тулбокс

Два интересных факта из нового отчета JetBrains 🤔

Вышел свежий "The State of Python 2025" от JetBrains. Вот парочка самых интересных тезисов:

1️⃣ Половина Python-разработчиков — новички.

Да-да, 50% имеют меньше 2 лет проф. опыта. КАЖДЫЙ ВТОРОЙ.

2️⃣ 83% сидят на старых версиях Python, сжигая миллионы.

Отчет показывает, что переход, например, с Python 3.10 на 3.13 дает +42% к скорости. БЕЗ ИЗМЕНЕНИЯ КОДА.
А компании могли бы экономить сотни тысяч, а то и миллионы долларов в год на облаках. Но кому-то просто "некогда" поменять цифру в Dockerfile.

Это, конечно, только верхушка. Про взлет FastAPI, тотальное доминирование Rust и революцию в инструментах я расписал в материале на Дзен.
🫱🏻Читать: Половина — новички, а миллионы сгорают на ровном месте. Разбор отчета JetBrains ◀️◀️

Окей, с первым квизом кто-то справился. Но вы же не думали, что на этом всё? 😈

Давайте копнём в другую область — цепочки сравнений. Все же знают, как они работают, правда?
Тогда этот код не вызовет у вас никаких проблем. Или вызовет?

#квиз

Давайте вернемся к логическим операторам.
С or многие из вас уже ошиблись. А что насчет оператора and? Думаете, он проще? Как бы не так.

Вот вам финальная задачка из этого цикла. И уже завтра вы получите ответ на вопрос: "🤔 ДА ПАЧАМУ?!".

#квиз

Заканчиваем блок по хитростям логических операторов разбором вчерашней задачки 🧠

Если вы уже прочитали статейку, то знаете, что у этой задачи есть элегантное математическое решение, которое работает практически мгновенно, без всяких циклов и рекурсий.

Секрет в свойстве остатка от деления на 9. Цифровой корень любого числа (кроме тех, что кратны 9) — это просто остаток от деления этого числа на 9. Если же число кратно 9, его цифровой корень равен 9.

Это работает, потому что любое число N и сумма его цифр S(N) всегда дают одинаковый остаток при делении на 9.

Вот как это выглядит в коде:

def digital_root(n: int) -> int:
    if n == 0:
        return 0
    return (n - 1) % 9 + 1

А вот вариант, который как раз использует or и and, еще более лаконичен и покрывает все случаи, включая n = 0:

def digital_root(n: int) -> int:
    return n % 9 or n and 9

Как это работает?
- n % 9 вернет остаток от деления. Для 16 это 7. Для 942 это 6.
- Но для 9, 18 и т.д. n % 9 вернет 0. Здесь в игру вступает or.
- Если n % 9 — не ноль, Python вернет его. Если ноль, он пойдет ко второй части: n and 9.
- Если n не ноль (например, 18), n and 9 вернет 9. Если n — 0, то 0 and 9 вернет 0. Магия! ✨

Временная сложность: O(1) — быстрее некуда.
Пространственная сложность: O(1).

#алгособес