Ведение журналов в Django: как отлаживать проект, не лезя в консоль

Единственный совершенный код — это код, который так и не написали. А если вы его всё-таки написали — будьте готовы отлаживать.

Чтобы не разбираться с ошибками “на глаз”, используйте логирование: это ваша чёрная коробка, в которую пишет всё, что происходит в приложении.

Django уже поставляется с поддержкой логирования через стандартный модуль logging, и настроить его можно за 5 минут. Главное — понимать, что и зачем вы пишете в логи.

Что такое логирование в Python?

Это механизм для записи сообщений об ошибках, предупреждениях, событиях и внутренних действиях системы. Он позволяет:
• понимать, что пошло не так и где это произошло;
• воспроизводить баги;
• видеть поведение фоновых задач, сигналов, миграций, API-запросов.

4 ключевых компонента системы логов Django:

1️⃣Logger — точка входа. Вызываете logger.warning("Что-то пошло не так").
2️⃣Handler — указывает, куда писать: в файл, на консоль, в e-mail.
3️⃣Filter — фильтрует сообщения по условиям: уровень, модуль, пользователь.
4️⃣Formatter — форматирует вывод: добавляет timestamp, уровень, текст и т.п.

Пример настройки логов в settings.py:

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,

    'handlers': {
        'file': {
            'level': 'WARNING',
            'class': 'logging.FileHandler',
            'filename': BASE_DIR / 'warning.log',
        },
    },

    'loggers': {
        '': {
            'handlers': ['file'],
            'level': 'WARNING',
            'propagate': True,
        },
    },
}

Этот код отправляет все WARNING и выше в warning.log.
Хочется видеть критические ошибки на почте? Добавьте AdminEmailHandler.
Хотите писать SQL-запросы в лог? Подключите django.db.backends.

Где это реально помогает:
⏺debug фоновых задач Celery, которые отвалились без трейсбека;
⏺отладка middleware и ранних исключений;
⏺логирование пользовательских действий, если нет Sentry;
⏺поиск редких ошибок в проде, которые не воспроизводятся на локалке.

Релиз OpenSearch 3.0: что нового?

OpenSearch 3.0 — свежий релиз проекта от OpenSearch Software Foundation под крылом Linux Foundation. Это форк Elasticsearch и Kibana, созданный в 2021 году после перехода Elastic на несвободную лицензию.

Проект активно развивают Amazon, SAP, Uber, Canonical и другие, а код распространяется под Apache 2.0.

Что нового в 3.0:
⏺Векторный движок с поддержкой GPU: ускорение поиска и интеграция с LLM (LangChain, OpenAI и др.).
⏺Оптимизация хранения векторов: до 30 раз быстрее холодный старт, меньше места.
⏺Поддержка gRPC: передача данных быстрее и с меньшими накладными расходами.
⏺Подключение потоков: прямой pull из Kafka и Kinesis.
⏺Разделение трафика: чтение и запись теперь можно разнести.
⏺PPL и Calcite: расширенные SQL-возможности.
⏺Автоопределение типов индексов: улучшено логирование.
⏺Lucene 10 и Java 21: новая производительность, модульность, параллелизм, +25–75% в скорости на тестах.

Проект остаётся опенсорсной альтернативой Elasticsearch с фокусом на расширяемость и интеграции с ML/AI.

Пишем журналы в Django.
Часть 2

Вы настроили ведение логов в Django и теперь хотите увидеть, как это работает в действии?

Давайте добавим простую домашнюю страницу и настроим журналирование каждого её посещения.

Когда пользователь заходит на главную, мы выводим «Hello FreeCodeCamp.org Reader :)», а в лог warning.log записываем, что кто-то заходил на страницу и когда именно.

1️⃣Создаём проект и виртуальное окружение

mkdir django-logging-tutorial
cd django-logging-tutorial
python3 -m venv venv
source venv/bin/activate

2️⃣Устанавливаем Django

pip install django

3️⃣Создаём проект и приложение

django-admin startproject django_logging_tutorial .
python manage.py startapp logging_example

4️⃣Добавляем приложение в INSTALLED_APPS

Откройте settings.py и добавьте 'logging_example', в список приложений:

INSTALLED_APPS = [
    ...
    'logging_example',
]

5️⃣Добавляем конфигурацию логирования в settings.py

(Если ещё не добавляли)

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'file': {
            'level': 'WARNING',
            'class': 'logging.FileHandler',
            'filename': 'logs/warning.log',
        },
    },
    'loggers': {
        'django': {
            'handlers': ['file'],
            'level': 'WARNING',
            'propagate': True,
        },
    },
}

Создайте папку logs:

mkdir logs

6️⃣Пишем код логирования

views.py в приложении logging_example:

from django.http import HttpResponse
import datetime
import logging

logger = logging.getLogger(__name__)

def hello_reader(request):
    logger.warning('Homepage was accessed at ' + str(datetime.datetime.now()) + ' hours!')
    return HttpResponse("<h1>Hello FreeCodeCamp.org Reader :)</h1>")

7️⃣Настраиваем маршруты

В urls.py основного проекта:

from django.contrib import admin
from django.urls import path
from logging_example import views

urlpatterns = [
    path('admin/', admin.site.urls),
    path('', views.hello_reader, name="hello_reader")
]

8️⃣Запуск и тестирование

Запустите сервер разработки:

python manage.py runserver

Откройте в браузере https://127.0.0.1:8000/ и несколько раз обновите страницу. Затем проверьте файл logs/warning.log. Там появится что-то вроде:

Homepage was accessed at 2025-05-07 22:38:29.922510 hours!
Homepage was accessed at 2025-05-07 22:48:35.088296 hours!

Пинг без ICMP: как проверить доступность, если всё закрыто

Когда вы работаете с инфраструктурой, где ICMP-запросы блокируются (например, корпоративные фаерволы, жесткие политики безопасности или хостинг-провайдеры), привычный ping перестаёт быть полезным.

Но проверка доступности хоста или сервиса по-прежнему нужна. Что делать?

Альтернативы ICMP-пингу:
1️⃣TCP ping через nmap, nc или telnet — подключаемся к порту:

nc -zv 192.168.0.1 22

или

nmap -p 80 192.168.0.1

2️⃣curl или wget — если работает HTTP(S), можно проверить ответ сервиса:

curl -Is https://example.com | head -n 1

3️⃣hping3 — мощный инструмент для TCP/UDP/ICMP-проверок с возможностью задать порты и заголовки вручную:

hping3 -S -p 80 example.com

4️⃣fping — массовый ping, умеет работать и без ICMP при нужных флагах.
5️⃣PowerShell (для Windows-серверов):

Test-NetConnection -ComputerName example.com -Port 443

💬 Вопрос на собеседовании для сисадмина

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.

❓Вопрос: Как работает eBPF в Linux и зачем он нужен?

✅Ответ: eBPF (Extended Berkeley Packet Filter) — это механизм в ядре Linux, позволяющий безопасно выполнять код в пространстве ядра без изменения его исходников. Он используется для сетевого мониторинга, безопасности, трассировки и профилирования.

Применение eBPF:
— Сетевой фильтр: ускоряет обработку пакетов, применяется в XDP и Cilium.
— Мониторинг и трассировка: инструменты вроде BCC и bpftrace используют eBPF для анализа работы ядра в реальном времени.
— Безопасность: используется в системе защиты, такой как Falco, для обнаружения аномалий.

Ускоряем SSH: как избавиться от задержки в 3 секунды

Вы заходите на сервер по SSH, и перед тем как появится приглашение ввести пароль — пауза. Иногда целых 2–5 секунд. Почему так?

Виновник — GSSAPIAuthentication.
SSH по умолчанию пытается авторизоваться через Kerberos (GSSAPI), даже если вы им не пользуетесь.

Это особенно заметно, если DNS или обратное имя хоста не настроены идеально. В итоге клиент ждёт ответа, которого не будет.

Как решить:

1️⃣Отключите на клиенте (вашем компьютере):
Откройте или создайте файл ~/.ssh/config и добавьте:

Host *
    GSSAPIAuthentication no

2️⃣Хотите на сервере — можно и так:
Файл /etc/ssh/sshd_config, найдите строку:

GSSAPIAuthentication yes

и замените на:

GSSAPIAuthentication no

После чего:

sudo systemctl restart sshd

💬 Вопрос на собеседовании для DevOps-инженера

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.

❓Вопрос: Что такое Podman и в чём его отличие от Docker?

✅Ответ: Podman — это инструмент для управления контейнерами, совместимый с Docker CLI, но не требующий демона (daemonless). Он безопаснее, так как позволяет запускать контейнеры без root-доступа.

Ключевые отличия:
— Без демона: Podman не использует фоновый процесс, каждый контейнер — это обычный процесс в системе.
— Rootless режим: Контейнеры могут запускаться от обычного пользователя.
— Совместимость: Поддерживает Dockerfile и команды docker run, docker build и т.д.

Как быстро найти, кто грузит CPU: команды mpstat и pidstat

1️⃣Посмотреть загрузку всех ядер

mpstat -P ALL 1 5

• -P ALL — все ядра
• 1 5 — обновлять каждые 1 секунду, всего 5 раз

Что смотрим?
%usr — % загрузка CPU пользовательскими процессами
%sys — % загрузка системными процессами (ядро)
%idle — % простоя (чем больше, тем лучше!)

Если %idle близок к 0 — CPU сильно загружен.

2️⃣ Найти самые «жирные» процессы по CPU

pidstat 1 5

Вывод покажет процессы и их %CPU каждую секунду.

3️⃣Быстрая сортировка процессов по загрузке CPU

ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head -10

Показывает 10 самых «тяжелых» по CPU процессов.

4️⃣Если нужно — снизить приоритет процесса

renice +10 <PID>

Чем выше число, тем ниже приоритет.

И мониторинг в реальном времени

top -o %CPU

top отсортирует процессы по CPU. Чтобы выйти — нажмите q.

Вышел Podman 5.5.0

Это инструмент для управления контейнерами, образами и томами на Linux, macOS и Windows (через Podman VM). Код написан на Go и Shell, лицензия Apache 2.0.

Релизы выходят четыре раза в год. В версии 5.5.0 исправлены баги и добавлены новые команды:
⏺podman machine cp — копирование файлов в Podman VM
⏺podman artifact extract — копирование содержимого OCI-артефактов на диск
⏺опция ‑mount=artifact для монтирования OCI-артефактов в контейнеры

Требуется минимум Go 1.23 для сборки. Обновлены ключевые модули: Buildah 1.40.0, containers/common 0.63.0 и другие.

Быстрая диагностика и устранение проблем с BIND (named)

BIND — один из самых распространённых DNS-серверов в Linux-средах. Он отвечает за трансляцию имён в IP и обратно, поддерживает зону прямого и обратного разрешения, DNSSEC и многое другое.

1️⃣Проверяем статус сервиса

systemctl status named

Если сервис не запущен — запустите его:

systemctl start named

Если он падает — смотрим логи.

2️⃣Логи BIND — первое место для поиска проблем

В зависимости от дистрибутива логи могут быть в /var/log/messages, /var/log/syslog или /var/log/named/named.log.

Чтобы быстро смотреть последние ошибки:

journalctl -u named -f

или

tail -f /var/log/named/named.log

Обращайте внимание на ошибки синтаксиса, проблемы с зонами, отказ в доступе.

3️⃣Проверка конфигурации BIND

Перед перезапуском всегда проверяйте конфигурацию:

named-checkconf

Если команда не выводит ошибок — конфиг валидный.

4️⃣Проверка файлов зон

Ошибки в зонах — частая причина проблем.

Проверяем файл зоны (например, zonefile.db):

named-checkzone example.com /etc/bind/zones/example.com.db

Если есть ошибки — будут показаны с подробностями.

5️⃣Тестируем DNS-запросы локально

dig @localhost example.com

Если ответ корректный — BIND работает локально.

6️⃣Проверяем права и доступ к файлам

BIND должен иметь права читать зоны и конфиги:

ls -l /etc/bind/zones/

Если проблемы с правами — исправьте:

chown -R bind:bind /etc/bind/zones/
chmod 640 /etc/bind/zones/*.db

7️⃣Перезапуск BIND с выводом ошибок

systemctl restart named
journalctl -xe -u named

Если сервис упал — посмотрите последние ошибки в журнале.

8️⃣Обновление записей зоны без перезапуска — динамическое обновление

Если настроено, используйте:

rndc reload example.com

Команда перезагрузит конкретную зону без остановки сервиса.

9️⃣Диагностика проблем с сетевым доступом к BIND

Проверяем, слушает ли BIND на нужных интерфейсах:

ss -tulnp | grep named

Проверяем firewall:

iptables -L -n | grep 53

Убедитесь, что порт 53 открыт для TCP и UDP.

💬 Вопрос на собеседовании для сисадмина

Давайте разберем один из частых вопросов, который может быть задан на собеседовании и как на него отвечать.

❓Вопрос: Что такое NUMA (Non-Uniform Memory Access) и как это влияет на производительность серверов?

✅Ответ: NUMA — это архитектура компьютерных систем, где процессоры имеют собственный локальный доступ к памяти, а доступ к удалённой памяти других процессоров происходит с задержками.

В системах с NUMA важно оптимизировать размещение процессов и потоков, чтобы они максимально использовали локальную память, снижая задержки и увеличивая производительность. Для этого применяются настройки CPU и памяти, а также специальные инструменты, например numactl, позволяющие управлять привязкой процессов к узлам NUMA.

Когда dig не помогает: отладка DNS на уровне сети

Пользователь жалуется, что “ничего не открывается”, а dig возвращает нормальные ответы. BIND работает, зона валидна. Что тогда?

1️⃣Проверяем, действительно ли DNS отрабатывает

dig @127.0.0.1 example.com

Проверяем, вернулся ли полный ответ с нужным A или CNAME. Обратите внимание на поля:
• ANSWER SECTION: есть ли IP?
• AUTHORITY SECTION: может быть ответом, если рекурсивный запрос не разрешился.

2️⃣Проверяем клиентский резолвинг

cat /etc/resolv.conf

Возможно, система вообще не использует ваш DNS.

3️⃣Используем strace для захвата DNS-запросов

strace -e trace=network curl https://example.com

Это покажет, делает ли вообще клиент DNS-запрос и куда.

4️⃣Тестируем с tcpdump

tcpdump -i any port 53 -n

• Видно ли, что запрос приходит к BIND?
• Есть ли ответ?
• Уходит ли запрос наружу, если ваш сервер — рекурсор?

5️⃣Проверяем рекурсивность

Если вы администрируете DNS-сервер, но запросы снаружи не работают — возможно, вы не разрешили рекурсию:

options {
  recursion yes;
  allow-recursion { trusted-nets; };
};

Проверьте named.conf и ACL.

6️⃣Проверяем MTU и DNS over UDP

Если ответы DNS большие (например, с DNSSEC), они могут не помещаться в UDP. В таком случае клиент должен повторно делать запрос по TCP.

Проверяем:

dig +tcp example.com

Если работает только с +tcp, а без него — нет, возможны проблемы с фаерволом или MTU.

7️⃣Проверяем, что система действительно использует DNS

Некоторые системы с systemd используют systemd-resolved. Проверяем:

resolvectl status

Или:

systemd-resolve --status

Если ответы кэшируются или не доходят — лучше отключить systemd-resolved и использовать классический resolv.conf.

Почему systemd-таймер срабатывает не тогда, когда вы ждёте?

Настроили systemd-таймер, всё вроде по документации. Но скрипт не запускается, или запускается не в то время? Это не баг — это AccuracySec.

1️⃣Что такое AccuracySec и зачем он нужен?

По умолчанию systemd не гарантирует миллисекундную точность.

Чтобы сэкономить ресурсы, он может откладывать таймер до ближайшего «удобного» момента. Именно это делает AccuracySec.

Пример:

[Timer]
OnCalendar=*-*-* 03:00:00
AccuracySec=1s

Если не задать AccuracySec, systemd может спокойно сдвинуть запуск на несколько минут вперёд — и вы будете гадать, почему бэкап не стартует ровно в 03:00.

2️⃣ Как проверить, что ваш таймер вообще живой?

systemctl list-timers

Покажет ближайшее время запуска и прошедшие срабатывания. Если не видите свой таймер — возможно, вы забыли Enable=true.

3️⃣Почему OnBootSec не сработал после перезагрузки?

Это типовая ошибка: вы включили таймер, но не активировали сам юнит.
Проверьте:

systemctl status your-timer.timer

А ещё — не забывайте, что OnBootSec=5min означает запуск спустя 5 минут после загрузки, а не сразу.

4️⃣ Хотите запуск точно по расписанию?

Сделайте AccuracySec=1s, и systemd не будет «оптимизировать» время:

[Timer]
OnCalendar=*-*-* 05:00:00
AccuracySec=1s
Persistent=true

Persistent=true важен, если хотите, чтобы задача выполнилась после выключения — она «догонит» при следующем старте

Вышел AlmaLinux 9.6 — синхронизирован с RHEL 9.6

20 мая 2025 года вышел стабильный релиз AlmaLinux 9.6. Дистрибутив основан на ядре Linux 5.14 и полностью бинарно совместим с Red Hat Enterprise Linux 9.6.

Доступны сборки для x86_64, ARM64, ppc64le и s390x.

Проект поддерживается некоммерческой AlmaLinux OS Foundation, распространяется бесплатно и развивается открытым сообществом.

Обновления и особенности:
⏺Улучшенная производительность и безопасность
⏺Удалены RHEL-специфичные пакеты (insights-client, subscription-manager и др.)
⏺Расширена поддержка оборудования (LSI, Adaptec, Dell, QLogic и др.)
⏺Репозиторий Synergy — дополнительное ПО (Pantheon, Warpinator и др.)