import asyncio
import aiohttp
from time import perf_counter

URLS = [
    "https://example.com"
    for _ in range(10_000)  # много запросов под нагрузкой
]

MAX_CONCURRENCY = 100  # ограничиваем параллелизм
QUEUE_SIZE = 1_000      # ограничиваем длину очереди (backpressure)


async def worker(name: int, queue: asyncio.Queue, session: aiohttp.ClientSession):
    while True:
        url = await queue.get()
        if url is None:  # сигнал завершения
            queue.task_done()
            break

        try:
            async with session.get(url, timeout=5) as resp:
                await resp.text()  # или resp.read()
                # здесь твоя логика обработки
        except Exception as e:
            # логируй, но не падай
            print(f"[worker {name}] error: {e}")

        queue.task_done()


async def main():
    queue = asyncio.Queue(maxsize=QUEUE_SIZE)

    async with aiohttp.ClientSession() as session:
        # поднимаем ограниченное число воркеров
        workers = [
            asyncio.create_task(worker(i, queue, session))
            for i in range(MAX_CONCURRENCY)
        ]

        # кидаем задачи в очередь
        for url in URLS:
            await queue.put(url)

        # шлём сигнал завершения воркерам
        for _ in workers:
            await queue.put(None)

        # ждём, пока всё отработает
        await queue.join()

        # аккуратно завершаем воркеров
        for w in workers:
            await w


if __name__ == "__main__":
    t0 = perf_counter()
    asyncio.run(main())
    print(f"Done in {perf_counter() - t0:.2f}s")

sudo apt update && sudo apt install -y python3-venv python3-pip nginx
sudo useradd -m -s /bin/bash app && sudo mkdir -p /opt/app && sudo chown -R app:app /opt/app
sudo -u app bash -lc 'cd /opt/app && python3 -m venv venv && ./venv/bin/pip install -U pip uvicorn fastapi'

sudo tee /etc/systemd/system/app.service >/dev/null <<'EOF'
[Unit]
After=network.target

[Service]
User=app
WorkingDirectory=/opt/app
ExecStart=/opt/app/venv/bin/uvicorn main:app --host 0.0.0.0 --port 8000
Restart=always

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable --now app
sudo systemctl status app --no-pager