Uro: инструмент для очистки списков URL

Uro — это утилита командной строки для очистки и дедупликации больших списков URL. Инструмент разработан для удаления неинтересных, повторяющихся или «бесполезных» URL.

👉Uro не выполняет HTTP-запросы к URL, а обрабатывает их статически, удаляя:
▶️инкрементные URL (/page/1/ и /page/2/)
▶️URL блогов и человекоподобного контента (/posts/a-brief-history-of-time)
▶️URL с одинаковым путем, но разными значениями параметров (/page.php?id=1 и /page.php?id=2)
▶️URL, ведущие к статическим файлам (изображения, JS, CSS и другие файлы)

Инструмент особенно полезен для этапа сбора информации (reconnaissance) и подготовки целей для сканеров уязвимостей.

⬇️Установка

pipx install uro

Проверка

uro -h

⏺️Базовая очистка списка
Чтение URL из файла urls.txt и вывод очищенного списка в терминал:

uro -i urls.txt

⏺️Сохранение результата в файл

uro -i urls.txt -o cleaned.txt

⏺️Белый список расширений (Whitelist)
Оставить только URL с расширениями .php, .asp и .html и URL без расширения:

uro -w php asp html

⏺️Черный список расширений (Blacklist)
Удалить все URL с расширениями .jpg, .png, .js, .pdf:

uro -b jpg png js pdf

Uro имеет встроенный черный список «бесполезных» расширений. Использование -b переопределяет его и указанные расширения будут удалены.

🔎Полезен для:
- подготовки целей для сканеров уязвимостей (например, для Nessus, OpenVAS)
- очистки результатов от пассивных инструментов разведки
- автоматизации в баг-баунти и пентест-проектах

#uro #urlcleaning #pentest #recon #bugbounty #tool

🔗 Все наши каналы 🔁 Все наши чаты 🪧 Для связи с менеджером