🖥 Репозиторий: Scrapy — фреймворк для веб-скрапинга на Python

Scrapy — это мощный и гибкий фреймворк для разработки программ для веб-скрапинга и извлечения данных из веб-сайтов.

— Он позволяет разработчикам быстро и эффективно собирать данные, обрабатывать их и сохранять в нужном формате, что делает его идеальным инструментом для проектов по сбору информации.

Scrapy поддерживает асинхронную обработку запросов, что обеспечивает высокую скорость и позволяет обрабатывать большое количество страниц одновременно.

⏺ Ссылка на GitHub

#Python #Scraping #WebScraping #DataExtraction #OpenSource

🖥 Репозиторий: Waidps — беспроводной аудит, система обнаружения и предотвращения вторжений

Waidps — это многоцелевой инструмент для аудита (тестирования на проникновение) сетей, обнаружения беспроводного вторжения (атаки WEP/WPA/WPS), а также предотвращения вторжения (остановка связи станции с точкой доступа).

— Кроме этого, программа будет собирать всю WiFi информацию в округе и сохранять в базах данных.

Она будет полезной когда настанет время аудита сети: если точка доступа с включённым «фильтром по MAC» или «скрытым SSID» и не было ли клиентов на интересующие момент.

⏺ Ссылка на GitHub

#Python #Waidps #Network #Audit #OpenSource

🖥 Репозиторий: Requests-HTML — библиотека для веб-парсинга в Python

Requests-HTML — это мощная библиотека для удобного и эффективного парсинга HTML с использованием синтаксиса Python.

Она сочетает в себе простоту библиотеки Requests и возможности парсинга HTML, позволяя разработчикам легко извлекать данные из веб-страниц.

— С помощью Requests-HTML можно быстро осуществлять HTTP-запросы, обрабатывать и извлекать содержимое страниц с использованием CSS-селекторов, а также выполнять JavaScript-код, что делает ее идеальным инструментом для веб-парсинга.

⏺ Ссылка на GitHub

#Python #WebParsing #HTML #DataExtraction #OpenSource

🖥 Репозиторий: Apache Nifi — инструмент для автоматизации потоков данных

Apache Nifi — это мощная система для автоматизации потоков данных, которая позволяет легко собирать, обрабатывать и передавать данные между различными системами.

Она предлагает визуальный интерфейс для управления потоками данных и интеграции с множеством источников и назначений.

— С помощью Apache Nifi разработчики могут строить сложные рабочие процессы, использующие различные процессы для получения данных, их трансформации и доставки в нужные места.

⏺ Ссылка на GitHub

#DataCollection #DataFlow #ETL #OpenSource #ApacheNifi

🖥 Репозиторий: Dependency-Track — инструмент для управления зависимостями

Dependency-Track — это инструмент для управления зависимостями, который позволяет анализировать, отслеживать и управлять открытыми исходными библиотеками и их уязвимостями в проектах на платформе Linux.

— Он предоставляет разработчикам возможность получать информацию о рисках и уязвимостях, связанных с использованием различных библиотек и компонентов, что помогает повысить общую безопасность приложения.

Поддерживает интеграцию с различными системами управления версиями и CI/CD пайплайнами, что позволяет автоматизировать процесс мониторинга и анализа зависимостей.

⏺ Ссылка на GitHub

#DevOps #DependencyManagement #OpenSource

🖥 Репозиторий: smbclient — инструмент для работы с SMB/CIFS

smbclient — это командная утилита, которая позволяет пользователям взаимодействовать с файловыми ресурсами, доступными через протокол SMB/CIFS.

— Она предоставляет функционал для получения списка общих ресурсов, копирования файлов, а также доступа к удалённым папкам и файлам в сетевых средах Windows и Linux.

Этот инструмент является частью библиотеки Samba и позволяет администраторам сетей и пользователям анализировать сетевые ресурсы, обеспечивая легкий доступ к общим папкам.

⏺ Ссылка на GitHub

#Networking #SMB #FileSharing #OpenSource

🖥 Репозиторий: CATPHISH — инструмент для фишинг-тестирования

CATPHISH — это мощный инструмент, предназначенный для имитации фишинг-атак и оценки уровня безопасности организаций с помощью тестирования на фишинг.

Функции:

— Генерация доменных имён с помощью различных алгоритмов: единственное или множественное число, дополнительные символы перед или после, двойное расширение, зазеркаливание, омоглиф, пропуск тире, Punycode. 
— Проверка доступности доменов: программа выявляет доступные просроченные домены и оценивает их статус категоризации, чтобы обойти прокси-фильтры.
— Интерфейс командной строки с командами для генерации доменов и поиска просроченных, включая опции для настройки отображения вывода. 

⏺ Ссылка на GitHub

#Phishing #PenTesting #OpenSource #Awareness

🖥 Репозиторий: CaseFile — инструмент для сбора и анализа данных в расследованиях

CaseFile — это приложение для визуального представления информации, оно может быть использовано для выявления взаимоотношений и реальных связей между сотнями различных типов информации

— Оно даёт вам возможность быстро увидеть второй, третий и н-ный порядок взаимоотношений и найти связи, которые невозможно раскрыть другими типами разведывательных инструментов

CaseFile поставляется в комплекте с большим количеством типов сущностей, которые обычно используются в расследованиях и которые позволяют вам действовать быстро и эффективно

⏺ Официальный сайт

#DataAnalysis #Investigation #CyberSecurity #OpenSource

🖥 Репозиторий: Social-Mapper — инструмент для анализа социальных сетей

Social-Mapper — это инструмент для автоматического поиска и анализа профилей пользователей в социальных сетях.

— Он использует распознавание лиц и алгоритмы машинного обучения для сопоставления изображений с профилями в таких платформах, как Facebook, LinkedIn, Twitter и других.

Это позволяет пользователям находить дополнительную информацию о людях на основе их изображений.

⏺ Ссылка на GitHub

#SocialMedia #DataAnalysis #FaceRecognition #OpenSource #SocialMapper

🖥 Репозиторий: Uncover — инструмент для анализа доменных имен

Uncover  — это мощный инструмент для сбора и анализа информации о доменах и их связанных сущностях.

— Инструмент дает возможность проводить активные и пассивные тесты на обнаружение уязвимостей, анализировать инфрастуктуру, а также выявлять возможные связи между доменами и IP-адресами.

Инструмент построен с учётом автоматизации, поэтому результаты поиска можно использовать с другими инструментами.

⏺ Ссылка на GitHub

#DomainAnalysis #OpenSource #Recon #Uncover