GitHub Разработчика
17.2K subscribers
584 photos
346 videos
2 files
923 links
Здесь ты найдешь полезные репозитории с GitHub

Связь: @devmangx

РКН: https://clck.ru/3FocDP
Download Telegram
Guardian

При проведении пентеста или security-оценки больше всего бесит не нехватка инструментов, а их разрозненность.

Приходится постоянно прыгать между Nmap, SQLMap, Nuclei, плюс вручную разбирать тонны результатов сканирования. Эффективность падает в ноль.

Недавно на GitHub попался open-source фреймворк Guardian с довольно интересной идеей: к классическим security-инструментам прикрутили AI-мозг.

По сути, это автоматизированная платформа для пентеста на базе Google Gemini.

Она объединяет Nmap, Nuclei, SQLMap и ещё около 15 популярных security-тулзов, а AI занимается интеллектуальным планированием атак.

Фреймворк автоматически проходит весь пайплайн — от порт-сканирования и веб-разведки до валидации уязвимостей, и даже умеет динамически менять стратегию тестирования на основе полученных результатов.

Есть Docker-образ из коробки со всеми предустановленными инструментами, также поддерживается локальный деплой с кастомной конфигурацией. Потребуется только API-ключ Google Gemini.

📁 Language: #Python 97.8%

⭐️ Stars: 219

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥42👍2
llm-madness

Обучение больших языковых моделей — это обычно целая цепочка из настройки окружения, подбора гиперпараметров и трекинга экспериментов. Процесс громоздкий, легко накосячить, а быстро проверить идею или разобраться в принципах работы — то ещё удовольствие.

И тут как раз попался open-source проект llm-madness на GitHub. Это лёгкий end-to-end пайплайн для обучения LLM с визуальным интерфейсом.

Он закрывает весь цикл: от сборки токенизатора и подготовки датасета до обучения GPT-модели. Плюс через веб-интерфейс можно в реальном времени смотреть, как меняется loss и какие сэмплы генерирует модель.

Внутри — реализация Transformer в GPT-стиле с возможностью кастомизировать архитектуру: количество слоёв, число attention-голов, размер эмбеддингов и т.д. Есть живые графики лосса, генерация примеров и визуализация attention.

Также встроено обучение BPE-токенизатора, что позволяет подгонять токенизацию под конкретный домен — код, математику, медицину и прочие специализированные корпуса.

Если хочется быстро проверить идеи по архитектуре модели или глубже понять, как устроен Transformer изнутри, без поднятия тяжёлого тренировочного стека — проект точно стоит посмотреть.

📁 Language: #Python 50.2%

⭐️ Stars: 88

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍3
Fincept Terminal

Занимаясь финансовым анализом или инвестиционными исследованиями, больше всего напрягает не нехватка данных, а то, что они размазаны по разным платформам, а инструменты анализа живут каждый сам по себе. Связать данные по цепочкам поставок с инвестиционным портфелем и нормально это проанализировать — та еще боль.

Недавно на GitHub наткнулся на Fincept Terminal — open-source платформу для финансового анализа, которая объединяет инструменты уровня CFA, ИИ-автоматизацию и кросс-доменную интеграцию данных.

Внутри есть полноценные аналитические модули по программе CFA: оптимизация портфеля, оценка по DCF, ценообразование опционов и другие профессиональные инструменты. Плюс интегрированы аналитические стили более чем 20 инвестиционных мастеров — стратегии Баффета, Далио, Сороса можно вызывать напрямую.

Самое интересное — кросс-доменная работа с данными. Поддерживается более 100 коннекторов к источникам данных: можно связать данные по морским перевозкам с прогнозом ВВП и затем спроецировать это на позиции по акциям, либо напрямую связать геополитические события с валютной волатильностью и стратегиями хеджирования через опционы, собирая собственные аналитические метрики.

Также есть визуальный редактор рабочих процессов: аналитические пайплайны собираются перетаскиванием нод. В том числе поддерживается 3D-глобус с отслеживанием в реальном времени маршрутов судов, самолетов и спутников.

Если ты ищешь инструмент для финансовых исследований без жестких ограничений по данным, с возможностью свободно комбинировать логику анализа, или если тебя уже достал классический формат финансовых терминалов с их «островками данных», на этот проект точно стоит посмотреть.

📁 Language: #Python 53.0%

⭐️ Stars: 992

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍6
Maigret

Хочешь по одному юзернейму собрать след человека по сети, но руками лезть на каждый сервис долго, муторно и все равно что-то упустишь.

На GitHub нашел Maigret — опенсорс инструмент для OSINT по юзернеймам. Вводишь имя, а он сам пробегается по 3000+ сервисам и ищет совпадающие аккаунты.

Основан на проекте Sherlock, но прокачан: не просто находит аккаунт, а еще парсит профиль, вытаскивает инфу, и если по дороге всплывают альтернативные никнеймы, может рекурсивно пройтись по ним и связать цепочку.

Можно фильтровать по тегам — например, искать только фотосервисы или сайты конкретной страны. Есть обработка капч и ограничений доступа. Итоговый отчёт можно выгрузить в HTML, PDF, mind map и другие форматы, плюс есть веб-интерфейс.

Варианты использования широкие: standalone для Windows, Docker образ, Telegram-бот, или можно запускать в облаке без установки на локалку.

Если тебе близки security research, digital forensics или OSINT, инструмент точно стоит держать под рукой.

📁 Language: #Python 66.1%

⭐️ Stars: 18.6k

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍73
icloud_photos_downloader

Хочется слить на локальный диск пару тысяч фоток из iCloud, а через веб или приложение это только руками, муторно и долго.

На GitHub случайно попался опенсорсный icloud_photos_downloader — консольный тул, который позволяет скриптом выкачать весь iCloud Photo Library на локалку.

Написан на Python, логинитcя с двухфакторкой, и одной простой командой забирает фотки и видео пачками в выбранную директорию.

Умеет докачивать с места остановки, уже скачанные файлы пропускает, можно фильтровать по дате, альбомам и даже по альбомам из face recognition.

После скачивания файлы можно раскидать по год/месяц/день и сохранить оригинальные метаданные.

Если прикрутить cron или другой планировщик, можно получить автоматический локальный бэкап из iCloud. Есть и Docker-образ, подойдет для долгой работы на сервере.

📁 Language: #Python 93.7%

⭐️ Stars: 9.7k

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82
voice-pro

Бывает нужно озвучить видео на разных языках или клонировать конкретный голос, а на рынке полно сервисов, которые берут деньги за каждый символ. В долгую это выходит больно дорого.

Недавно наткнулся на Voice-Pro. Раньше это было платное приложение, а сейчас разработчик полностью открыл исходники и сделал его бесплатным. По сути, сильно упростили вход в тему видео-перевода и голосового клонирования.

Внутри собран полный пайплайн: скачивание видео с YouTube, разделение голоса и фоновой дорожки, распознавание речи, перевод и финальный дубляж. Есть поддержка WhisperX для точных субтитров, плюс можно сделать zero-shot клонирование голоса через F5-TTS и CosyVoice.

Сейчас основная поддержка под Windows с NVIDIA GPU. Есть скрипт для авто-инсталла, который сам настроит окружение, так что не нужно возиться с Python и зависимостями.

По ощущениям, это почти как локальный бесплатный ElevenLabs. Если нужно делать мультиязычные ролики или выходить на зарубежные площадки, штука прям сильно экономит бюджет.

📁 Language: #Python 93.9%

⭐️ Stars: 5.5k

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥54
Constrict

Хочешь скинуть другу видос или залить вложение где-нибудь, а платформа выдает “файл слишком большой”. Приходится искать софт, ковырять настройки и сжимать вручную.

На GitHub как раз попался Constrict — маленький опенсорс-инструмент, заточенный под одну конкретную задачу: ужать видео до нужного размера.

Не нужно возиться с кучей параметров. Просто задаешь целевой размер, а дальше он сам рассчитывает и подбирает битрейт, разрешение и FPS, чтобы ужать ролик максимально точно.

Поддерживаются популярные кодеки вроде H.264, HEVC и AV1. Вся обработка делается локально, без загрузки в облако, так что и приватность сохраняется, и ждать ничего не нужно.

Есть готовые инсталляторы, интерфейс простой и понятный. Если тебе часто нужно ужимать видео под конкретный размер и неохота каждый раз вручную крутить параметры — инструмент прям годный для закладок.

📁 Language: #Python 94.2%

⭐️ Stars: 507

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
6🏆2
paperetl

Когда занимаешься исследованием или анализом данных и у тебя сотни или тысячи PDF-статей, каждый раз вручную вытаскивать и раскладывать информацию это ад.

Недавно, пока копался в тулзах для обработки данных, наткнулся на paperetl. Это опенсорсная библиотека для пакетной обработки и парсинга научных публикаций, которая приводит разный входной формат к структурированным данным.

Поддерживает массовый парсинг и преобразование источников в разных форматах: полный текст PDF, PubMed XML, ArXiv XML и другие.

Может складывать неструктурированные статьи прямо в SQLite, выгружать в JSON, а также подключаться к Elasticsearch для полнотекстового поиска.

По сути, одной командой можно прогнать целую папку с файлами и превратить её в БД или набор структурированных файлов, чтобы потом нормально искать, фильтровать и анализировать.

Если ты делаешь литобзор, систематический обзор или хочешь собрать свою базу статей, инструмент точно стоит попробовать.

📁 Language: #Python 96.2%

⭐️ Stars: 490

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍2
NoLanguageLeftWaiting

Если хочется делать стриминговый перевод для трансляций или прям настоящий синхрон, быстро упираешься в тупняк классических офлайн-моделей: они часто ждут, пока человек договорит фразу целиком, и из-за этого появляется заметная задержка.

На GitHub нашелся опенсорсный проект NoLanguageLeftWaiting. Ребята взяли офлайн-переводчик Meta NLLB и переделали его в режим реального синхронного перевода: модель может переводить на лету, не дожидаясь конца предложения.

Плюс они закрывают типичные боли “псевдо-синхрона”: когда пунктуация вставляется криво, а работа с префиксами и контекстом превращается в кашу.

Что по возможностям:

* перевод между ~200 языками
* два варианта бэкенда: HuggingFace и CTranslate2
* внутри сразу два размера модели: 600M и 1.3B

Сейчас они ещё пилят speculative decoding (спекулятивное декодирование), чтобы ускорить вывод. Идея: часть гипотез быстро “пробрасывать” и потом частично валидировать, чтобы не тормозить на каждом шаге. По их замерам валидация занимает примерно 0.15 секунды.

Если делаешь голосовой перевод, субтитры для стрима или любой кросс-языковой созвон, где задержка решает, проект прям стоит потыкать.

📁 Language: #Python 100.0%

⭐️ Stars: 41

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍1
local_ai_ocr

Если нужно вытаскивать текст из документов или PDF, загружать файлы в онлайн-конвертеры всегда как-то стрёмно. А у многих локальных тулов то распознавание так себе, то форматирование превращается в кашу.

Случайно наткнулся на GitHub на open-source проект local_ai_ocr: он собран на модели DeepSeek-OCR и заточен под локальное офлайн-распознавание текста на Windows.

Он умеет с GPU-ускорением обрабатывать картинки и PDF: не просто точно вытягивает текст, но и может сразу экспортировать в Markdown, чтобы сохранить сложные таблицы и верстку.

Работает полностью офлайн: ничего не нужно отправлять в облако. Скачал, распаковал, запустил init-скрипт и можно пользоваться, без сложной настройки окружения.

Если для тебя критична приватность данных или нужна максимально точная “реконструкция” форматирования документа, штука точно стоит того, чтобы попробовать.

📁 Language: #Python 67%

⭐️ Stars: 493

➡️ Cсылка на GitHub

📱 @git_developer
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍2