Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
274 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🖥 3 лучших инструмента для автоматизации устранения SQL инъекций!

SQL-инъекция (SQLi) - это уязвимость веб-безопасности, которая позволяет злоумышленнику вмешиваться в запросы, которые приложение делает к своей базе данных. Как правило, это позволяет просматривать данные, которые он обычно не может получить. Это могут быть других пользователей, или любые другие данные, доступ к которым имеет само приложение. Во многих случаях злоумышленник может изменять или удалять эти данные, вызывая постоянные изменения в содержимом или поведении приложения.

1⃣ SQLMap
Вы, вероятно, уже знаете о первом инструменте.
SQLMap - самый популярный сканер уязвимостей SQL Injection, полностью открытый!

2⃣ Ghauri
Ghauri - это продвинутый инструмент, позволяющий легко автоматизировать обнаружение и эксплуатацию уязвимостей SQL Injection!

Ghauri также имеет открытый исходный код и доступен на GitHub!

3⃣ SQLiv
Обнаруживает уязвимости SQL-инъекций в веб-приложениях с помощью методов автоматического сканирования. Этот инструмент способен найти в Google определенную цель, просмотреть ее и просканировать несколько URL-адресов на наличие SQL-инъекций.

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥32🥰2
⚡️ StarCoder2: открытые веса, датасеты, обучающие скрипты, топ лидерборда HF.

StarCoder2 - это семейство открытых LLM для генерации кода, в трех различных размерах с параметрами 3B, 7B и 15B.

StarCoder2-15B обучен на более чем 4 триллионах лексем и 600+ языках программирования из The Stack v2.

Все модели используют Grouped Query Attention, контекстное окно из 16 384 лексем.

StarCoder2 предлагает три размера модели: модель на 3 миллиарда параметров, обученная ServiceNow, модель на 7 миллиардов параметров, обученная Hugging Face, и модель на 15 миллиардов параметров, обученная NVIDIA с помощью NVIDIA NeMo и ускоренной инфраструктуры NVIDIA:

StarCoder2-3B был обучен на 17 языках программирования из The Stack v2 на 3+ триллионах токенов.
StarCoder2-7B обучался на 17 языках программирования из The Stack v2 на 3,5+ триллионах токенов.
StarCoder2-15B был обучен на 600+ языках программирования из The Stack v2 на 4+ триллионах токенов.

StarCoder2-15B является лучшим в своем классе и по многим показателям превосходит модели 33B+.

📌HF
📌Github
📌Статья

@data_analysis_ml
🔥12👍61
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Топ подборка полезных нейросетей.
226 AI-сервисов и приложений на все случаи жизни, от известных MGIE, Perplexity, Gemini, Groq до совсем свежих и малознакомых

Эти нейросети помогут вам:
управлять движением объектов на видео

повысить качество записанного аудио

исправить грамматику в любом приложении

генерировать аудио, видео, изображения

апскейлить изображение

и ещё помогут с миллионом других задач

🔗 Каталог

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍96🔥3
По умолчанию преобразователи #scikit-learn возвращают массив NumPy. Это может быть проблемой, если для последующих этапов обработки данных вам нужен датафрейм pandas.

К счастью, начиная с scikit-learn версии 1.3.2, вы можете использовать метод set_output для получения результатов в формате датафреймов pandas.

@data_analysis_ml
👍38🔥64🤔1🎉1
📈 Если вы хотите преобразить свои графики #matplotlib попробуйте LovelyPlots

Чтобы красивые графики, просто добавьте одну строку кода к существующему коду matplotlib.

📉 Lovely Plots - это инструмент, содержащий таблицы стилей matplotlib для легкого форматирования графиков для научных статей, проектов и презентаций.

Библиотека сохраняет их полностью редактируемыми в Adobe Illustrator.

Кроме того, параметры экспорта .svg позволяют автоматически адаптировать шрифт рисунков к шрифту вашего документа.

Например, рисунки в формате .svg, импортированные в файл .tex, будут автоматически сгенерированы с использованием текстового шрифта, используемого в вашем файле .tex.

pip install LovelyPlots

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26🔥64👏2
🚗 Gemini 1.5 создает структурированный JSON из видео

На вход подается видео с классическими автомобилями и запрос с просьбой указать марку, производителя, год выпуска, цвет и описание авто - Gemini удалось проделать довольно приличную работу!

Привожу часть ответа ниже (полный json на картинке):

[
{
"make": "Cadillac Eldorado",
"manufacturer": "General Motors",
"year": 1953,
"color": "Blue",
"description": "The Cadillac Eldorado was a luxury convertible that was known for its stylish design and powerful engine."
},
{
"make": "Chevrolet Corvette",
"manufacturer": "General Motors",
"year": 1953,
"color": "Red",
"description": "The Chevrolet Corvette was a sports car that was known for its sleek design and impressive performance."
},

]

Шикарный результат!

@data_analysis_ml
🔥34👍84
Forwarded from Kali Linux
💻 Вредоносные Deep Learning модели

На платформе Hugging Face обнаружено не менее 100 вредоносных Deep Learning моделей, некоторые из которых могут выполнять код на машине жертвы, предоставляя злоумышленникам постоянный бэкдор.

Специалисты компании JFrog разработали и развернули продвинутую систему сканирования для проверки моделей PyTorch и Tensorflow Keras, размещенных на Hugging Face.
Малварь проникла в Hugging Face несмотря на все меры безопасности, включая сканирование на наличие малвари, а также тщательное изучение функциональности моделей для обнаружения такого поведения, как небезопасная десериализация.

Одним из примеров стала модель PyTorch, загруженная недавно пользователем под ником baller423 и уже удаленная с HuggingFace. Она содержала полезную нагрузку, которая позволяла создать реверс-шелл на указанный хост (210.117.212.93). Вредоносная полезная нагрузка использовала метод __reduce__ модуля pickle для выполнения произвольного кода при загрузке файла модели PyTorch, при этом избегая обнаружения за счет встраивания малвари в доверенный процесс сериализации.

В JFrog обнаружили, что та же полезная нагрузка связывалась и с другими IP-адресами, что позволяет предположить, что ее операторы все же являются ИИ- и ИБ-исследователями, а не хакерами. Однако такие эксперименты в JFrog все равно называют слишком рискованными, учитывая, что опасные модели были общедоступны.

Пытаясь определить истинные намерения операторов вредоноса, аналитики развернули приманку для привлечения активности и ее анализа. Им удалось установить соединение с сервером потенциальных злоумышленников, однако не удалось перехватить ни одной команды за время поддержания соединения.

@linuxkalii
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👍123😢3
➡️Совсем свежий 4-часовой курс по ML от freeCodeCamp.org

В этом ролике затронуты самые важные понятия ML и смежных областей, помимо теории, есть много кода и практических заданий (например, прогнозирование стоимости жилья)

Что есть в курсе?
🟢Дорожная карта ML на 2024 год
🟢Необходимый набор навыков для карьеры в области ML
🟢Основные карьерные пути
🟢Основы ML
🟢Bias-Variance Trade-Off
🟢Overfitting и регуляризация
🟢Основы линейной регрессии
🟢Теория моделей линейной регрессии
🟢Теория моделей логистической регрессии
🟢Пример с линейной регрессией
🟢Загрузка и исследование данных
🟢Определение независимых и зависимых переменных
🟢Очистка и предварительная обработка данных
🟢Описательная статистика и визуализация данных
🟢Межквантильный диапазон для обнаружения выбросов
🟢Корреляционный анализ
🟢Разделение данных на Train/Test с помощью sklearn
🟢Запуск линейной регрессии - причинно-следственный анализ
🟢Проверка допущений OLS в модели линейной регрессии
🟢Запуск линейной регрессии для прогнозной аналитики

➡️ Youtube

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥266👍6
⚡️Сверхполезная статья от профи Data Science

Здесь обсуждается и показывается, как производить конкатенацию, сегментацию данных, объединять данные — и ещё очень много насущных вещей DS
Годно)

Клик

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
22👍13🔥4🥱2❤‍🔥1