Анализ данных (Data analysis)
46.3K subscribers
2.34K photos
275 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🔥 Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению. Часть 2

🚀 Часть 1

Вопросы и ответы на собеседования по машинному обучению для специалистов в области анализа данных
Вопросы и ответы на собеседования по глубокому обучению для специалистов в области обработки данных
Вопросы по статистике
Вопросы по теории вероятности
Репозиторий для линейки онлайн-курсов по статистике
Вопросы и ответы для специалистов по анализу данных на Python
Вопросы и ответы для собеседований по SQL и DB для специалистов по обработке данных
Вопросы, основанные на резюме
Вопросы и ответы на собеседования по большим языковым моделям (ВПН)
Вопросы и ответы на собеседования по компьютерному зрению часть 1( ВПН)
Вопросы и ответы на собеседования по компьютерному зрению часть 2 (ВПН)
Вопросы и ответы на собеседования по компьютерному зрению часть 3 (ВПН)

@machinelearning_interview
👍176🥰1
This media is not supported in your browser
VIEW IN TELEGRAM
📈 Python Graph gallery: 38 высококачественных гайдов по визуализации!

И этот список продолжает расти 📈

Кто сказал что matplotlib
уродлив? 😀


https://python-graph-gallery.com/best-python-chart-examples/

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33👍5🥰2
📌Деплой и поддержка сотни ML-моделей

Неплохая статья о том, развивать и сопровождать большое количество ML-моделей, много практических советов и реальных кейсов.

Также рассказывается о создании сервиса, который позволяет решать такие задачи:
Деплой модели должен занимать один день. Это позволит нам значительно снизить общий time-to-market наших моделей.

Деплой — типовая операция. Для стандартного деплоя модели не нужно привлекать разработчика.

Должен быть единообразный API для доступа к моделям, который можно легко интегрировать и описывать на разных языках программирования. Последнее было особенно важно, потому что у всех заказчиков свой стек технологий.

Нужны инструменты для observability наших решений. Притом они должны быть «из коробки», чтобы можно было задеплоить модель и легко получить инструменты для ее поддержки.

📎 Статья

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍132🥰1
📣 Объявление о начале соревнований на Kaggle!

Решаем олимпиаду по математике с помощью ИИ.

💰 Призовой фонд более 1 миллиона долларов
Крайний срок подачи заявок: 27 июня 2024 года

https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/

@data_analysis_ml
8👍8🥰4
🔥Подборка лучших обучающих каналов для программистов.

➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять

Машинное обучение

Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат

🏆 Golang
Golang - изучи один из самых перспективных языков на ит-рынке
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест

💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность

🚀 Data Science

Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data

🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных

#️⃣C#

С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа

🐍 Python

Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги

Java

Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги

💻 C++

C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии

⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend

🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов

📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки

🇬🇧 Английский для программистов

🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence

🔥 DevOPs
Devops для программистов
Книги Devops

🌟 Docker/Kubernets
Docker
Kubernets

📓 Книги
Библиотеки Книг для программситов

💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend
👍128🥰3
📌Подборка неочевидных AI-сервисов для event-менеджеров и не только

Держите AI, которые помогут облегчить работу и возьмут на себя решение разного спектра задач — от генерации креативных идей и концепций до помощи в продажах и тайм-менеджменте.

📎 Ссылки на эти AI

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍134🔥4
⚡️ Датасет для детекции речи размером более 150 тысяч часов на множестве языков

🟡На днях в публичный доступ выложили гигантский датасет для детекции речи (voice activity detection).

🟡Датасет содержит порядка 150 тысяч часов аудио более чем на 6000 диалектах. Количество уникальных ISO-кодов данного датасета не совпадает с фактическим количеством языков, так как близкие языки могут кодироваться одним и тем же кодом.
Данные были размечены для задачи детекции голоса при временной дискретизации примерно в 30 миллисекунд (или 512 семплов при частоте дискретизации 16 килогерц).

🟡Данный датасет распространяется под лицензией CC BY-NC-SA 4.0.
Пользуйтесь, самое то для задач NLP и всего такого

📎 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥75
💥 Дублирование одного и того же кода с SQL-запросами может привести к несогласованности в вашем проекте, если изменения будут внесены только в одну часть кода и не внесены в другию.

ApacheSpark UDF может помочь решить пободную проблему, инкапсулируя сложную логику, которая повторно используется в нескольких SQL-запросах.

@data_analysis_ml
👍124🥰2
This media is not supported in your browser
VIEW IN TELEGRAM
🌍YOLO-CIANNA: Neural Astro 🌍

CIANNA - это универсальная платформа для глубокого обучения, разработанная в первую очередь для анализа астрономических данных.

Функциональные возможности и оптимизации добавляются в зависимости от их актуальности для решения астрофизических задач.

CIANNA может использоваться для создания и обучения больших моделей нейронных сетей для различных задач и оснащена высокоуровневым интерфейсом Python (аналогично keras, pytorch и т.д.).

Одной из особенностей CIANNA является ее реализация детектора объектов в стиле YOLO, используемого в контексте обнаружения галактик в 2D или 3D продуктах радиоастрономических данных.

Фреймворк полностью поддерживает графическое ускорение благодаря низкоуровневому программированию на CUDA.

Код: github.com/Deyht/CIANNA
Cтатья: arxiv.org/pdf/2402.05925.pdf

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍145🥰3❤‍🔥2
📌Визуализация и анализ географических данных в R

Отличный онлайн-учебник по работе с географической информацией с помощью языка R
Здесь описываются азы работы с графикой, рассказывается, как проводить качественный пространственный анализ и не только

📎 Ссылка

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19❤‍🔥5🔥3🥰2
📌Cloudflare представляет брандмауэр для AI, защищающий LLM

Относительно недавно Cloudflare запустила «Брандмауэр для ИИ» (Firewall for AI), предназначенный для защиты LLM.
Firewall for AI спроектирован как усовершенствованный межсетевой экран веб-приложений (WAF), специально предназначенный для приложений, использующих LLM.
Firewall for AI тщательно анализирует модели, подсказки, представленные пользователями, для раскрытия любых схем эксплуатации.

Брандмауэр для AI предназначен для бесперебойной работы в обширной сети Cloudflare, что дает компании преимущество в обнаружении угроз на начальных стадиях и, в свою очередь, обеспечивает надежную защиту как пользователей, так и моделей от атак и неправильного использования. Хотя этот продукт все еще находится на стадии разработки, он знаменует собой значительный прогресс в области безопасности ИИ.

Набор потенциальных угроз для LLM выходит за рамки уязвимостей, с которыми сталкиваются обычные веб-приложения и API-приложения. Как заметили исследователи, сложные уязвимости, уникальные для систем искусственного интеллекта, могут позволить злоумышленникам захватывать модели и выполнять несанкционированные маневры. Предполагается, что межсетевой экран для искусственного интеллекта Cloudflare, предназначенный для борьбы с этими новыми опасностями, будет работать аналогично стандартному WAF — тщательно проверяя каждый запрос API, содержащий подсказку LLM, на предмет индикаторов или шаблонов атак.

Компетенция Firewall не привязана к какой-то одной инфраструктуре; он может защищать модели, размещенные на платформе Cloudflare Workers AI или любой другой внешней инфраструктуре, а также может использоваться в тандеме с Cloudflare AI Gateway.

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍94🥰2
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Prepacking: A Simple Method for Fast Prefilling and Increased Throughput in Large Language Models

Хотите бесплатно увеличить скорость и эффективность использования памяти для вашего HuggingFace LLM без снижения качества генерации?

Представляем Prepacking - простой метод, позволяющий увеличить скорость работы LLM в 6 раз и эффективность использования памяти в 16 раз .

https://arxiv.org/pdf/2404.09529.pdf

@data_analysis_ml
👍12❤‍🔥4🥰31