🔥 The-incredible-pytorch

В этом репозитории собраны лучшие учебники, проекты, библиотеки, видео, статьи, книги и все, что связано с невероятным PyTorch.

🔗 https://github.com/ritchieng/the-incredible-pytorch

@data_analysis_ml

🚀 pix2tex

- это библиотека #Python, позволяющая преобразовывать изображения уравнений в код LaTeX.

Это позволяет использовать уравнение из одного документа в другой документ, не переделывая его с нуля.

🐱 GitHub

@data_analysis_ml

🖥 Vector Databases: from Embeddings to Applications

Векторные базы данных являются ключевой частью многих приложений LLM, в которых требуется поиск или извлечение данных, например, с помощью Retrieval Augmented Generation (RAG).

Узнайте, как они работают и как их использовать в новом бесплатном курсе на deeplearningai.

https://www.deeplearning.ai/short-courses/vector-databases-embeddings-applications/

@data_analysis_ml

📕 Tutorial 2: Comparison to other methods of uncertainty quantification

В популярный учебник по глубокому обучению добавляен целый большой раздел-учебник по Конформной классификацией.

https://uvadlc-notebooks.readthedocs.io/en/latest/tutorial_notebooks/DL2/Bayesian_Neural_Networks/dl2_bnn_tut2_student_with_answers.html#Conformal-prediction

@data_analysis_ml

🛡 Как автоанализ кода с помощью ИИ повышает безопасность приложений

AppSec-инженеры занимаются безопасностью приложений, но им приходится делать много работы. Они должны быть экспертами по разным приложениям и разбираться во всем коде. Они также должны встречаться с разработчиками, чтобы узнать о внесенных изменениях. В небольших организациях это возможно, но для крупных организаций это сложно.

Мы считаем, что инструменты Gen AI, такие как ChatGPT, могут помочь AppSec-инженерам в их работе. Они могут помочь масштабировать работу и сделать ее более эффективной.

В этой статье мы расскажем, как ChatGPT может повысить эффективность AppSec-инженеров.

Начнем с главного

Как уже было сказано, наиболее значимыми рабочими процессами, выполняемыми AppSec-инженерами, являются моделирование угроз и проверка безопасности кода. Оба этих процесса всегда были ручными, требующими участия разработчиков и приличного количества знаний/времени/мотивации. Это, на наш взгляд, реальная возможность для Gen AI.

Чтобы не быть голословными, углубимся в детали и посмотрим, как это осуществить на практике. Обратим внимание на важнейшие сферы применения ИИ:

🟡Непрерывный анализ изменений кода приложений.
🟡Интерактивное моделирование и решение проблем, связанных с угрозами.
🟡Дополнительные области, на которые, по нашему мнению, инструменты ИИ могут повлиять в ближайшей перспективе.

И последнее уточнение: для иллюстрации рабочих процессов будем использовать ChatGPT (3.5). Стоит отметить, что между версиями 3.5 и 4 существуют различия, поэтому советуем рассмотреть и альтернативные варианты.

Итак, приступим к делу!

📌 Читать

@data_analysis_ml

⚡️ Data Warehouse vs Data Lake vs Data Mesh

📌Data Warehouse — это единое корпоративное хранилище архивных данных из разных источников (систем, департаментов и прочее). Цель Data Warehouse — обеспечить пользователя (компанию и ее ключевых лиц) возможностью принимать верные решения в ключе управления бизнесом на основе целостной информационной картины.

DWH — не только склад важных данных компании, но еще и основа бизнес-аналитики (BI). Именно из корпоративного хранилища компания получает сведения, необходимые для принятия управленческих и стратегических решений.

📌Data Lake (Озеро данных) — это метод хранения данных системой или репозиторием в натуральном (RAW) формате, который предполагает одновременное хранение данных в различных схемах и форматах.

Обычно используется blob-объект (binary large object) или файл. Идея озера данных в том чтобы иметь логически определенное, единое хранилище всех данных в организации (enterprise data) начиная от сырых, необработанных исходных данных (RAW data) до предварительно обработанных (transformed) данных, которые используются для различных задач: отчеты, визуализация, аналитика и мо.

Data Lake включает структурированные данные из реляционных баз данных (строки и колонки), полуструктурированные данные (CSV, логи, XML, JSON), неструктурированные данные (почтовые сообщения, документы, pdf) и даже бинарные данные (видео, аудио, файлы).

📌Data Mesh - дословно можно перевести как «сеть данных», — это децентрализованный гибкий подход к работе распределенных команд и распространению информации. Главное в нем — междисциплинарные команды, которые публикуют и потребляют Data-продукты, благодаря чему существенно повышают эффективность использования данных.

Традиционно архитектура данных монолитна. Потребление, хранение, преобразование и вывод управляются через одно центральное хранилище (как правило, озеро данных). Data Mesh же позволяет упростить работу с распределенными пайплайнами, поддерживая отдельных потребителей, рассматривающих данные как продукт.

@data_analysis_ml

🚀 Команда разработчиков только что сделала OpenAI Whisper в 6 раз быстрее, на 49% меньше, сохранив при этом 99% точности.

Модель уже доступна в библиотеке HuggingFace Transformers:

model_id = "distil-whisper/distil-large-v2".

Вы также можете попробовать демо в веб-интерфейсе.

⏩ Модель: https://huggingface.co/distil-whisper/distil-large-v2

🛠 Демо: https://huggingface.co/spaces/Xenova/distil-whisper-web

📕 Статья: https://arxiv.org/abs/2311.00430

@data_analysis_ml