Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
271 videos
1 file
2.06K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
GigaChat обгоняет ChatGPT по всем характеристикам — к таким результатам пришли разработчики отечественной нейросетевой модели. В последнем исследовании разрабы решили сравнить модели от Сбера и OpenAI, результаты можно посмотреть здесь.

Не зря на сегодняшний день нейросетью от Сбера пользуется более 2,5 млн человек.Теперь ждем, когда Яндекс проведет такое же исследование.

@data_analysis_ml
🤣138👍206👎5🔥2💯2
🖥 Совет Pandas!

Используйте параметр parse_dates для указания столбцов с датами при создании даатфрейма из CSV, вместо pd.to_datetime.

Это делает код более кратким и удобным для чтения.

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
49👍30🔥7🎉3
⚡️ Awesome-polars

Большой полезный кураторский список примеров с кодом, инструментов, бенчмарков и статей о Polars.

Github
Docs

@data_analysis_ml
🔥15👍52
📈 PALLAIDIUM - генеративный искусственный интеллект для Blender VSE.

AI-генерация видео, изображений и аудио из текстовых промптов или других видео или изображений.

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥2👍1🥰1
📈 Каждый студент, изучающий информатику, знает об алгоритме Дейкстры для поиска кратчайшего пути.

Но знаете ли вы, что этот культовый алгоритм был придуман в ресторане, да еще и за 20 минут?

Во время интервью в 2001 году Эдсгер Вайб Дейкстра рассказал, что разработал алгоритм всего за 20 минут во время шопинга в Амстердаме со своей невестой в 1956 году.

Его вдохновил вопрос:
"Каким кратчайшим путем можно добраться из Роттердама в Гронинген?"

Он спроектировал его без карандаша и бумаги.

Алгоритм был опубликован три года спустя в трехстраничной статье под названием "Заметка о двух проблемах, связанных с графами".

Дейкстра получил премию Тьюринга в 1972 году за фундаментальный вклад в разработку структурированных языков программирования, но алгоритм кратчайшего пути остается его самой известной работой.

👇 Напишите в комментариях реализацию Алгоритма на своем любимом языке программирования.

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥60👍118🙏1
This media is not supported in your browser
VIEW IN TELEGRAM
🏆 DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors

DynamiCrafter, получила обновление, это модель которая может анимировать неподвижные изображения с открытым доменом на основе промптов.

🌐page: https://doubiiu.github.io/projects/DynamiCrafter
📄paper: https://arxiv.org/abs/2310.12190
🧬code: https://github.com/Doubiiu/DynamiCrafter

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🔥2
🔥 Список лучших Python-библиотек 2023 года по версии Tryolabs.

LiteLLM — библиотека, которая обеспечивает бесшовную интеграцию с различными языковыми моделями. Она позволяя использовать унифицированный формат как для ввода, так и для вывода вне зависимости от применяемой LLM.

MLX — это библиотека от Apple для машинного обучения на процессорах Apple Silicon.

Taipy — инструмент, который позволяет дата-сайентистам создавать интерактивный Web UI для ML-проектов.

PyApp — упрощает распространение и установку Python-приложений. Это достигается за счёт встраивания Python в самоустанавливающийся пакет, совместимый со всеми операционными системами.

Unstructured — набор инструментов для предварительной обработки текста.

ZenML и AutoMLOps — два мощных инструмента для создания MLOps-пайплайнов.

WhisperX — библиотека для распознавания речи, способная обнаружить нескольких говорящих на аудио.

AutoGen — инстрмент, который позволяет создавать LLM-приложения с несколькими агентами, способными общаться друг с другом для решения задач.

Guardrails — помогает заставить LLM возвращать структурированные, качественные ответы определённого типа.

Temporian — библиотека для простой и эффективной предобработки и фича-инжиниринга временных данных в Python.

@data_analysis_ml
👍31🔥64❤‍🔥1🙏1
📜 10 месяцев назад был запущен проект Vesuvius Challenge, для расшифровки древних Геркуланумских папирусов, которые были погребены и обуглены в результате извержения Везувия в 79 году нашей эры.

Обугленные свитки обнаружили в 1752 году на вилле у Неаполитанского залива, которая, когда-то принадлежала тестю Юлия Цезаря.

Сегодня спустя 2000 лет мы наконец-то можем прочитать эти свитки.

Студенты расшифровали фрагмент знаменитого свитка с помощью алгоритмов мо. Им удалось прочитать более 2000 слов на обугленном папирусе, погребенном в результате извержения Везувия.

В работе представлены результаты трех различных архитектур моделей, каждая из которых подтверждает выводы других, причем наиболее качетвенные изображения дает модель на основе TimeSformer. Код обнаружения чернил был опубликован на GitHub.

Алгоритм обучили читать чернила как на поверхности, так и на скрытых слоях нераспечатанных свитков.

Оказалось, что в тексте говорилось об удовольствии — высшем благе в эпикурейской философии.

Автором текста признали Филодема — философа, жившего в усадьбе, где нашли этот свиток.

В расшифрованных фрагментах автор размышляет о том, может ли доступность товаров, таких как еда, влиять на удовольствие, которое они доставляют.

Расшифровавшие свиток Юссеф Надер, Люк Фарритор и Джулиан Шиллигер разделили главный приз Vesuvius Challenge в размере 700 000 долларов.

Удалось расшифровать всего 5% всего свитка, но это уже огромное достижение для науки.

Подробнее
Github

@data_analysis_ml
🔥49👍102👏2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Графовые нейронные сети (ГНС) стали мощным методом работы с уникальными и разнородными данными из графов.

Google объявили о выпуске TensorFlow GNN 1.0 (TF-GNN), проверенной на практике библиотеки для построения GNN в масштабе.

Анонс: https://blog.research.google/2024/02/graph-neural-networks-in-tensorflow.html

Colab: https://colab.research.google.com/github/tensorflow/gnn/blob/master/examples/notebooks/ogbn_mag_e2e.ipynb

Github: https://github.com/tensorflow/gnn

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥54
This media is not supported in your browser
VIEW IN TELEGRAM
🍏 Guiding Instruction-based Image Editing via Multimodal Large Language Models

Apple
выпустила новую модель искусственного интеллекта с открытым исходным кодом MGIE.

Интсрумент может редактировать изображения на основе промптов на естественном языке

Добавить объект, изменить форму, удалить фон, изменить цвета на фото, от вас нужно лишь текстовое описание.

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥52
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
⭐️ YOLO-World Real-Time Open-Vocabulary Object Detection

Обнаружение объектов в режиме реального времени БЕЗ ОБУЧЕНИЯ.

YOLO-World - это новая SOTA, которая превосходит предыдущие модели как по точности обнаружения, так и по скорости. 35,4 AP при 52,0 FPS на V100.

Все, что вам нужно, это изображение + промпт (список категорий, которые вы хотите обнаружить).

🖥 Github: https://github.com/AILab-CVC/YOLO-World

📚 Paper: https://arxiv.org/abs/2401.17270

⚡️Demo: https://www.yoloworld.cc

🤗Hf: https://huggingface.co/spaces/stevengrove/YOLO-World

ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23🔥73
📈 tfcausalimpact

Библиотека для поиска причинно-следственных связей на Python, основанная на пакете R от Google. Построена с использованием TensorFlow Probability.

Вы проводите маркетинговую кампанию и видите, что количество пользователей увеличивается. Но как узнать, связано ли это с вашей кампанией или это просто совпадение?

Вот тут-то и пригодится tfcausalimpact. Бибилиотека помогает прогнозировать будущие тренды и тенденции в данных и сравнивает ваши показатели с фактическими данными для получения статистических выводов.

pip install tfcausalimpact

📌Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍319🔥5
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 PyForest

Писать одни и те же импорты снова и снова - это путсая трата времени. Попробуйте pyforest, этот интсрумент сделает работу по импорту библиотек за вас.

С помощью pyforest вы можете использовать все свои любимые библиотеки Python, не импортируя их перед этим.

Если вы используете пакет, который еще не импортирован, pyforest импортирует его за вас и добавит код в первую ячейку Jupyter.

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4815🔥6❤‍🔥2
⚡️ Как только вы перейдете на Parquet...
...вы никогда не вернетесь к CSV.


Parquetэто формат хранения данных, разработанный для эффективного анализа больших объемов данных.

Он обеспечивает высокую производительность чтения и записи, а также поддерживает сжатие данных, что позволяет сэкономить место на диске.

В Python существует несколько библиотек для работы с форматом Parquet, наиболее популярной из них является pyarrow.

pip install pyarrow

import pyarrow.parquet as pq
# Чтение данных из файла Parquet
table = pq.read_table('example.parquet')
df = table.to_pandas() # Преобразование таблицы Parquet в объект pandas DataFrame
# Запись данных в файл Parquet
table = pq.Table.from_pandas(df)
pq.write_table(table, 'example.parquet')

https://pypi.org/project/parquet/

#junior #parquet

@data_analysis_ml
🔥41👍164
⚡️ Smaug-72B - лучшая модель с открытым исходным кодом в мире!

Она находится в топе HuggingFace LLM LeaderBoard, Smaug является первой моделью со средним баллом 80.

Это делает ее лучшей в мире LLM моделью с открытым исходным кодом.

В таблице приведено сравнение с открытыми и проприетарными моделями Mistral, Gemini Pro и GPT-3.5.

https://huggingface.co/abacusai/Smaug-72B-v0.1

@data_analysis_ml
👍19🔥43🤯1