Анализ данных (Data analysis)
46.3K subscribers
2.29K photos
264 videos
1 file
2.03K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
⚡️ Napkin AI — инновационный сервис, который превращает обычный текст в наглядные визуальные схемы, диаграммы и инфографику, облегчая процесс представления сложной информации.

• Автоматическая генерация визуализаций:
  • Просто вставьте текст, и Napkin AI предложит несколько вариантов визуального представления, которые можно адаптировать под ваши нужды.

• Интуитивно понятный интерфейс:
  • Легкая настройка цветов, иконок и шрифтов обеспечивает гибкость в дизайне.

• Экспорт в разные форматы:
  • Готовые визуализации можно сохранить в PNG, SVG или PDF для использования в презентациях, статьях или социальных сетях.

• Преимущества для разработчиков:
  • Ускорение создания документации: Диаграммы и схемы для технической документации создаются быстрее и проще.
  • Улучшение командной коммуникации: Визуальные схемы помогают лучше объяснять сложные концепции и процессы коллегам.
  • Повышение качества презентаций: Автоматически сгенерированные инфографики делают ваши выступления более наглядными и профессиональными.

Napkin AI находится в стадии бета-тестирования и доступен бесплатно. Это отличная возможность опробовать сервис и интегрировать его в свой рабочий процесс.

Попробовать

@data_analysis_ml
👍206🔥4
🔥 llm-scraper — библиотека на языке TypeScript, предназначенная для извлечения структурированных данных с веб-страниц с использованием LLM!

🌟 Библиотека поддерживает различные провайдеры LLM, включая локальные модели (Ollama, GGUF), OpenAI и Vercel AI SDK. Для определения схем данных используется библиотека Zod, обеспечивая полную типизацию в TypeScript. В основе работы llm-scraper лежит фреймворк Playwright, который управляет взаимодействием с веб-страницами.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14👍65
✔️ OpenAI презентовала новые инструменты для разработчиков.

OpenAI анонсировала 3 новых инструмента для разработчиков, поддерживаемых в API и доступных через новый SDK. Среди новинок – WebSearch Tool, основанный на дообученной модели GPT-4o/GPT-4o-mini, для поиска информации в интернете. FileSearch Tool - инструмент поиска по документам с возможностью фильтрации по тегам, аналогично функциональности в Ассистентах. Третий - Computer Use (Operator), использующий ту же GPT-4o, предоставляющий доступ к локальному компьютеру пользователя.

Опубликованы и тарифы:
Computer Use немного дороже обычной GPT-4o — 3 доллара за вход и 12 долларов за выход на миллион токенов; как формировать контекст, какие скриншоты и текст закидывать — остается на ваше усмотрение.
Поиск по файлам оценивается в $2.5 за 1000 запросов и $0.1 за каждый гигабайт загруженных файлов.
Стоимость поиска зависит от настройки «длина контекста» (вероятно, от того, сколько ссылок из поисковой выдачи попадут в контекст); для старшей модели цена составляет $30–$50 за тысячу вызовов.

📌 Github
📌 OpenAI на Youtube

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍133🔥3🥱1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ GPUStack — это менеджер кластеров GPU с открытым исходным кодом для запуска и масштабирования AI моделей.

Универсальность: Поддерживает работу на разных платформах, включая macOS, Windows и Linux.
Масштабируемость: Позволяет легко добавлять дополнительные GPU или узлы для увеличения вычислительных мощностей.
Широкий спектр моделей: Поддерживает запуск больших языковых моделей (LLM), диффузионных моделей, аудио-, embedding и reranker моделей.
Несколько бекендов: Использует такие решения, как llama-box, vLLM и vox-box для инференса.
OpenAI-совместимые API: Предоставляет API, совместимые с OpenAI, что облегчает интеграцию с различными приложениями и сервисами.
Мониторинг и управление: Включает инструменты для отслеживания производительности GPU, использования токенов и управления пользователями и API-ключами.

https://github.com/gpustack/gpustack

@data_analysis_ml
👍86
Агентство NEWHR опубликовало результаты исследования рынка аналитиков. 1293 респондента разных уровней рассказали, где работают, к чему стремятся и сколько получают. Коротко о главном:

⚫️ Лучшей компанией для работы является Авито (37,2%). Она же стала абсолютным лидером из наиболее известных российских компаний (42,1%).
⚫️ Большинство русскоязычных аналитиков работают в российских компаниях — 75,9%.
⚫️ За 2024 год у 44,9% опрошенных зарплаты выросли на 10-30%.
⚫️ 46% стали более лояльны к своему работодателю.

@data_analysis_ml
5🔥1
⚡️ Computer Using Agent Sample App – это демонстрационное приложение для создания системы «Computer Using Agent» (CUA) с использованием OpenAI API.

Основные особенности
и интересные моменты проекта:

- Прототип CUA: Приложение показывает, как можно интегрировать ИИ-модель для управления интерфейсом компьютера. Модель анализирует скриншоты и предлагает действия (например, клики, ввод текста), которые необходимо выполнить в среде пользователя.
- Модульная архитектура: Проект разделён на две ключевые абстракции – «Computer» для выполнения действий (например, локальный браузер через Playwright, Docker-окружение, удалённые браузерные среды) и «Agent» для взаимодействия с моделью.
Многообразие сред: В репозитории реализованы различные среды (LocalPlaywright, Docker, Browserbase, Scrapybara), что позволяет протестировать приложение в разных условиях.

- Примеры использования: В проекте есть CLI для удобного старта, а также примеры (например, файл simple_cua_loop.py) для демонстрации базового цикла работы CUA.
Безопасность: Присутствуют базовые меры безопасности, в том числе проверки URL и запрос подтверждения действий, что важно при управлении реальными интерфейсами.

📌 Github

@data_analysis_ml
👍86🔥2
⚡️ Vondy: огромная базу ИИ-агентов для различных задач!

В Vondy можно подобрать нейроассистентов, которые возьмут на себя рутинную работу и сэкономят часы, чтобы вы могли уделить время отдыху, хобби или развлечениям.

Агенты для любых задач: от кодинга, написания текста, дизайна и бизнеса до повышения продуктивности и генерации изображений, звуков и видео.
Создайте своего агента: сервис предоставляет все необходимые инструменты, чтобы настроить помощника именно под ваши нужды.
Бесплатно.

https://www.vondy.com/

@data_analysis_ml
👍174🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Copy any UI

Клонирование любого сайта одним кликом стало возможным благодаря новому ИИ-агенту Same.dev! Этот инструмент способен создать практически точную копию веб-сайта всего лишь по ссылке.

Все, что вам нужно сделать, — это вставить URL интересующего ресурса и немного подождать. Same.dev автоматически проанализирует исходный код и предоставит готовую копию, которую сложно отличить от оригинала.

Причем это абсолютно бесплатно: https://same.dev/
19👍13🔥8
⚡️All-atom Diffusion Transformer (ADiT) — это новая разработка в области генеративного моделирования химических систем

. ADiT представляет собой унифицированную латентную диффузионную модель, способную генерировать как периодические материалы, так и непериодические молекулярные структуры
ARXIV.ORG

Ключевые особенности проекта:

Унифицированный подход: ADiT использует единое представление для молекул и материалов, что позволяет эффективно работать с различными химическими системами
ARXIV.ORG

Диффузионная модель: В основе генерации новых структур лежит диффузионная модель, обученная создавать новые латентные представления, которые затем декодируются в валидные молекулы или материалы
ARXIV.ORG

Автоэнкодер: Система включает автоэнкодер, который отображает атомарные представления молекул и материалов в общее латентное пространство, обеспечивая эффективное кодирование и декодирование
ARXIV.ORG

📌 Github

@data_analysis_ml
👍73🔥2
📹 ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

ReCamMaster: генеративный рендеринг с функциями управлением камерой 🔥

Еще один хит в области генерации видео из Китая

Позволяет создавать реалистичные новые сцены из одного видео, что позволяет «переснимать» видео с новыми движениями камеры.

Код обещают очень скоро,

🟡Github: https://github.com/KwaiVGI/ReCamMaster
🟡Paper: https://arxiv.org/abs/2503.11647
🟡Project: https://jianhongbai.github.io/ReCamMaster/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥64👍3
⚡️ Remade Effects — это интерактивный проект Spaces от Remade-AI, который демонстрирует возможности генеративного ИИ для создания креативных эффектов на изображениях.

Инновационный подход: Проект позволяет применять различные художественные и стилистические эффекты к изображениям, используя современные генеративные модели.
Простота использования: Удобный интерфейс дает возможность легко экспериментировать с эффектами без необходимости писать код, что делает его доступным как для разработчиков, так и для дизайнеров.
Креативность и вдохновение: Инструмент может быть полезен художникам и креативщикам для создания уникальных визуальных работ, а также для исследований в области генеративного дизайна.

https://huggingface.co/spaces/Remade-AI/remade-effects

@data_analysis_ml
👍4🔥2
Forwarded from Machinelearning
Mistral только что выпустили многоязычный, мультимодальный 24B LLM с производительностью SOTA с контекстом 128K и лицензией Apache 2.0 🔥

🟡HF: https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503
🟡Post: https://mistral.ai/news/mistral-small-3-1/

@ai_machinelearning_big_data


#mistral #llm #mistralsmall
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥64👍4
Multimodal-SAE 🚀

Multimodal-SAE — это фреймворк для работы с мультимодальными языковыми моделями (LMMs), который фокусируется на интерпретируемости и анализе их внутренних механизмов. Он использует разреженные автокодировщики (Sparse Autoencoders), чтобы «расшифровать», как модели обрабатывают текст, изображения и другие данные.

▪️ Для кого?
Разработчики AI/ML, работающие с LMMs (например, GPT-4, LLaVA).
Исследователи, изучающие интерпретируемость нейросетей.
Инженеры, которым нужно оптимизировать мультимодальные модели.

▪️ Чем полезен?
Диагностика моделей — выявляет, какие нейроны отвечают за обработку изображений, текста или их комбинаций.
Уменьшение «галлюцинаций» — помогает находить и исправлять ошибки в логике модели.
Сжатие моделей — идентифицирует избыточные компоненты для ускорения работы LMMs.
Гибкость — работает с любыми предобученными моделями (Vision-Language, Audio-Text и др.).

▪️ Преимущества перед аналогами
Глубокая интерпретируемость — не просто визуализирует внимание, а декомпозирует механизмы принятия решений.
Эффективность — алгоритмы оптимизированы для работы с большими мультимодальными данными.
Универсальность — поддерживает CV, NLP, Speech в одном фреймворке.
Визуализация — встроенные инструменты для анализа активаций нейронов (графики, heatmaps).

P.S. Для старта изучите их документацию — там есть примеры для GPT-4, LLaMA и других популярных моделей!

📌 Github
📌 Paper

@data_analysis_ml
👍54🔥3