Big Data AI
16.8K subscribers
829 photos
98 videos
19 files
831 links
@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe
Download Telegram
🤗 Основы квантования: Новый краткий курс, созданный в сотрудничестве DeepLearning.AI
с Hugging


Узнайте, как сжать модели с открытым исходным кодом с помощью метода квантования, чтобы сделать их более быстрыми и доступными.

https://www.deeplearning.ai/short-courses/quantization-fundamentals-with-hugging-face/

@bigdatai
👍63🔥1
🔥 Анонс альфа-релиза torch tune от Pytorch!

torchtune - это библиотека, созданная на базе PyTorch для файнтюнинга LLM.

Она сочетает в себе функции файнтюнинга, которые можно использовать, экономя память. Они легко интегрируются в ваши любимые инструменты.

Начните файнтюнить уже сегодня!

Github
Анонс

@bigdatai
👍72🔥2
▶️Meta бросила вызов ChatGPT — все сервисы компании получили «самого умного» ИИ-помощника

🟡Совсем недавно Meta представила не только новое поколение собственных языковых моделей Llama 3, но и подключила их к поисковым строкам своих основных приложений — Facebook, Messenger, Instagram и WhatsApp, пусть и не во всех странах. Кроме того, компания запустила отдельный сайт для своего чат-бота, meta.ai.

🟡Meta AI запустили ещё в прошлом году, и он по-прежнему поддерживает лишь английский язык, однако работает во многих странах, включая Австралию, Канаду, Гану, Ямайку, Малави, Новую Зеландию, Нигерию, Пакистан, Сингапур, Южную Африку, Уганду, Замбию и Зимбабве.
Среди новых функций Meta AI — возможность попросить ИИ найти определённую информацию в Google и Bing. Разработчики не просто ускорили генерацию изображений с помощью Meta AI, но и наделили ИИ возможностью анимировать картинки, а также улучшили функцию размещения текста на генерируемых изображениях.

🟡Стремясь как можно сильнее расширить присутствие ИИ в своих продуктах, Meta добавила его не только в поисковые строки, но и в индивидуальные и групповые чаты, и даже в ленты приложений. Например, увидев в ленте Facebook фотографию северного сияния можно спросить ИИ, когда лучше отправиться в Исландию, чтобы наблюдать его своими глазами. Помимо этого, Meta AI добавили в умные очки Ray-Ban, вскоре он появится и в VR-гарнитуре Meta Quest.

📎 Подробнее

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73🤔2👎1
🌐 AutoCrawler: Интеллектуальный веб-агент для парсинга.

AutoCrawler - крутой фреймворк, который использует иерархическую структуру HTML для разбора веб страниц

https://arxiv.org/abs/2404.12753

@bigdatai
👍112👎1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️Open Interface

Инструмент, который позволяет управлять любым компьютером через LLM.

Способен автоматически выполнять действия, эмулируя ввод с клавиатуры и мыши.

Корректирует курс, отправляя текущий снимок экрана в LLM при необходимости.

Подробное руководство по установке представлено для MacOS, Linux и Windows.

Github

@bigdatai
👍82🥰2
⚡️ YandexART обновился до версии 1.3 и перешел на латентную диффузию

Рассказали, чем латентная диффузия отличается от каскадной и что еще изменилось в новой версии нейросети.

▪️ Статья

@bigdatai
6👍3💩3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🧍‍♂ NVIDIA представляет TeSMo!!

Это новый метод создания движений с учетом заданный сцены, управляемый текстом, который позволяет создавать реалистичные и разнообразные взаимодействия человека и различных объектов.

TeSMo генерирует реалистичную ориентацию в пространстве, позволяет задавать положение тела и позы.

Model
Paper

@bigdatai
👍8🔥31🥱1
⭐️ Data Science разбор реальной задачи с собеседования. Прогнозирование оттока клиентов.

Смотреть
Данные
Ноутбук

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍92🔥2
☁️ OpenDAC

Исследователи из GeorgiaTech опубликовали крупнейший датасет и новую SOTA модель для исследования прямого захвата воздуха, это — ключевой процесс для борьбы с изменением климата ☺️

https://open-dac.github.io/

@bigdatai
👍52🔥2
⚡️ Тинькофф разбор заданий на стажировку!

Видео
Задачи

@bigdatai
👍42🔥2👎1
🌟 В Google Фото можно будет улучшать видео по клику

Недавно Google Фото анонсировала AI-инструмент для редактирования фотографий Magic Editor, который был доступен только на последних смартфонах Pixel.
Теперь же Google Фото доступен на большем числе устройств Android, Chromebook и iOS, а скоро в нём появится новая опция для редактирования видео.

@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
6🔥2
Forwarded from Machinelearning
⚡️ Google just dropped Code Gemma 1.1 7B IT 🔥

СЮРПРИЗ: Google только что выпустила Code Gemma 1.1 7B IT 🔥

Модели постепенно становятся все совершеннее в генерации кода .

Значительный прогресс достигнут для C#, Go, Python 🐍

Вместе с версией 7B они также выпустили обновленную базовую модель 2B.

Наслаждайтесь!

7B: https://huggingface.co/google/codegemma-1.1-7b-it
2B: https://huggingface.co/google/codegemma-1.1-2b
Report: https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf

@ai_machinelearning_big_data
👍92
🌟 Redpanda — платформа для потоковой передачи данных

Совместима с API Kafka. В 10 раз быстрее. Никакого ZooKeeper. Никаких JVM

brew install redpanda-data/tap/redpanda && rpk container start
(rpk скачать можно тут)

Redpanda спроектирована для полной загрузки быстрых накопителей данных, таких как SSD или NVMe-устройства, а также на использование преимуществ многоядерных процессоров и компьютеров с большим объемом оперативной памяти. Это позволяет достичь максимальной производительности при обработке значительных объемов данных и запросов.

🖥 GitHub
🟡 Доки
🟡 Другой взгляд на Redpanda

@DevOPSitsec
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43🥰1
⚡️ Ludwig — Python-фреймворк для создания пользовательских LLM и нейронных сетей

pip install ludwig[full]

Особенности:

🟡позволяет легко создавать пользовательские модели: декларативный YAML-конфиг — все, что вам нужно, чтобы обучить современную LLM на ваших данных. Поддержка многозадачного и мультимодального обучения. Комплексная проверка конфигурации позволяет обнаружить недопустимые комбинации параметров и предотвратить сбои во время выполнения.

🟡Ludwig оптимизирован для масштабирования и эффективности: автоматический выбор размера партии, распределенное обучение (DDP, DeepSpeed), эффективная тонкая настройка параметров (PEFT), 4-битное квантование (QLoRA), страничные и 8-битные оптимизаторы, наборы данных больше, чем память.

🟡даёт полный контроль над своими моделями вплоть до функций активации. Поддержка оптимизации гиперпараметров, интерпретируемость и богатые возможности визуализации.

🟡модульность и расширяемость: экспериментируйте с различными архитектурами моделей, задачами, функциями и модальностями, изменяя всего несколько параметров в конфигурации.

🟡разработано для продакшена: готовые Docker-контейнеры, встроенная поддержка запуска с Ray на Kubernetes, экспорт моделей в Torchscript и Triton, загрузка в HuggingFace одной командой.

https://github.com/ludwig-ai/ludwig
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍113🔥2
🔝 Команда разработки AllSee выложили статью на Habr о том, как внедрять YandexGPT API в свои проекты

Показали, как решать проблемы интеграции YandexGPT. А именно — отсутствие официального SDK. Авторы создали свой и пошагово расписали, как его интегрировать.

https://habr.com/ru/articles/812979/

@bigdatai
5👍3🔥3