Big Data AI

☁️ OpenDAC

Исследователи из GeorgiaTech опубликовали крупнейший датасет и новую SOTA модель для исследования прямого захвата воздуха, это — ключевой процесс для борьбы с изменением климата ☺️

https://open-dac.github.io/

@bigdatai

👍5❤2🔥2

2.81K views15:39

Big Data AI

⚡️ Тинькофф разбор заданий на стажировку!

▪Видео
▪Задачи

@bigdatai

👍4❤2🔥2👎1

5.71K viewsedited 09:54

Big Data AI

🌟

В Google Фото можно будет улучшать видео по клику

Недавно Google Фото анонсировала AI-инструмент для редактирования фотографий Magic Editor, который был доступен только на последних смартфонах Pixel.
Теперь же Google Фото доступен на большем числе устройств Android, Chromebook и iOS, а скоро в нём появится новая опция для редактирования видео.

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

❤6🔥2

2.54K views13:02

Big Data AI

Forwarded from Machinelearning

⚡️ Google just dropped Code Gemma 1.1 7B IT 🔥

СЮРПРИЗ: Google только что выпустила Code Gemma 1.1 7B IT 🔥

Модели постепенно становятся все совершеннее в генерации кода .

Значительный прогресс достигнут для C#, Go, Python 🐍

Вместе с версией 7B они также выпустили обновленную базовую модель 2B.

Наслаждайтесь!

• 7B: https://huggingface.co/google/codegemma-1.1-7b-it
• 2B: https://huggingface.co/google/codegemma-1.1-2b
• Report: https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf

@ai_machinelearning_big_data

👍9❤2

2.31K views11:36

Big Data AI

🌟

Redpanda — платформа для потоковой передачи данных

Совместима с API Kafka. В 10 раз быстрее. Никакого ZooKeeper. Никаких JVM

— brew install redpanda-data/tap/redpanda && rpk container start
(rpk скачать можно тут)

Redpanda спроектирована для полной загрузки быстрых накопителей данных, таких как SSD или NVMe-устройства, а также на использование преимуществ многоядерных процессоров и компьютеров с большим объемом оперативной памяти. Это позволяет достичь максимальной производительности при обработке значительных объемов данных и запросов.

🖥

GitHub

🟡

Доки

🟡

Другой взгляд на Redpanda

@DevOPSitsec

Please open Telegram to view this post

VIEW IN TELEGRAM

Please open Telegram to view this post

VIEW IN TELEGRAM

👍4❤3🥰1

2.93K views13:03

Big Data AI

⚡️

Ludwig — Python-фреймворк для создания пользовательских LLM и нейронных сетей

— pip install ludwig[full]

Особенности:

🟡позволяет легко создавать пользовательские модели: декларативный YAML-конфиг — все, что вам нужно, чтобы обучить современную LLM на ваших данных. Поддержка многозадачного и мультимодального обучения. Комплексная проверка конфигурации позволяет обнаружить недопустимые комбинации параметров и предотвратить сбои во время выполнения.

🟡Ludwig оптимизирован для масштабирования и эффективности: автоматический выбор размера партии, распределенное обучение (DDP, DeepSpeed), эффективная тонкая настройка параметров (PEFT), 4-битное квантование (QLoRA), страничные и 8-битные оптимизаторы, наборы данных больше, чем память.

🟡даёт полный контроль над своими моделями вплоть до функций активации. Поддержка оптимизации гиперпараметров, интерпретируемость и богатые возможности визуализации.

🟡модульность и расширяемость: экспериментируйте с различными архитектурами моделей, задачами, функциями и модальностями, изменяя всего несколько параметров в конфигурации.

🟡разработано для продакшена: готовые Docker-контейнеры, встроенная поддержка запуска с Ray на Kubernetes, экспорт моделей в Torchscript и Triton, загрузка в HuggingFace одной командой.

https://github.com/ludwig-ai/ludwig

Please open Telegram to view this post

VIEW IN TELEGRAM

Please open Telegram to view this post

VIEW IN TELEGRAM

👍11❤3🔥2

3.48K views13:04

Big Data AI

🔝 Команда разработки AllSee выложили статью на Habr о том, как внедрять YandexGPT API в свои проекты

Показали, как решать проблемы интеграции YandexGPT. А именно — отсутствие официального SDK. Авторы создали свой и пошагово расписали, как его интегрировать.

https://habr.com/ru/articles/812979/

@bigdatai

❤5👍3🔥3

2.94K views10:32

Big Data AI

⚡️ QServe: Квантование W4A8KV4 для эффективного обслуживания LLM

Увеличивает максимально достижимую производительность Qwen1.5-72B в 2,4 раза при 100-дюймовой скорости и в 3,5 раза при L40S по сравнению с TensorRT-LLM.

▪ Github

@bigdatai

👍3❤2🔥1

3.12K views16:03

Big Data AI

🔥

В понедельник OpenAI анонсирует ИИ-поисковик — за день до старта Google I/O

На днях стало известно, что компания OpenAI планирует анонсировать продукт на базе искусственного интеллекта в сфере интернет-поиска. Теперь же сообщается, что ждать анонса долго не придётся — поисковик от OpenAI представят уже в будущий понедельник, а сам продукт будет позиционироваться как потенциальный конкурент поисковику Google и ИИ-поисковику стартапа Perplexity.

Любопытно, что анонс нового продукта OpenAI в сфере интернет-поиска должен состояться за день до начала ежегодной конференции Google I/O, которая стартует во вторник. Ожидается, что в рамках этого мероприятия Google анонсирует большое количество программных продуктов, связанных с искусственным интеллектом.

📎

Подробнее

@bigdatai

Please open Telegram to view this post

VIEW IN TELEGRAM

👍8❤3🔥3

3.47K viewsedited 09:58

Big Data AI

Вышла новая, улучшенная версия GPT-4 Omni, которая уже бьет все рекорды

https://habr.com/ru/news/814037/

@bigdatai1

❤4👍2👎2🔥1

3.05K views10:43

Big Data AI

👉 Интерактивные инструменты для машинного обучения

Это один из лучших и наиболее рекомендуемых репо на github для использования инструментов, которые помогут вам разобраться в различных темах машинного обучения.

🔗 https://github.com/Machine-Learning-Tokyo/Interactive_Tools

@bigdatai

❤4👍4

2.99K viewsedited 08:22

Big Data AI

⚡️ Chameleon: Mixed-Modal Early-Fusion Foundation Models

Chameleon, новые мультимодальные модели, которые могут генерировать и понимать текст и изображения в любой последовательности.

Это модель авторегрессии с параметрами 34B, обученная на ~ 10T токенах чередующихся смешанных модальных данных.

Она превосходит такие модели, как Flamingo, IDEFICS, Llava-1.5, и в то же время не уступает Mixtral-8 x 7 Band Gemini Pro в выполнении задач, связанных только с текстом.

Модель даже превосходит GPT-4V в оценке человеком.

abs: https://arxiv.org/abs/2405.09818

@bigdatai

❤3👍2

2.55K views11:46

Big Data AI

Google I/O 2024: AI That Looks Like Magic!

https://www.youtube.com/watch?v=MEJo5YSOrnU

@bigdatai

YouTube

Google I/O 2024: New AI That Looks Like Magic!

❤️ Check out Lambda here and sign up for their GPU Cloud: https://lambdalabs.com/papers

Try Gemini: https://aistudio.google.com/

When is everything coming out? https://www.ctol.digital/news/google-io-2024-grand-promises-sparse-deliveries-tech-tease/

Gemini…

❤5👍1

2.44K views19:20

Big Data AI