⚡️ Большое обновление для бенчмарка Massive Text Embedding Benchmark (MTEB), призванное упростить поиск подходящей модели для эмбедингов!

Удобная фильтрация моделей, поиск, использование памяти, размер модели по параметрам.

Обновленный лидерборд: https://huggingface.co/spaces/mteb/leaderboard

@bigdatai

Нейросеть для генерации изображений YandexART стала доступна для тестирования внешним компаниям!

В режиме закрытого превью нейросеть уже попробовали несколько внешних компаний. Например, крупная e-com сеть тестирует YandexART для создания уникального дизайна подарочных карт. Клиенты сети смогут ввести текстовый запрос и самостоятельно выбрать собственное оформление для карты.

Теперь на облачной платформе Yandex Cloud с помощью YandexART компании смогут создавать визуалы для рекламы и социальных сетей, дизайн-макеты, иллюстрации для диджитала и книг. Нейросеть можно встроить через API в различные сервисы и веб-приложения.

🔥 Новый огромный многоязычный датасет для LLM" [Удалено дублирование ~5,6 трлн токенов]. 🔥

✨ Доступно 75 языков (22 ТБ необработанных файлов, 11 ТБ дедуплированных файлов и 8,4 ТБ чистых файлов), которые представлены в формате JSON, сжатых с помощью zstd.

Для удобства данные разделены на несколько сегментов по несколько ГБ каждый. Количество фрагментов для каждого языка зависит от размера конкретного корпуса.

✨ Формат - JSONL, в котором каждая строка представляет собой допустимое значение JSON и полный документ с метаданными.

- Статья: https://arxiv.org/abs/2403.14009
- Страница проекта: https://hplt-project.org
- Датасет: https://hplt-project.org/datasets/v1.2

@bigdatai

🔥Подборка лучших обучающих каналов для программистов.

➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять

⚡Машинное обучение

Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат

🏆 Golang
Golang - изучи один из самых перспективных языков на ит-рынке
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест

💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность

🚀 Data Science

Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data

🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных

#️⃣C#

С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа

🐍 Python

Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги

☕ Java

Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги

💻 C++

C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии

⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend

🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов

📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки

🇬🇧 Английский для программистов

🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence

🔥 DevOPs
Devops для программистов
Книги Devops

🌟 Docker/Kubernets
Docker
Kubernets

📓 Книги
Библиотеки Книг для программситов

💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend

OmniFusion 1.1 представляет собой гибридную LLM, способную взаимодействовать с изображениями.

В дополнение к стандартному текстовому диалогу, OmniFusion 1.1 может отвечать на вопросы, основанные на изображениях. Например, она способна анализировать рукописные задачи, интерпретировать карты или предоставлять рецепты на основе фотографий продуктов.

Эта модель построена на базе Mistral, однако легко заменяема другими языковыми моделями.

Разработчики обеспечили доступ к модели как для некоммерческого, так и для коммерческого использования.

Модель доступна на платформе Hugging Face.

https://github.com/AIRI-Institute/OmniFusion

@bigdatai

🔥 Крутая Шпаргалка по языку Julia

Если вы хотите узнать, чем синтаксис Julia отличается от пайтоновского, то эта шпаргалка — отличный материал для быстрого изучения.

Содержит информацию об использовании:
▪️пакетов;
▪️операторов;
▪️векторов;
▪️разных функций;
▪️датафреймов.

🔥Adobe объявила о выпуске ИИ-редактора для Premiere Pro.

На видео продемонстрированы возможности модели Adobe Firefly. В ближайшее время в Premiere Pro появится новая вкладка Generative, предлагающая следующие функции:

🔸Добавление объектов — это позволит выделить область на сцене и указать, что именно должно быть добавлено туда. Необходимые объекты будут автоматически сгенерированы на выбранном месте.
🔸Удаление объектов — помимо добавления, теперь можно также удалять объекты. Процесс выделения объектов выглядит очень просто, и следы удаленных объектов не остаются.
🔸Расширение контента — функция Generative Extend позволит увеличить длительность ваших видеороликов, чтобы достичь нужной продолжительности.

Все эти нововведения появятся в Premiere Pro "позже в этом году". Кроме того, программа будет поддерживать интеграцию с другими видеомоделями (Pika, Runway и, возможно, Sora от OpenAI).

https://www.adobe.com/products/premiere/ai-video-editing.html

@bigdatai

🤗 Основы квантования: Новый краткий курс, созданный в сотрудничестве DeepLearning.AI
с Hugging

Узнайте, как сжать модели с открытым исходным кодом с помощью метода квантования, чтобы сделать их более быстрыми и доступными.

https://www.deeplearning.ai/short-courses/quantization-fundamentals-with-hugging-face/

@bigdatai

🔥 Анонс альфа-релиза torch tune от Pytorch!

torchtune - это библиотека, созданная на базе PyTorch для файнтюнинга LLM.

Она сочетает в себе функции файнтюнинга, которые можно использовать, экономя память. Они легко интегрируются в ваши любимые инструменты.

Начните файнтюнить уже сегодня!

▪Github
▪Анонс

@bigdatai

🌐 AutoCrawler: Интеллектуальный веб-агент для парсинга.

AutoCrawler - крутой фреймворк, который использует иерархическую структуру HTML для разбора веб страниц

https://arxiv.org/abs/2404.12753

@bigdatai

⚡️Open Interface

Инструмент, который позволяет управлять любым компьютером через LLM.

Способен автоматически выполнять действия, эмулируя ввод с клавиатуры и мыши.

Корректирует курс, отправляя текущий снимок экрана в LLM при необходимости.

Подробное руководство по установке представлено для MacOS, Linux и Windows.

▪ Github

@bigdatai