⚡️ Новостной МЛ дайджест

✔️ Google предлагает подписчикам Gemini Advanced новые функции: Gems и Imagen 3.

Gems дает возможность пользователям файнтюнить Gemini для конкретных задач, предлагая готовые сценарии: образование, программирование, поиск идей, помощник по карьере и ассистент писателя. Imagen 3 - это новейшая модель генерации изображений, разработанная Google DeepMind.
9to5google.com

✔️ Суд признал Google монополией, окажет ли это влияние на рынок ИИ.

Федеральный судья Амит Мехта признал Google монополией, постановив, что компания незаконно использовала свою рыночную власть для вреда конкурентам в области поисковых систем. Это решение является первым поражением крупной интернет-платформы в антимонопольном деле за более чем 20 лет и может иметь серьезные последствия для бизнес-практик компаний Silicon Valley.

Юристы считают, что это решение может сделать судей более восприимчивыми к антимонопольным действиям в других делах против крупных технологических компаний, особенно в отношении растущей индустрии ИИ. Сегодня рынок ИИ доминируется многими из тех же компаний, которые являются ответчиками по антимонопольным обвинениям в суде, и эти компании используют те же тактики для укрепления своей власти на рынке ИИ.
time.com

✔️ Microsoft разрабатывает новые подходы к ИИ, по примеру работы человеческого мозга.

Microsoft объявила о нескольких новых проектах, направленных на разработку более эффективных и устойчивых технологий искусственного интеллекта.

Один из проектов - разработка нейронной сети CircuitNet, которая имитирует работу мозга в обработке информации. CircuitNet использует комбинацию плотно связанных локальных узлов и меньшего количества соединений между отдаленными регионами, вследствие чего сигналы обрабатываются более эффективно.

Другой проект - улучшение точности предсказательных моделей для будущих событий. В нем используются спайковые нейронные сети (Spiking neural networks), которые активируют нейроны только при достижении определенного порога.

Третий проект - улучшение способности ИИ обрабатывать языковые данные и прогнозировать закономерности. Исследователи разработали новый подход, который комбинирует две техники: центральные генераторы паттернов (Central pattern generators) и позиционное кодирование (Positional encoding). В результате, SNN лучше обрабатывает временные данные и точнее прогнозирует будущие события.
microsoft.com

✔️ Релиз Vectorlite v0.2.0: быстрый векторный поиск в процессе работы на любом языке с поддержкой SQL.

Компания Vectorlite объявила о выпуске новой версии своей библиотеки поиска векторов - v0.2.0. В этой версии разработчики решили проблемы, связанные с ограничениями hnswlib, которая использовалась в предыдущих версиях Vectorlite.

Одной из проблем hnswlib была реализация расстояния между векторами, которая была медленной на платформах ARM и не использовала более быстрые инструкции на платформах x64 с поддержкой AVX2. Кроме того, SIMD-инструкции определялись на этапе компиляции, что могло вызвать проблемы на системах, не поддерживающих AVX2.

В новой версии Vectorlite разработчики представили свою собственную портативную реализацию расстояния между векторами с использованием библиотеки Google Highway. Это позволило улучшить производительность Vectorlite в 1,5-3 раза на машинах с поддержкой AVX2 и векторами размером 256 и более. На платформах ARM Vectorlite теперь также поддерживает SIMD-ускорение.

Еще в новой версии Vectorlite нормализация векторов теперь гарантированно ускорена с помощью SIMD, что делает ее в 4-10 раз быстрее, чем скалярная реализация. .
1yefuwang1.github.io

@ai_machinelearning_big_data

#news #ai #ml

Новостной дайджест

✔️ Atlassian приобретает компанию Rewatch для интеграции с Loom

Компания Atlassian объявила о приобретении компании Rewatch, разработчика AI-инструментов для записи и анализа встреч. Rewatch будет интегрирован с платформой Loom, которую Atlassian приобрела в прошлом году за 975 миллионов долларов. Интеграция позволит автоматически создавать заметки и задачи на основе записей встреч и сделать их доступными для поиска в рамках бизнес-контекста.
В будущем, Loom сможет присоединяться к встречам в Zoom, Google Meet и Microsoft Teams, создавать полные транскрипты, заметки и задачи, которые можно автоматически связать с страницами Confluence, задачами Jira и тикетами службы поддержки.
techcrunch.com

✔️ OpenAI и Anthropic поделятся своими моделями с правительством США.

Компании OpenAI и Anthropic подписали соглашения с правительством США о сотрудничестве в области исследований, тестирования и оценки их моделей ИИ. Соглашения, заключенные с Институтом безопасности искусственного интеллекта США, предусматривают доступ института к новым моделям ИИ компаний до и после их публичного выпуска.
reuters.com

✔️ Magic представила новую модель со 100M контекстным окном и бенчмарк HashHop.

Компания Magic представила новую модель, способную обучаться на контексте длиной до 100 миллионов токенов. Эта модель, названная LTM (Long-Term Memory), позволяет обучаться на большом объеме данных и хранить информацию в долгосрочной памяти.
По словам разработчиков, модель имеет большой потенциал для применения в разработке ПО. Например, она может быть использована для синтеза кода, если модель имеет доступ ко всем массивам проекта, документации и библиотекам в контексте, включая те, которые не доступны в публичном интернете.

Также Magic представила новую методику оценки контекстных окон, HashHop. Этот бенчмарк оценивает способность модели хранить и извлекать информацию из контекста без использования явных семантических подсказок.
magic.dev

✔️ Stable Diffusion v1.5 был удален с Huggingface и Github.

Runway без предупреждения пользователей удалила содержимое своего репозитория с Huggingface и репозиторий, содержащий SD 1.5 c Github. Никаких публичных заывлений от компании на сегодняшний день не поступало.

Ранее компания Runway была участником исследований Stable Diffusion и занимала значимую позицию в соответствующих разработках. Однако публикация открытого кода Stable Diffusion 1.5 на Hugging Face вызвала споры из-за проблем с авторскими правами, что, по мнению представителей сообщества и привело к "тихому" удалению.
aibase.com

✔️ Jina AI представила "Late Chunking" - простой подход к внедрению коротких чанков за счет использования возможностей эмбеддинг-моделей с длинным контекстом.

Представленный метод позволяет создавать более эффективные и контекстно-зависимые векторные представления текста, тем самым улучшить результаты поиска и извлечения информации. "Late Chunking" сначала применяет слой трансформера ко всему тексту, а затем разделяет его на чанки и применяет эмбеддинг к каждому фрагменту, что позволяет сохранить контекстную информацию и улучшить результаты поиска.
Эксперименты на наборе данных BEIR, показали, что "Late Chunking" улучшает результаты поиска и извлечения информации по сравнению с традиционным подходом. Особенно заметное улучшение наблюдается при работе с длинными документами.
jina.ai


@ai_machinelearning_big_data

#news #ai #ml

🌟 NV-Embed-v2: Универсальная embedding-модель от Nvidia.

NVIDIA опубликовала в своем репозитории NV-Embed-v2, универсальную embedding-модель, которая занимает первое место в бенчмарке Massive Text Embedding Benchmark (MTEB benchmark, по состоянию на 30 августа 2024 года) с 56 задачами, включающими поиск, повторное ранжирование, классификацию, кластеризацию и задачи семантического сходства текстов.

Embedding модели позволяют преобразовать текстовые данные в плотные векторные представления, которые используются для задач NLP.
На практике embedding модели используются для векторизации исходного текста, например корпоративной информации, которой нет в основной LLM, и использования его для построения RAG-систем

Отличия NV-Embed-v2 от NV-Embed-v1:

🟢использование LLM для обработки латентных векторов;
🟢двухэтапный инструктивный метод настройки;
🟢новые методы анализа отрицательных результатов, которые учитывают положительный показатель релевантности для лучшего удаления ложноотрицательных результатов.

Характеристики модели:

🟠Base Decoder-only LLM: Mistral-7B-v0.1
🟠Pooling Type: Latent-Attention
🟠Embedding Dimension: 4096
🟠Vocab size: 32000

⚠️ Важно!

🟢Версии пакетов для локального запуска : torch=2.2.0, transformers=4.42.4, flash-attn=2.2.0, sentence-transformers=2.7.0;

🟢Для доступа к nvidia/NV-Embed-v2 необходимо пройти аутентификацию на HF, используйте свой токен HF в huggingface-cli login.

▶️ Пример использования с HF Transformers:

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel

# Each query needs to be accompanied by an corresponding instruction describing the task
task_name_to_instruct = {"example": "Given a question, retrieve passages that answer the question",}

query_prefix = "Instruct: "+task_name_to_instruct["example"]+"\nQuery: "
queries = [
    'are judo throws allowed in wrestling?', 
    'how to become a radiology technician?'
    ]

# No instruction needed for retrieval passages
passage_prefix = ""
passages = [
    "** LLM Answer about judo **",
    "** LLM Answer about radiology **"
]

# load model with tokenizer
model = AutoModel.from_pretrained('nvidia/NV-Embed-v2', trust_remote_code=True)

# get the embeddings
max_length = 4096
query_embeddings = model.encode(queries, instruction=query_prefix, max_length=max_length)
passage_embeddings = model.encode(passages, instruction=passage_prefix, max_length=max_length)

# normalize embeddings
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)
passage_embeddings = F.normalize(passage_embeddings, p=2, dim=1)

# get the embeddings with DataLoader
scores = (query_embeddings @ passage_embeddings.T) * 100
print(scores.tolist())

📌Лицензирование : CC-BY-NC-SA-4.0 License.


🟡Модель
🟡Arxiv


@ai_machinelearning_big_data

#AI #Embedding #ML #NVIDIA #LLM