Совет дня (JVM)

ElasticSearch как и OpenSearch используют JVM для своей работы, и лучшие практики рекомендуют выделять около 50% доступной на узле памяти для JVM. JVM использует память для обеспечения быстрого доступа процесса Lucene к значениям индексов. Остальные 50% остаются для кэша файловой системы, который хранит в памяти данные, к которым часто обращаются. И еще одна рекомендация — не более 30 Гб на JVM Heap, это пороговое значение на использование сжатых указателей (ordinary object pointers (oops)). В противном случае JVM будет работать неоптимально.

Ниже мы собрали несколько статей, в которых есть полезные советы по настройке и мониторингу JVM.

Elasticsearch memory usage guide

High JVM memory pressure

JVM settings

Elasticsearch Circuit Breaker Exceptions: How to Handle Circuit Breakers

@elasticstack_ru

Вебинар по OpenSearch уже сегодня в 10 часов по московскому времени

Уже меньше, чем через час будет наш совместный вебинар с Яндекс Облаком, где мы поговорим о возможностях управляемого сервиса OpenSearch и расскажем как снизить затраты на хранение данных. Приходите!

Регистрация

Запись нашего сегодняшнего вебинара уже на нашем канале на Youtube! Подписка на канал горячо приветствуется👍

Все зарегистрированные участники дополнительно получат ссылку на презентации.

How to Collect, Process, and Ship Log Data with Vector

Vector — это мощный агрегатор логов с открытым исходным кодом, разработанный компанией Datadog. Он позволяет создавать конвейеры мониторинга, легко получая логи из множества источников, преобразуя данные по мере необходимости и направляя их в нужное место назначения. Vector выделяется своей легковесностью, исключительной скоростью и эффективностью использования памяти, в основном благодаря реализации на языке Rust, известном своими возможностями управления памятью.

Если вы уже используете Vector или только планируете его использовать, обратите внимание на эту статью. Здесь разбираются практические кейсы настройки этого популярного сборщика и агрегатора данных.

@elasticstack_ru

Вышел OpenSearch 3.5

Не успели мы толком развернуть и насладиться 3.4, как вышла версия 3.5.

Что нового:

🚀 Расширена поддержка Prometheus для более глубокого анализа метрик (интерфейс Prometheus внутри OSD)

🚀 Улучшенная оптимизация поиска с помощью Search Relevance Workbench

🚀 Поддержка памяти агента для самообучающихся приложений (добавили ИИ-агентам постоянную структурированную память непосредственно в OpenSearch)

🚀 Повышен контроль над производительностью и эффективностью запросов (улучшен Query insights)

Подробности в блоге OpenSearch

@elasticstack_ru

Гулять так гулять!

Вышел ElasticSearch 9.3

Elastic Workflows теперь доступен в режиме предварительной версии. Эта штука реализует автоматизацию рабочих процессов в Elasticsearch.

Elastic Agent Builder теперь GA. Предоставляет набор возможностей на основе искусственного интеллекта, позволяющих разработчикам напрямую взаимодействовать с данными Elasticsearch и упростить разработку пользовательских агентов ИИ.

Три модели Jina AI (jina-embeddings-v3, jina-reranker-v2-base-multilingual и jina-reranker-v3) теперь GA через Elastic Inference Service (EIS). Обеспечивают быструю, ускоренную на графическом процессоре многоязычную эмбеддинговую обработку и высокоточную переранжировку.

Ускоренная на графическом процессоре векторная индексация появилась в качестве предварительной версии. Благодаря интеграции с NVIDIA cuVS — библиотеки с открытым исходным кодом для работы на графических процессорах, векторный поиск и кластеризация данных позволяет юзерам on-prem Elasticsearch ускорить индексирование данных с помощью графических процессоров NVIDIA.

Подробности в блоге Elastic

@elasticstack_ru

elasticsearch-labs

В этом репозитории на Github вы найдете Python notebooks, примеры приложений и другие ресурсы для тестирования платформы Elastic:

🚀 Использование Elasticsearch в качестве векторной базы данных для хранения эмбеддингов, обеспечения гибридного и семантического поиска.

🚀 Разработка сценариев: расширенная генерация поисковых запросов (RAG), суммаризация и ответы на вопросы (QA).

🚀 Примеры интегрираций OpenAI, Hugging Face и LangChain и использование Elasticsearch в качестве основы для приложений, работающих на базе LLM.

@elasticstack_ru

Как мы организовали работу с логами с помощью OpenSearch

В этой статье вы узнаете об использовании OpenSearch в качестве системы аналитики логов.

@elasticstack_ru

Вышел Data Prepper 2.14

В этой версии расширена поддержка сценариев мониторинга благодаря обновленной карте сервисов мониторинга производительности приложений (APM) и улучшена поддержка Prometheus.

🚀 Появился процессор otel_apm_service_map, который является развитием процессора service_map в части возможностей отслеживания вызовов между компонентами с течением времени. Также новый процессор автоматически генерит метрики Rate, Errors и Duration (RED).

🚀 Улучшена логика приема метрик от Prometheus (remote write). Добавлены механизмы сортировки и дедупликации. Также появилась опция out_of_order_time_window, которая позволяет принимать и пересортировать метрики, поступающие не по порядку.

🚀 Появилась поддержка ARM-архитектуры.

🚀 Образ Docker для Data Prepper стал на 46% меньше по размеру.

Статья в блоге OpenSearch

@elasticstack_ru

Snapshot Operations in OpenSearch

Статья хоть и не совсем свежая, но с момента ее публикации механизм создания снапшотов не изменился. Здесь описана структура хранения данных, как происходит обновление хранящихся данных и как выполняется восстановление из снапшотов.

@elasticstack_ru

The 2026 OpenSearch Roadmap: Four pillars for AI-native innovation

Роудмэп развития проекта на 2026 год состоит из 4 основных компонентов:

🔴 Модернизация поиска
🔴 Наблюдаемость и аналитика
🔴 Масштабируемость и отказоустойчивость
🔴 Сообщество и платформа

В этой статье в блоге OpenSearch рассматривается каждый из компонентов, начиная с общего обзора и заканчивая техническими деталями. В статье вы найдете ссылки на соответствующие RFC и задачи GitHub, где можно изучить конкретные нововведения, оставить отзыв и внести свой вклад в разработку.

@elasticstack_ru

Вышел Data Prepper 2.15

Что нового:

🚀 появилась поддержка Apache Iceberg в качестве источника. Apache Iceberg — это формат хранения, используемый в архитектурах типа datalake. Пайплайн в data Prepper регулярно считывает состояние (изменения) таблиц Iceberg и записывает их в OpenSearch.

🚀 Data Prepper теперь может извлекать данные из Prometheus (RW) и записывать в него. Поддерживаются все стандартные типы метрик Prometheus, включая counter, gauge, histogram и sum. Можно использовать его вместе с приемником Prometheus для создания сквозных конвейеров метрик Prometheus в Data Prepper.

Подробнее в блоге OpenSearch

@elasticstack_ru

OpenSearchCon Europe 2026

Посмотрите записи с мероприятия. Много интересных докладов.

@elasticstack_ru

Вышел Elastic 9.4: Workflows в GA, обновления Agent Builder и поддержка Prometheus/PromQL

Подробности в блоге Elastic

@elasticstack_ru