Собрать RAG-приложение на AWS проще, чем кажется.

Разберём, как это сделать на сервисах, которые и так всем знакомы.

В основе RAG всегда два этапа: ingestion и querying.

Вот как каждый из них можно реализовать в AWS.

1. Ingestion: превращаем сырые данные в доступные для поиска знания

Документы лежат в S3

При появлении новых данных срабатывает Lambda

Она чистит текст, режет его на чанки и строит эмбеддинги через Bedrock Titan Embeddings

Эмбеддинги сохраняются в векторное хранилище, например OpenSearch Serverless

В итоге получается база знаний, по которой можно искать.

Важный момент: переиндексация.
Если в документе поменялся один символ, нет смысла прогонять его целиком заново. Умный diff и инкрементальные апдейты сильно экономят и время, и деньги.

2. Querying: поиск и генерация ответа

Пользователь задаёт вопрос в приложении

Запрос проходит через API Gateway в Lambda

Вопрос превращается в эмбеддинг и матчится с векторной БД

Самые релевантные чанки передаются в LLM из Bedrock, например Claude

Готовый ответ возвращается пользователю

Так LLM отвечает не «из головы», а опираясь на реальные данные.

Это самый базовый вариант RAG на AWS, но сам паттерн не меняется при масштабировании.

Можно добавлять более умный чанкинг, улучшенный retrieval, кэширование, оркестрацию, eval-пайплайны — архитектура остаётся той же.

👉 @DataSciencegx

Ограничен по GPU и не хочешь поднимать локальный кластер для RL?

Знакомься с OpenTinker.

OpenTinker — это open-source RL-as-a-Service: ты проектируешь агента локально, а обучение и инференс спокойно уезжают на удалённые GPU. Без возни с инфраструктурой, без жёсткой связки логики агента и исполнения. Чистый, масштабируемый агентный RL.

Почему это важно:

- можно прототипировать RL-задачи локально, не думая о железе
- всё тяжёлое — обучение и инференс — выполняется на облачных GPU
- поддержка single-turn и multi-turn задач
- обученную модель можно сразу задеплоить в инференс, без допкода

Как это устроено:

- дезагрегированная архитектура
- локально крутится лёгкий клиент
- эксперименты отправляются в облачный scheduler
- scheduler матчится с доступными GPU и оркестрирует задачи по ресурсам
- таск поднимается удалённо, а метрики стримятся в реальном времени в дашборд

API для разработчиков:

- один раз оборачиваешь environment, reward и policy
- OpenTinker сам берёт на себя data loading, rollouts, training и inference

Интерфейсы знакомые:

- для окружения: env.reset() и env.step()
- для обучения: high-level fit() — полный training loop end-to-end
- под капотом fit() собран из train_step(), validate(), save_checkpoint()
- хочешь быстро — используешь fit()
- нужен контроль — кастомизируешь шаги вручную

Runtime агента выглядит как state machine:

PENDING — препроцессинг и токенизация

GENERATING — модель генерирует ответ

INTERACTING — агент действует в окружении

TERMINATED — задача завершена

Ссылки:

Репозиторий: https://github.com/open-tinker/OpenTinker
Блог: https://open-tinker.github.io/opentinker-page/

👉 @DataSciencegx