🌟 Redpanda — платформа для потоковой передачи данных

Совместима с API Kafka. В 10 раз быстрее. Никакого ZooKeeper. Никаких JVM

— brew install redpanda-data/tap/redpanda && rpk container start
(rpk скачать можно тут)

Redpanda спроектирована для полной загрузки быстрых накопителей данных, таких как SSD или NVMe-устройства, а также на использование преимуществ многоядерных процессоров и компьютеров с большим объемом оперативной памяти. Это позволяет достичь максимальной производительности при обработке значительных объемов данных и запросов.

🖥 GitHub
🟡 Доки
🟡 Другой взгляд на Redpanda

@DevOPSitsec

⚡️ Ludwig — Python-фреймворк для создания пользовательских LLM и нейронных сетей

— pip install ludwig[full]

Особенности:

🟡позволяет легко создавать пользовательские модели: декларативный YAML-конфиг — все, что вам нужно, чтобы обучить современную LLM на ваших данных. Поддержка многозадачного и мультимодального обучения. Комплексная проверка конфигурации позволяет обнаружить недопустимые комбинации параметров и предотвратить сбои во время выполнения.

🟡Ludwig оптимизирован для масштабирования и эффективности: автоматический выбор размера партии, распределенное обучение (DDP, DeepSpeed), эффективная тонкая настройка параметров (PEFT), 4-битное квантование (QLoRA), страничные и 8-битные оптимизаторы, наборы данных больше, чем память.

🟡даёт полный контроль над своими моделями вплоть до функций активации. Поддержка оптимизации гиперпараметров, интерпретируемость и богатые возможности визуализации.

🟡модульность и расширяемость: экспериментируйте с различными архитектурами моделей, задачами, функциями и модальностями, изменяя всего несколько параметров в конфигурации.

🟡разработано для продакшена: готовые Docker-контейнеры, встроенная поддержка запуска с Ray на Kubernetes, экспорт моделей в Torchscript и Triton, загрузка в HuggingFace одной командой.

https://github.com/ludwig-ai/ludwig