Новый понедельник, новая китайския моделька от DeepSeek — Janus Pro 7B для создания картинок:

https://github.com/deepseek-ai/Janus

Janus Pro по бенчмаркам вровень или лучше OpenAI DALL-E 3 и Stable Diffusion. Тоже Open Source, так что можно пользоваться:

https://huggingface.co/deepseek-ai/Janus-Pro-7B

#AI

SwiftChat — референс-проект от AWS для создания AI-чата:

https://github.com/aws-samples/swift-chat

React + Bedrock, поддержка Ollama, DeepSeek, OpenAI, Nova.

#Bedrock

Самая удивительная особенность, которая обнаружилась после перехода RDS(8.0.mysql_aurora.3.08.0) на Gravitron v2, это способность на высокий утилизации CPU не снижать эффективность/производительность.
А я не знаю как это точнее назвать, пусть будет слово эффективность.
Давайте к примерам.

Когда был db.r5.2xlarge, при CPU usage 85-100% длительностью больше 10-15 минут начиналась небольшая, но деградация работы с базой данных.
Из замеченного мной:
- небольшое отставание лага у read реплик
- timeout со стороны приложения к бд(для новых коннекшнов)
- slow query (честно говоря они появлялись примерно после 22-24 минут непрерывного CPU usage 85-100%)
- очереди запросов (самое больное по бизнес аппликейшн, почти везде real-time)
- binary log писался с небольшим лагом(используется для Debezium+Kafka для реалтайма)

Когда переключили на db.r6g.2xlarge при ровно таких же жёстких нагрузках:
- регулярные миграции
- по расписанию какие-то профилактические работы
- онбординг новых очень крупных клиентов (там прям DP-MySQL series в этот момент)
- запуск snowflake
- запуск retool,
база свободно выдерживает 85-100% в течении длительного времени 15-30 минут без снижения эффективности.
Никаких диких таймаутов, никаких слоулогов, даже репликация проходит без лагов.

Какая-то удивительная магия для меня.
Заставляет задуматься и даже скорректировать алёрты на такое поведение.
И да, я не знаю причина тому смена c5->r6 или же невероятная магия ARM у Gravitron.

* К сожалению графики Grafana, графики и логи у NewRelic в качестве доказательств не могу предоставить:
там если замазать, то будет совсем непонятно, а без замазки полный NDA, а потому без картиночек.
Trust me, Neo.

#AWS #CostOptimization

DeepSeek-R1-Distill-Llama + Bedrock:

https://github.com/aws-samples/amazon-bedrock-samples/blob/main/custom-models/import_models/llama-3/DeepSeek-R1-Distill-Llama-Noteb.ipynb

#Bedrock

DeepSeek — что за шум, простыми словами

DeepSeek — китайская компания, выпустившая в конце января Open Source модель DeepSeek-R1:

https://github.com/deepseek-ai/DeepSeek-R1

R1 — это "думающая" (reasoning) модель, прямой конкурент OpenAI o1, условно самой крутой на сегодняшний момент.

Собственно она и наделала столько шуму, потому что показала очень близкие результаты, где-то даже лучше. При этом она Open Source и резко выбивается из общего ряда способом "размышления" и потрясающей скоростью работы. А также ценой, которая в десятки раз меньше текущих на рынке.

При этом месяцем раньше компания выпустила DeepSeek-V3 — прямой конкурент GPT-4o:

https://github.com/deepseek-ai/DeepSeek-V3

Она круче его на голову, но все дружно проигнорили это, т.к. Claude 3.5 Sonnet тоже лучше и все давно привыкли, что тут ничего нового.

К модели R1 прилагается детальный процесс, как она была получена из которого следует, что стоимость обучения модели на порядок меньше, чем у OpenAI сотоварищи.

Как же им это удалось? Если говорить максимально упрощённо, они тупо пропустили самый дорогой и долгий этап проверки результатов работы модели живыми людьми. Берём запрос, генерируем ответ, смотрим, чтобы он был не хуже того, что генерит OpenAI или Claude. Если хуже, переделываем. Всё.

Нет людей, машины учатся у машин.

Можно сравнить с AlphaGo, которая сначал обучалась на партиях профи, а после тренировалась сама с собой методом проб и ошибок.

Ну, а дальше уже подключились политические аспекты противостояния USA-China, что отразилось и на рынке, вызвав резкое снижение акций NVIDIA.

Из некоторых сообщений можно было сделать вывод, что какая-то неизвестная компания с минимальными ресурсами уделала лидеров рынка, что приведёт к крушению AI индустрии вообще и NVIDIA в частности.

Это не так. Любое удешевление технологии приводит к увеличению спроса на железо, а не уменьшению. Все хотят этим воспользоваться, так что DeepSeek это спонсор NVIDIA, просто в будущем.

Касаемо ресурсов, то известно, что материнская компания DeepSeek владеет многими десятками тысяч карт AI ускорителей от NVIDIA, которые при этом запрещено экспортировать в Китай.

Подытожу, DeepSeek получил такую вирусность благодаря тому, что это Open Source. Почему такое эффективное решение сделали сделали Open Source, это уже второй вопрос. И время для этого получилось очень удачное — Lllama 4 ещё не вышла и на сейчас R1 на вершине хайпа.

R1 прямо сейчас уже есть и в AWS, и в Perplexity Pro.
Все спешат его поставить, можно даже поставить и себе локально на компьютер, ведь это Open Source.

Open Source is the way!

#AI #OpenSource #DeepSeek

Выбор AWS региона в Европе

В Stockholm eu-north-1 завезли Graviton 4 C8g инстансы. Как обычно, самые дешёвые в Европе.

https://aws.amazon.com/about-aws/whats-new/2025/01/amazon-ec2-c8g-instances-aws-europe-stockholm

Теперь в Европе уже целый набор регионов и если у вас проект для EU, то не всегда очевидно, что ж выбрать. Понятно, что если только одна страна и/или требования хранить данные локально, то тут понятно, где нужно, тот и регион. Но если просто EU/UK или вообще Европа? Вот некоторые критерии.

Исторически самый первый регион — Ireland. Многие по привычке считают, что это самый дешёвый и что там больше всего разных типов виртуалок. Уже нет. Для старых ещё актуально, для новых нет.

Самый дешёвый регион (речь про EC2) — Stockholm. Дешевле самого дорогого Frankfurt eu-central-1 на 10-15%. Однако несмотря на цену, Frankfurt очень важный (особенно по части сети и локальных зон) и, скажем так, "передовой" регион, куда и сервисы завозят быстрее и виртуалки новые.

Второй по дешевизне (чуть-чуть дешевле Ireland или столько же) и при этом наличии современных типов виртуалок — Spain eu-south-2.

Эти четыре региона — Ireland, Frankfurt, Stockholm, Spain рекомендую рассматривать в первую очередь при прочих равных.

#AWS_Regions #EC2 #cost_optimization

Стыд и скрам:

Within minutes, we found a publicly accessible ClickHouse database linked to DeepSeek, completely open and unauthenticated, exposing sensitive data. It was hosted at oauth2callback.deepseek.com:9000 and dev.deepseek.com:9000.

https://www.wiz.io/blog/wiz-research-uncovers-exposed-deepseek-database-leak

#security

r8g RDS PG полет прекрасный. r6g>r7g было улучшение, теперь такое же улучшение r7g>r8g

Знаю, что устали, но нужно ж закрыть гештальт:

https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/

#Bedrock #Sagemaker #DeepSeek

SLA 99.99%.

Оставшиеся 0.01% выглядят так.

#пятничное

kro выиграл. Helm всё. Они договорились.

https://cloud.google.com/blog/products/containers-kubernetes/introducing-kube-resource-orchestrator

GCP, AWS и Azure поставили на kro:

https://github.com/kro-run/kro

#Kubernetes #kro #OpenSource

Работает — не трогай.

Авторство: AI от https://lovable.dev/ (самый быстрорастущий AI-стартап от авторов gpt-engineer).

Source.

#AI #пятничное

#AWS #RDS

Preventing Data Leaks in RAG Pipelines with Bedrock

🔹 Securing the RAG Ingestion Pipeline

https://aws.amazon.com/blogs/security/securing-the-rag-ingestion-pipeline-filtering-mechanisms/

🔹 Hardening the RAG Chatbot Architecture

https://aws.amazon.com/blogs/security/hardening-the-rag-chatbot-architecture-powered-by-amazon-bedrock-blueprint-for-secure-design-and-anti-pattern-migration/

🔹 Building Secure and Scalable RAG Applications with Bedrock

https://aws.amazon.com/blogs/machine-learning/building-scalable-secure-and-reliable-rag-applications-using-amazon-bedrock-knowledge-bases/

#Bedrock #security

🆕 Step Functions + auto-complete

#StepFunction

Too slow, but OK.

https://aws.amazon.com/about-aws/whats-new/2025/02/amazon-guardduty-malware-protection-s3-price-reduction/

$0.60 → $0.09 per GB

#GuardDuty

🚀 Join our AWS Demo Presentation! 🚀

We are excited to welcome you to the demo presentation on How to deploy your web page in AWS, leveraging Amazon Q to assist you in CDK implementation.

During this session, an AWS Solutions Architect will elaborate on the role of Amazon Q in your daily routine and share tips and tricks to make the development process as smooth and enjoyable as possible.

The demo session will be led by Egor Miasnikov and Anton Kovalenko, both Senior Solutions Architects at AWS, and Anton Kustikov, a Systems Engineer and AWS DevOps Engineer at EPAM Systems.

👉 To get the most out of the session, we recommend registering your AWS Builder ID in advance to be able to run tests in parallel. You can create your Builder ID here:
https://docs.aws.amazon.com/signin/latest/userguide/create-aws_builder_id.html

Find out more details and register for the event via the link below:
https://wearecommunity.io/events/amazon-q-deploying-web-app-via-cdk

CloudFormation + разбиение стэков и переименование ресурсов 🎉

https://aws.amazon.com/blogs/devops/introducing-aws-cloudformation-stack-refactoring/

Теперь можно разбить толстый существующий CloudFormation Stack на маленькие, то есть перекинуть ресурсы из одного в другой!

А ещё к тому можно переименовать любой ресурс в человеческое название! То есть наконец-то могу закрыть гештальт и переименовать ресурс продовской базы TestDbToDelete, дабы не смущать каждое поколение новых девопсов на проекте, объясняя, кто и в каком состоянии придумал такое название.

P.S. Мои соболезнования Карену (многократный автор Mastering AWS CloudFormation) — опять всё переписывать.

#CloudFormation