Concord Dawn - Morning Light
Deezer | SoundCloud | Yandex Music | Spotify | YouTube Music | YouTube | Apple Music | Tidal

Ребят, кто с России — проверьте пожалуйста без впн открывается ли у вас https://twir.app

👍 - да
👎 - нет

Крутой сэт.

https://youtu.be/lticpN_a0pM

Оказывается у меня Twir всё же имеет какой-то кастомный статус на твиче.

На него нельзя warning накинуть, и он может писать в followers-only чат.

Хммм, получается всё таки какие-то скрытые фильтры у них есть, которые бог есть как работают.
Может и банов больше не будет акка бота?

Коллаба века.

https://www.youtube.com/watch?v=KEMVgy51kPE

Так как вы донатите чутка больше, чем надо на сервера — включил acrcloud для определения музыки в твире, чтобы лучше детектил музыку со стрима без подключения сторонних интеграций по типу vk, last.fm, spotify.

Посмотрим сколько за месяц накапает в биллинг.

C.A.2K - Factory
Deezer | SoundCloud | Yandex Music | Spotify | YouTube Music | YouTube | Apple Music | Tidal

https://youtu.be/DHA_HuGA-Mc

Какой шедевр, я не могу.

Легендарная crowd (я не знаю как на русском так же ёмко сказать).

Хайлоад. 😄

Это я попросил человека нафлудить 60к сообщений в чате твича, и у меня 1.7кк запросов к редису на это тригерится, и 60к+ к постгресу.

Нагрузка серверов сильно возврастает в этот момент, но при этом сервера справляются, бот в этот момент продолжает отвечать на сообщения в чате.

Оч доволен тем, как побустил перформанс. Это всё происходит на shared vcpu виртуалках от хетзнера с 4мя ядрами. Думаю с dedicated или просто большим кол-вом ядер — было бы ещё больше по запасу ресурсов.

А теперь чутка детальнее.

У меня в боте используется куча систем — сборная солянка из разных ботов.
Из-за этого на каждое событие (фоллоу, сообщение и т.п.) происходит на порядок больше действий и, как следствие, — запросов к базе.

🤯 Проблема

Есть такие ребята, которые просто флудят смайликами, сообщениями, наградами — чтобы накручивать активность в сторонних сервисах (типа StreamElements).

Один из таких товарищей недавно отправил ~3 млн запросов. В итоге:

- traefik лёг
- postgres задохнулся
- система трижды падала

🛠 Что сделал для улучшения:

- Свап traefik → haproxy в критичных местах (EventSub webhooks)
Почему Haproxy?
1. без GC
2. без компрессии
3. стабилен под нагрузкой (написан на C)


- Добавил batch-сохранения в базу
1. Раньше: один INSERT на каждое сообщение.
2. Теперь: всё уходит в очередь и раз в X мс заливается в базу одной пачкой через COPY.

Своя либка под это:
👉 https://github.com/twirapp/batch-processor

- Кэширование READ-запросов через Redis
Написал обёртку GenericCacher, которая кэширует по ключу, TTL и умеет делать invalidate. Если в кэше данных нет — вызывается LoadFn, и данные записываются в кэш.
🧱 Пример использования:

c.channelsCache.Get(ctx, channelId)
c.channelsCache.Invalidate(ctx, channelId)

Создания:

go
c.channelsCache = generic_cacher.New[channelmodel.Channel](
  generic_cacher.Opts[channelmodel.Channel]{
    Redis:     redis,
    KeyPrefix: "cache:twir:channel:",
    LoadFn:    repo.GetByID,
    Ttl:       24 * time.Hour,
  },
)

✅ Результат:

Теперь даже при диком флуде — система не ложится.
Нагрузка снижена, всё живёт.
Да, редис стал принимать на себя на порядок больше, но за-то теперь нагрузки более правильные что-ли, бот даже не теряет во времени ответа на команды в моменте оверлоада системы.

И в целом мы теперь лучше готовы к подключению бота на крупных каналах, где чат летит с такой скоростью, что даже сервер сообщений твича пролагивает из-за этого.

Есть тут кто по ИП работал?

Хочу вас вопросами подоставать.

https://t.iss.one/savdevops

Канал моего друга, червечка-девопсера.

Подписывайтесь, будет рассказывать вам за реалии современного менеджмента всей той фигнёй что мы пишем.

Пока постов не много, но человек дал кровную клятву развиваться.

На правах антирекламы ерид 133722888005553535.

Ладно, давайте так — за каждого подписчика увеличиваю время некст стрима на 20 минут.