Askel & Elere, YENIAS - After The Rain
Deezer | SoundCloud | Yandex Music | Spotify | YouTube Music | YouTube | Apple Music | Tidal

Может кому полезно будет: https://github.com/orval-labs/orval

Либа из openapi спеки генерит вам tanstack квери и мутации. Сам не пользовал, но выглядит интересно.

Чутка поработал над безопасностью исполняемого пользовательского кода в Twir.

В Twir есть фича, называется scripts variable, позволяющая пользователям писать код на javascript, для расширения функционала. К примеру сходить на какое-то стороннее апи, распарсить ответ старндартными средствами js.

Конечно, это порождает дыры в безопасности, хоть это и вынесено в отдельный сервис, который занимается выполонением, но всё же, можно:
- забить эти сервисы оперативкой
- сильно забить CPU, сделав какой-то while (true) {}
- сбежать из сандбокса node:vm, и получить доступ к вайловой системе контейнера, с целью абуза, или с целью последующего взлома, попыток сбежать из докера
- повесить сервис каким-то долго выплняющимся скриптом

Половину из этих проблем я пытался решить с помощью vm2 пакета. В нём есть таймауты, вроде ограничения по RAM. Но работало там это через раз, например while (true) {} не таймаутился.

Что я решил делать с этим?

А давайте я буду запускать контейнер при каждом запросе на выполнение скрипта!

Было решено написать небольшое апи на Go, которое будет заниматься оркестрацией контейнеров (почти).
На каждый запрос на выполнение скрипта, я спавню контейнер через docker api, задавая ему лимиты по cpu, ram, времени жизни. Ограничиваю контейнеру системые capabilities, доступ к вайловой системе, а именно делаю её read-only. Пользовательский скрипт я чучуть оборачиваю:

wrapperContent := `
import { readFileSync } from 'fs';
import vm from 'node:vm'
import _ from 'lodash';

const consoleRegex = /console\.(log|debug|info|warn|error|table|trace|group|groupEnd|time|timeEnd)\s*\([^;]*\);?/g;

try {
  const code = readFileSync('/code/user_code.mjs', 'utf8').replace(consoleRegex, '');
  const result = await eval('(async () => { ' + code + ' })()');
  console.log(JSON.stringify({ result: result.toString() }));
} catch (e) {
  console.log(JSON.stringify({ error: e.message }));
}

Так я добавляю в контекст выполнения lodash, для более удобной работы с некоторыми вещами для пользователей.
Скрипт выполняется, и через докеровское апи я читаю результат выполнения из консоли.

Почему именно так? Сделано так, чтобы упростить написание скрипта для пользователя, условно чтобы он в скрипте мог сделать return 1, и без каких-либо дополнительных вещей.

Вчера ещё бился с проблемой, что пользователь можно легко узнать IP сервера, где это всё выполняется каким нибудь запросом на сайт, например https://ifconfig.me/ip. Плясал вокруг cloudflare, думал пойти вообще в сторону workers, а не докера, но в итоге получилось довольно интересно.
Оказывается, докер контейнеру можно задать network_mode другого контейнера. Что это нам даёт? Мы можем поднять рядом vpn, в лице которого я использую wrap, и пустить весь трафик контейнера через него: network_mode: "service:cloudflare-warp".

networkMode := container.NetworkMode(network.DefaultNetwork)
  if os.Getenv("APP_ENV") == "production" {
    networkMode = container.NetworkMode("container:executron-warp")
  }

  pidsLimit := int64(100)
  hostConfig := &container.HostConfig{
    Mounts: containerCtx.mounts,
    Resources: container.Resources{
      Memory:    128 * 1024 * 1024, // 128 MB
      NanoCPUs:  1000000000,        // 1 CPU
      PidsLimit: &pidsLimit,        // Limit to 100 PIDs
    },
    NetworkMode:    networkMode,
    ReadonlyRootfs: true,        
    AutoRemove:     true, 
    SecurityOpt:    []string{"no-new-privileges"},
    CapDrop:        []string{"ALL"}, // Drop all capabilities
    //Runtime:        "runsc",
  }

На всякий случай ещё сделал, чтобы сервис не мог запустить более чем N контейнеров одновременно, через некую очередь ожидания на исполнение через атомики:

for c.runedContainers.Load() >= c.maxRunedContainers {
    time.Sleep(100 * time.Millisecond)
  }

  c.runedContainers.Add(1)
  defer c.runedContainers.Add(-1)

Всё просто, и вроде как (я надеюсь) безопасно. Я ещё пробовал дополнительный слой безопасности в виде https://gvisor.dev, но к сожалению это добавляет неплохую такую задержку при исполнении.

Буду рад любому фидбеку.

https://github.com/twirapp/ExecuTron

Здравствуйте, днб слушатели.

Вот вам микс на послушать под рабочий процесс: https://youtu.be/4XpCKnLJbU8

Так же напоминаю, что я веду ютуб плей-лист c днб, который регулярно пополняю. Там нет чёткой структуризации, потому можно наткнутся как на чиловые сэты, так и на нейрофанк.

Ссылка: https://www.youtube.com/watch?v=yUa_hwhGlmg&list=PL3qfVPfMnrn6y30FoOe_Whw_eJZRo9EE6

Concord Dawn - Morning Light
Deezer | SoundCloud | Yandex Music | Spotify | YouTube Music | YouTube | Apple Music | Tidal

Ребят, кто с России — проверьте пожалуйста без впн открывается ли у вас https://twir.app

👍 - да
👎 - нет

Крутой сэт.

https://youtu.be/lticpN_a0pM

Оказывается у меня Twir всё же имеет какой-то кастомный статус на твиче.

На него нельзя warning накинуть, и он может писать в followers-only чат.

Хммм, получается всё таки какие-то скрытые фильтры у них есть, которые бог есть как работают.
Может и банов больше не будет акка бота?

Коллаба века.

https://www.youtube.com/watch?v=KEMVgy51kPE

Так как вы донатите чутка больше, чем надо на сервера — включил acrcloud для определения музыки в твире, чтобы лучше детектил музыку со стрима без подключения сторонних интеграций по типу vk, last.fm, spotify.

Посмотрим сколько за месяц накапает в биллинг.

C.A.2K - Factory
Deezer | SoundCloud | Yandex Music | Spotify | YouTube Music | YouTube | Apple Music | Tidal

https://youtu.be/DHA_HuGA-Mc

Какой шедевр, я не могу.

Легендарная crowd (я не знаю как на русском так же ёмко сказать).