Богдан, Олег и специальный гость Роман Хавроненко из Cloudflare.

https://soundcloud.com/generictalks/0009-kogda-servisu-khvatit-nasypat-v-gostyakh-roman-khavronenko

00:00:00 - Вводная. Патроны. Гость Роман из Cloudflare.
00:02:21 - С места в карьер. Есть ли замена ClickHouse? Druid, Redshift и ручные поделки. Как работать с большим количеством выборок в ClickHouse.
00:13:55 - Отказоустойчивость. Минутка SRE. Graceful degradation. Планирование и внедрение SLA и SLO. Зачем нужен Error Budget. Травим байки.
00:29:51 - Обузданый хаос. Как заставить своих программистов правильно обрабатывать ошибки и не падать по первому чиху. Поможет ли нам service mesh?
00:37:25 - Где предел паранойи? Можно ли отхендлить какую угодно ошибку? Когда пора остановится?
00:46:44 - Пытаемся разобрать конкретный пример и паттерны которые можно использовать.
00:55:45 - Графиков так много что глаза разбегаются. Автоматический корреляционный анализ. Metrics Driven Development.
01:07:58 - Adaptive capacity limiting и smart load balancing. Как косвенно или напрямую измерять загруженность сервера и почему мерять CPU load не всегда правильно.
01:18:08 - Приоритизация трафика и load shedding. Как работать с запросами произвольной сложности. Event sourcing and CQRS.
01:34:10 - Экзотические техники работы с перегрузками: батчинг, агрегация, сэмплирование.

А еще у нас появился Патреон, где Вы (дада, именно Вы) можете поддержать подкаст "чеканной монетой" (и тут эта шутка)

https://www.patreon.com/generictalks

https://youtu.be/m64SWl9bfvk

https://github.com/Netflix/concurrency-limits

ClickHouse at Cloudflare
https://www.slideshare.net/Altinity/http-analytics-for-6m-requests-per-second-using-clickhouse-by-alexander-bocharov

QALM at Uber https://eng.uber.com/qalm/

Honeycomb https://www.honeycomb.io/blog/dynamic-sampling-by-example/

Lovely VictoriaMetrics ❤️ https://victoriametrics.com/

Возник вопрос - а нет ли у вас идей для какой-то рубрики в подкасте?

К примеру:
Кого опять обматерил Линус?
Какие дыры безопастности пофиксил syzkaller?
Есть ли новый роутер на го?
Почему нет вакансий на раст?

Будем рады видеть ваши предложения в чате, может в боте @generictalks_bot, можно просто мне в лс @olegkovalov

3k 🎉

Что-то тут тихо....

Так вот, новость, мы теперь на Яндекс.Музыка. Выпуск за прошлую неделю почтииии закончен и будет опубликован. Соряньте за паузу, буду стараться так не делать впредь.

https://music.yandex.ru/album/9937786

И вот Богдан, Искандер и Олег собрались поговорить о таких темах.

https://soundcloud.com/generictalks/0010-paru-slov-o-staticheskom-analize-koda

00:00:00 - Discord переписывает что-то с Go на Rust. Ну и что тут такого? В чем проблема то? Разбираемся в том что именно они переписывали, какая именно была архитектура.
00:06:50 - Какую проблему они решали, как они ее решили, как можно было решать по другому. В чем проблема LRU кэшей внутри управляемых рантаймов.
00:14:05 - Они использовали старый Go. Можно ли сравнивать новую реализацию на расте и старую на старой версии компилятора?
00:17:45 - Что можно было сделать и какой результат они бы получили и почему В ИХ КОНКРЕТНОМ случае выбор Rust вполне оправдан.
00:32:52 - Странный кусок про кривую Шипилева🙃
Низкоуровневость, производительность, безопасность. Применение слабых ссылок и коллекторов с поколениями.
00:42:01 - Rust и сила эксперимента. Текущий прогресс языка от Джонатана Блоу. Параллелизация компилятора Go и новый линкер.

00:56:12 - Статический анализ в Bash, Go и вообще.
Сколько мы еще будем автоматизировать рутинные задачи на продакшене с помощью небезопасных интерпретируемых языков?
01:07:32 - Учим машины понимать нашу бредятину и подсказывать по возможности. GoGrep, Ruleguard, шаблоны поиска кода и написание кастомных правил для вашего проекта или команды. Прямая интерпритация AST. Супер фича: мы можем не просто ткнуть носом в ошибку, но и предложить как исправить.
01:43:46 - Почему бы машинам самим не научится проверять код и ломать его полностью, в целях общего блага.

Ссылки:

0. https://blog.discordapp.com/why-discord-is-switching-from-go-to-rust-a190bbca2b1f

1. https://www.vidarholen.net/contents/blog/?p=746 человек писал // как комментарий в баше, что в итоге интерпретировалось как / и rm -rf удалил больше, чем хотелось.

2. https://habr.com/ru/company/pvs-studio/blog/484208 ML и статический анализ (статья от PVS Studio).

3. структурный поиск кода: gogrep, phpgrep, Intellij SSR (AST patterns).

4. https://github.com/quasilyte/go-ruleguard кастомные правила на основе AST patterns.

5. https://godoc.org/golang.org/x/tools/go/analysis Немного про то, что из себя представляет go/analysis и кому на него стоит обратить внимание + его интеграция с gopls.

6. https://help.semmle.com/ CodeQL и его переход в руки GitHub.

7. https://code2vec.org/ https://code2seq.org/

да, опять эта закорючка

Как насчет добавить унцу (мелодия intro-outro в записи) в подкаст? Есть желание поделиться? - закиньте в чат. Конечно же интересны свободные, Creative Commons, а может вы хотите сами записать (таланты есть везде, я верю).

Выпуск о новой версии Go, а еще и Java и как же весь runtime работает. С вами Олег, Богдан и Искандер.

https://soundcloud.com/generictalks/0011-go-114-i-chto-on-nam-nesyot

00:00:00 - Вводная. Go 1.14
00:01:00 - Изменения в языке и тулинге.
00:07:34 - Новая оптимизация defer. Как это работало, как теперь будет работать. Хендлинг паник. Использование defer в performance-critical коде.
00:22:52 - RISCV как новый экспериментальный таргет.
00:29:24 - Некооперативная многозадачность. Изменения в скедулере чтобы поддержать асинхронный goroutine preemption. Говорим об общем устройстве многозадачности в текущем runtime и как оно изменится в 1.14. Консервативная сборка мусора.
01:20:10 - Оптимизация аллокатора в 1.14. Общее устройство текущего аллокатора, как и почему его поменяли.
01:53:04 - Оптимизация таймеров в рантайме

Go 1.14 Release Notes
https://tip.golang.org/doc/go1.14

Proposal: Non-cooperative goroutine preemption
https://github.com/golang/proposal/blob/master/design/24543-non-cooperative-preemption.md

Proposal: Safe-points everywhere for non-cooperative goroutine preemption
https://github.com/golang/proposal/blob/master/design/24543/safe-points-everywhere.md

Proposal: Conservative inner-frame scanning for non-cooperative goroutine preemption
https://github.com/golang/proposal/blob/master/design/24543/conservative-inner-frame.md

Proposal: Scaling the Go page allocator
https://github.com/golang/proposal/blob/master/design/35112-scaling-the-page-allocator.md

time: excessive CPU usage when using Ticker and Sleep #27707
https://github.com/golang/go/issues/27707

panic(abort)
https://github.com/golang/tools/blob/master/go/ast/astutil/rewrite.go#L43
https://github.com/golang/tools/blob/master/go/ast/astutil/rewrite.go#L444

Друзья, у кого есть аккаунт на SoundCloud, пожалуйста, зайдите и подпишитесь на нас для лучшей видимости, сколько вас слушает, когда и как часто.

В Телеграме статистики особо нет (просмотры != прослушивания, ну..наверное), а там хоть что-то. Заранее спасибо 🎉

https://soundcloud.com/generictalks

PS. Если нет аккаунта, можно зарегаться, это засчитывается.

Интерпретатор который нагибает плюсы, гость Александр Никитин.

Богдан, Олег и Александр (наш крутой гость) собрались поговорить про язык К и базу данных kdb.

Александр еще ведёт 2 канала в Телеграме t.iss.one/linkstream и t.iss.one/notatky
А еще напомним о нашем Патреоне www.patreon.com/generictalks

https://soundcloud.com/generictalks/0012-interpretator-kotoryy-nagibaet-plyusy-gost-aleksandr-nikitin

00:00:00 - Гость Александр и его биржевые будни)
00:18:40 - Что такое kdb и язык K? Как его придумали на что это похоже, зачем применяется?
00:31:59 - Автовекторизация кода, встроеные типы языка, data-driven design. Сколько это стоит и как скейлится?
00:43:34 - Как деплоить, мониторить и эксплуатировать такие системы? Как устроена репликация и отказоустойчивость?
00:56:52 - А чем это отличается от NumPy или обычной библиотеки для векторных вычислений?
01:06:00 - Какие есть проблемы чего хотелось бы добавить этой среде и языку? Завершающие мысли и обсуждение применимости этой технологии вне узкоспециализированных кейсов. Можно ли загонять все эти вычисления в GPU?