Forwarded from I hate overtime
Интересная история из Dropbox про то как они строили монорепу на Git.
TLDR парням пришлось дождаться новой версии гита, самим поправить баги и в итоге написать свой враппер над гитом и все равно
Кароч очередной привет всем кто считает, что достаточно Bazel поставить
TLDR парням пришлось дождаться новой версии гита, самим поправить баги и в итоге написать свой враппер над гитом и все равно
git status у них подскакивает до 1.5сек. Так же в статье есть ссылка на аналогичный success-story от Микрософт.Кароч очередной привет всем кто считает, что достаточно Bazel поставить
dropbox.tech
Speeding up a Git monorepo at Dropbox with <200 lines of code
Using Letsencrypt with the node exporter
https://www.robustperception.io/using-letsencrypt-with-the-node-exporter
#prometheus #monitoring #ssl #cerbot #letsencrypt
https://www.robustperception.io/using-letsencrypt-with-the-node-exporter
#prometheus #monitoring #ssl #cerbot #letsencrypt
Forwarded from Человек и машина
Однажды мне пришлось в срочном порядке написать маленькое приложение, которое показывало список приватных IP адресов узлов в определенном кластере. Узлы были в AutoScaling группе, так что мое приложение опрашивало API и возвращало список в формате JSON.
Изначально я хотел написать его на Go, но сроки горели, а я тот еще мамкин гофер: за два часа разве что понял, как инициировать клиента в SDK. Ключ с Usage Policy для API Gateway так вообще руками в консоли создал (срамота)!
Предлагаю следующую тему для эфира - я напишу это приложение на Go и расскажу особенности AWS SDK для этого языка. Ну и про SAM с CFN расскажу, само собой.
Произойдет это в ближайшую Среду 8 июля в 20.00 по Москве (19.00 по Амстердаму).
Ну как напишу - если успею за время эфира! Не узнаете от меня чего нового, так посмотрите на то, как полыхает мой зад.
И one small thing: во время эфира я объявлю КОНКУРС, где буду разыгрывать бумажную копию своей книги (разумеется с автографом)!
Так что подписывайтесь, звоните в колокола, запускайте гусей, или что там еще принято делать в Twitch.
Изначально я хотел написать его на Go, но сроки горели, а я тот еще мамкин гофер: за два часа разве что понял, как инициировать клиента в SDK. Ключ с Usage Policy для API Gateway так вообще руками в консоли создал (срамота)!
Предлагаю следующую тему для эфира - я напишу это приложение на Go и расскажу особенности AWS SDK для этого языка. Ну и про SAM с CFN расскажу, само собой.
Произойдет это в ближайшую Среду 8 июля в 20.00 по Москве (19.00 по Амстердаму).
Ну как напишу - если успею за время эфира! Не узнаете от меня чего нового, так посмотрите на то, как полыхает мой зад.
И one small thing: во время эфира я объявлю КОНКУРС, где буду разыгрывать бумажную копию своей книги (разумеется с автографом)!
Так что подписывайтесь, звоните в колокола, запускайте гусей, или что там еще принято делать в Twitch.
The Distributed Asynchronous Object Storage (DAOS) is an open-source software-defined object store designed from the ground up for massively distributed Non Volatile Memory (NVM).
https://github.com/daos-stack/daos
https://github.com/daos-stack/daos
GitHub
DAOS Storage Stack
Distributed Asynchronous Object Storage. DAOS Storage Stack has 84 repositories available. Follow their code on GitHub.
Forwarded from DevOps&SRE Library
awsls
A list command for AWS resources. It supports listing of over 200 types of resources across 76 different AWS services.https://github.com/jckuester/awsls
The goal is to support every AWS resource that is also covered by Terraform (currently over 500) without adding much code but rather generating it.
Forwarded from hahacker_news
Python_Automation_Cookbook_75_Python_automation_ideas_for_web_scraping.pdf
11.6 MB
Python Automation Cookbook (2020)
Автор: Jaime Buelta
Автор: Jaime Buelta
Forwarded from HABR FEED + OPENNET
Что нужно знать об архитектуре ClickHouse, чтобы его эффективно использовать. Алексей Зателепин
https://habr.com/ru/post/509540/?utm_source=habrahabr&utm_medium=rss&utm_campaign=509540
Tags: IT-инфраструктура, Open source, Администрирование баз данных, Высокая производительность, Хранение данных, clickhouse
Author chemtech #habr
https://habr.com/ru/post/509540/?utm_source=habrahabr&utm_medium=rss&utm_campaign=509540
Tags: IT-инфраструктура, Open source, Администрирование баз данных, Высокая производительность, Хранение данных, clickhouse
Author chemtech #habr
Хабр
Что нужно знать об архитектуре ClickHouse, чтобы его эффективно использовать. Алексей Зателепин (2018г)
ClickHouse — высокопроизводительная аналитическая база данных с открытыми исходниками, разработанная в Яндексе. Изначально ClickHouse создавался для задач Яндекс.Метрики, но постепенно нашёл...
Forwarded from IT-KB.RU
🔥Уязвимость в SSH-клиентах OpenSSH и PuTTY
В SSH-клиентах OpenSSH и PuTTY выявлена уязвимость (CVE-2020-14002 в PuTTY и CVE-2020-14145 в OpenSSH), приводящая к утечке сведений в алгоритме согласования соединения. Уязвимость позволяет атакующему, способному вклиниться в канал связи (например, при подключении пользователя через контролируемую атакующим точку беспроводного доступа), определить попытку первоначального подключения клиента к хосту, когда клиентом ещё не прокэширован ключ хоста.
Зная, что клиент пытается подключиться в первый раз и ещё не имеет на своей стороне ключ хоста, атакующий может транслировать соединение через себя (MITM) и выдать клиенту свой хостовый ключ, который SSH-клиент посчитает ключом целевого хоста, если не выполнит сверку отпечатка ключа. Таким образом, атакующий может организовать MITM не вызвав подозрения у пользователя и игнорировать сеансы, в которых на стороне клиента уже имеются прокэшированные ключи хостов, попытка подмены которых приведёт к выводу предупреждения об изменении ключа хоста. Атака строится на беспечности пользователей, не выполняющих ручную проверку fingerprint-отпечатка ключа хоста при первом подключении. Те кто проверяют отпечатки ключей проблеме не подвержены.
В качестве признака для определения первой попытки подключения используется изменение порядка перечисления поддерживаемых алгоритмов хостовых ключей. В случае если происходит первое подключение клиент передаёт список алгоритмов по умолчанию, а если ключ хоста уже имеется в кэше, то связанный с ним алгоритм выставляется на первое место (алгоритмы сортируются в порядке предпочтения).
Проблема проявляется в выпусках с OpenSSH c 5.7 по 8.3 и в PuTTY с 0.68 по 0.73. Проблема устранена в выпуске PuTTY 0.74 через добавление опции для отключения динамического построения списка алгоритмов обработки хостовых ключей в пользу перечисления алгоритмов в постоянном порядке.
Проект OpenSSH не планирует изменять поведение SSH-клиента, так как если не указать алгоритм имеющегося ключа на первом месте, будет применена попытка применения не соответствующего прокэшированному ключу алгоритма с выводом предупреждения о неизвестном ключе. Т.е. возникает выбор - либо утечка информации (OpenSSH и PuTTY), либо вывод предупреждений о смене ключа (Dropbear SSH) в случае, если сохранённый ключ не соответствует первому алгоритму в списке по умолчанию.
Для обеспечения защиты в OpenSSH предлагается использовать альтернативные способы проверки ключа хоста при помощи записей SSHFP в DNSSEC и сертификатов хоста (PKI). Также можно отключить адаптивный выбор алгоритмов хостовых ключей через опцию HostKeyAlgorithms и использовать опцию UpdateHostKeys для получения клиентом дополнительных ключей хоста после аутентификации.
Источник
#Linux #Security #SSH #Putty #OpenSSH
В SSH-клиентах OpenSSH и PuTTY выявлена уязвимость (CVE-2020-14002 в PuTTY и CVE-2020-14145 в OpenSSH), приводящая к утечке сведений в алгоритме согласования соединения. Уязвимость позволяет атакующему, способному вклиниться в канал связи (например, при подключении пользователя через контролируемую атакующим точку беспроводного доступа), определить попытку первоначального подключения клиента к хосту, когда клиентом ещё не прокэширован ключ хоста.
Зная, что клиент пытается подключиться в первый раз и ещё не имеет на своей стороне ключ хоста, атакующий может транслировать соединение через себя (MITM) и выдать клиенту свой хостовый ключ, который SSH-клиент посчитает ключом целевого хоста, если не выполнит сверку отпечатка ключа. Таким образом, атакующий может организовать MITM не вызвав подозрения у пользователя и игнорировать сеансы, в которых на стороне клиента уже имеются прокэшированные ключи хостов, попытка подмены которых приведёт к выводу предупреждения об изменении ключа хоста. Атака строится на беспечности пользователей, не выполняющих ручную проверку fingerprint-отпечатка ключа хоста при первом подключении. Те кто проверяют отпечатки ключей проблеме не подвержены.
В качестве признака для определения первой попытки подключения используется изменение порядка перечисления поддерживаемых алгоритмов хостовых ключей. В случае если происходит первое подключение клиент передаёт список алгоритмов по умолчанию, а если ключ хоста уже имеется в кэше, то связанный с ним алгоритм выставляется на первое место (алгоритмы сортируются в порядке предпочтения).
Проблема проявляется в выпусках с OpenSSH c 5.7 по 8.3 и в PuTTY с 0.68 по 0.73. Проблема устранена в выпуске PuTTY 0.74 через добавление опции для отключения динамического построения списка алгоритмов обработки хостовых ключей в пользу перечисления алгоритмов в постоянном порядке.
Проект OpenSSH не планирует изменять поведение SSH-клиента, так как если не указать алгоритм имеющегося ключа на первом месте, будет применена попытка применения не соответствующего прокэшированному ключу алгоритма с выводом предупреждения о неизвестном ключе. Т.е. возникает выбор - либо утечка информации (OpenSSH и PuTTY), либо вывод предупреждений о смене ключа (Dropbear SSH) в случае, если сохранённый ключ не соответствует первому алгоритму в списке по умолчанию.
Для обеспечения защиты в OpenSSH предлагается использовать альтернативные способы проверки ключа хоста при помощи записей SSHFP в DNSSEC и сертификатов хоста (PKI). Также можно отключить адаптивный выбор алгоритмов хостовых ключей через опцию HostKeyAlgorithms и использовать опцию UpdateHostKeys для получения клиентом дополнительных ключей хоста после аутентификации.
Источник
#Linux #Security #SSH #Putty #OpenSSH
Forwarded from Находки в опенсорсе
Foam is a personal knowledge management and sharing system, built on Visual Studio Code and GitHub.
You can use Foam for organising your research, keeping re-discoverable notes, writing long-form content and, optionally, publishing it to the web. Foam is extremely extensible to suit your personal workflow. You own the information you create with Foam, and you’re free to share it, and collaborate on it with anyone you want.
Features:
- The editing experience of Foam is powered by VS Code, enhanced by workspace settings that glue together Recommended Extensions and preferences optimised for writing and navigating information.
- To back up, collaborate on and share your content between devices, Foam pairs well with GitHub.
- To publish your content, you can set it up to publish to GitHub Pages with zero code and zero config, or to any website hosting platform like Netlify or Vercel.
https://foambubble.github.io/foam/
#ts #docops #vscode
You can use Foam for organising your research, keeping re-discoverable notes, writing long-form content and, optionally, publishing it to the web. Foam is extremely extensible to suit your personal workflow. You own the information you create with Foam, and you’re free to share it, and collaborate on it with anyone you want.
Features:
- The editing experience of Foam is powered by VS Code, enhanced by workspace settings that glue together Recommended Extensions and preferences optimised for writing and navigating information.
- To back up, collaborate on and share your content between devices, Foam pairs well with GitHub.
- To publish your content, you can set it up to publish to GitHub Pages with zero code and zero config, or to any website hosting platform like Netlify or Vercel.
https://foambubble.github.io/foam/
#ts #docops #vscode
Вкусности какие
githubimport
Allows you to import Python modules from the top level of a GitHub repository. Basically, golang's import semantics but in Python fashion.
https://gist.github.com/MineRobber9000/998fe8c5a183fa2649f937c9d2e0b8b0
#github #python #tool
githubimport
Allows you to import Python modules from the top level of a GitHub repository. Basically, golang's import semantics but in Python fashion.
https://gist.github.com/MineRobber9000/998fe8c5a183fa2649f937c9d2e0b8b0
#github #python #tool
Gist
Import Python modules from GitHub
Import Python modules from GitHub. GitHub Gist: instantly share code, notes, and snippets.
Forwarded from DevOps&SRE Library
Code review checklist for distributed systems
- Define a path for error handlinghttps://www.kislayverma.com/post/code-review-checklist-for-distributed-systems
- Have a plan for recovery
- Always set timeouts on remote system calls
- Retry on timeout
- Use circuit breaker
- Don't handle timeouts like a failure
- Don't invoke remote systems inside transactions
- Use smart batching
- All APIs MUST be idempotent
- Define response time and throughput SLAs explicitly and code to adhere to them
- Define and limit batch APIs
- Think about Observability up-front
- Cache aggressively
- Consider unit of failure
- Isolate external domain objects at the edge of the system
- Sanitize input at every edge
- Never commit credentials
SUSE to Acquire Rancher Labs
SUSE купили Rancher Labs 🤷♂️
https://rancher.com/press/suse-to-acquire-rancher
SUSE купили Rancher Labs 🤷♂️
https://rancher.com/press/suse-to-acquire-rancher
Forwarded from HABR FEED + OPENNET
#opennet Microsoft запустил сервис выявления руткитов для Linux
https://www.opennet.ru/opennews/art.shtml?num=53310
Компания Microsoft представила новый бесплатный online-сервис Freta, нацеленный на обеспечение проверки образов Linux-окружений на предмет наличия руткитов, скрытых процессов, вредоносного ПО и подозрительной активности, такой как перехват системных вызовов и использование LD_PRELOAD для подмены библиотечных функций. Сервис требует загрузки слепка системного образа на внешний сервер Microsoft и ориентирован на проверку начинки виртуальных окружений.
https://www.opennet.ru/opennews/art.shtml?num=53310
Компания Microsoft представила новый бесплатный online-сервис Freta, нацеленный на обеспечение проверки образов Linux-окружений на предмет наличия руткитов, скрытых процессов, вредоносного ПО и подозрительной активности, такой как перехват системных вызовов и использование LD_PRELOAD для подмены библиотечных функций. Сервис требует загрузки слепка системного образа на внешний сервер Microsoft и ориентирован на проверку начинки виртуальных окружений.
www.opennet.ru
Microsoft запустил сервис выявления руткитов для Linux
Компания Microsoft представила новый бесплатный online-сервис Freta, нацеленный на обеспечение проверки образов Linux-окружений на предмет наличия руткитов, скрытых процессов, вредоносного ПО и подозрительной активности, такой как перехват системных вызовов…
Forwarded from Artem Navoiev
Ребята из ЦЕРН и универститета Корнела опубликовали статью о их мониторинге детектора элементарных частиц в колайдере, где упомянул ВикториюМетрикс
статья тут https://arxiv.org/abs/2007.03630 (сам pdf https://arxiv.org/pdf/2007.03630.pdf) опубликуется в журнале https://www.springer.com/journal/41781
статья тут https://arxiv.org/abs/2007.03630 (сам pdf https://arxiv.org/pdf/2007.03630.pdf) опубликуется в журнале https://www.springer.com/journal/41781
SpringerLink
Computing and Software for Big Science
Computing and Software for Big Science is dedicated to the publication of high-quality material originating from all current and emerging scientific ...