GoAccess - это реал тайм анализатор веб логов и интерактивная программа просмотра с открытым исходным кодом, который запускается в терминале в системах * nix или через ваш браузер.
Demo
https://rt.goaccess.io/?20210208192039
Github
https://github.com/allinurl/goaccess
📲 Мы в MAX
👉 @sysadminof
Demo
https://rt.goaccess.io/?20210208192039
Github
https://github.com/allinurl/goaccess
👉 @sysadminof
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
📈Picosnitch - мониторинг сетевого трафика на каждый исполняемый файл с помощью BPF
Получение уведомлений при подключении к сети новой программы или при ее изменении
Контролирует пропускную способность сети, разбивая трафик по исполняемым файлам, хэшам, родителям, доменам, портам или пользователям с течением времени
При желании можно проверить хэши или исполняемые файлы с помощью VirusTotal
Хеши исполняемых файлов кэшируются на основе устройства + inode для повышения производительности и работают с приложениями, запущенными в контейнерах
Используется BPF для точного мониторинга пропускной способности с низкими накладными расходами и fanotify для контроля исполняемых файлов на предмет модификации
Поскольку приложения могут вызывать других пользователей для отправки/получения данных для них, родительский исполняемый файл и хэш также регистрируются для каждого соединения
Прагматичный и минималистичный дизайн, сфокусированный на точном обнаружении с четким сообщением об ошибке, когда это невозможно
https://github.com/elesiuta/picosnitch
https://elesiuta.github.io/picosnitch/
📲 Мы в MAX
👉 @sysadminof
Получение уведомлений при подключении к сети новой программы или при ее изменении
Контролирует пропускную способность сети, разбивая трафик по исполняемым файлам, хэшам, родителям, доменам, портам или пользователям с течением времени
При желании можно проверить хэши или исполняемые файлы с помощью VirusTotal
Хеши исполняемых файлов кэшируются на основе устройства + inode для повышения производительности и работают с приложениями, запущенными в контейнерах
Используется BPF для точного мониторинга пропускной способности с низкими накладными расходами и fanotify для контроля исполняемых файлов на предмет модификации
Поскольку приложения могут вызывать других пользователей для отправки/получения данных для них, родительский исполняемый файл и хэш также регистрируются для каждого соединения
Прагматичный и минималистичный дизайн, сфокусированный на точном обнаружении с четким сообщением об ошибке, когда это невозможно
https://github.com/elesiuta/picosnitch
https://elesiuta.github.io/picosnitch/
👉 @sysadminof
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3
📕Интеграция Clickhouse и dbt
Вебинар для: Data-инженеров, архитекторов и аналитиков, администраторам баз данных и DevOps-инженеров, разработчиков высоконагруженных приложений
На открытом уроке 26 ноября в 20:00 мск мы рассмотрим все тонкости интеграции Clickhouse и dbt:
📗 На вебинаре разберемся как:
1. Разворачивать dbt-проект и настраивать минимальную конфигурацию под ClickHouse.
2. Выбирать и применять материализации под задачу.
📘 В результате на практике изучите и освоите работу с Jinja, написание небольших макросов, добавление тестов, генерирацию документации и её использование.
👉 Регистрация на урок и подробности о курсе ClickHouse для инженеров и архитекторов БД: https://vk.cc/cRGVzG
Все участники открытого урока получат скидку на курс "ClickHouse для инженеров и архитекторов БД"
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Вебинар для: Data-инженеров, архитекторов и аналитиков, администраторам баз данных и DevOps-инженеров, разработчиков высоконагруженных приложений
На открытом уроке 26 ноября в 20:00 мск мы рассмотрим все тонкости интеграции Clickhouse и dbt:
📗 На вебинаре разберемся как:
1. Разворачивать dbt-проект и настраивать минимальную конфигурацию под ClickHouse.
2. Выбирать и применять материализации под задачу.
📘 В результате на практике изучите и освоите работу с Jinja, написание небольших макросов, добавление тестов, генерирацию документации и её использование.
👉 Регистрация на урок и подробности о курсе ClickHouse для инженеров и архитекторов БД: https://vk.cc/cRGVzG
Все участники открытого урока получат скидку на курс "ClickHouse для инженеров и архитекторов БД"
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Трюки терминала Bash
Полезные комбинации клавиш (хоткеи) и небольшие хитрости, которые сделают Вашу работу в Linux более эффективной.
Горячие клавиши" Bash с Ctrl
Изменить заглавные на строчные и наоборот
Запустить предыдущую команду ещё раз
Запустить команду из истории по номеру (например, 53)
Запускает последнюю команду и меняет какой-то параметр. Например, меняем
Важно: предыдущая команда заменит только первое вхождение "aaa". Если вы хотите заменить все вхождения, используйте
Запустить последнюю команду, которая начинается с...
Например, до этого в истории команд была команда cat filename:
— запускает
Указание файлов по шаблону в Bash
Полезные переменные окружения Bash
Короткие переменные:
Более длинные, но тоже полезные переменные:
📲 Мы в MAX
👉 @sysadminof
Полезные комбинации клавиш (хоткеи) и небольшие хитрости, которые сделают Вашу работу в Linux более эффективной.
Горячие клавиши" Bash с Ctrl
Ctrl + n — то же самое, что и стрелка вниз.Ctrl + p — то же самое, что и стрелка вверх.Ctrl + r — поиск по предыдущим командам из истории команд (history). Продолжайте нажимать Ctrl + r, чтобы искать дальше. Ctrl + Shift + r — поиск в другую сторону.Ctrl + s — остановить вывод в терминал.Ctrl + q — восстановить вывод в терминал после Ctrl + s.Ctrl + a — перейти к началу строки (аналог клавиши Home).Ctrl + e — перейти к концу строки (аналог клавиши End).Ctrl + d — если вы ввели что-то, то Ctrl + d удаляет символ под курсором. В противном случае означает конец ввода и завершает текущую сессию Bash.Ctrl + k — удалить весь текст от курсора до конца строки.Ctrl + x + backspace — удалить весь текст от начала строки до курсора.Ctrl + t — переставить символ до курсора на символ под курсором. Нажмите Esc + t для перестановки двух слов до курсора.Ctrl + w — удалить слово до курсора; затем Ctrl + y, чтобы вставить его.Ctrl + u — удалить строку перед курсором; Ctrl + y для вставки его.Ctrl + _ — отменить ввод.Ctrl + l — очищает окно терминала. То же самое, что и clear.Ctrl + x + Ctrl + e — запускает редактор, определённый в переменной $EDITOR, для ввода команды. Полезно для многострочных команд.Изменить заглавные на строчные и наоборот
Esc + u — преобразовать буквы от курсора до конца строки в заглавные буквы.Esc + l — преобразовать буквы от курсора до конца строки в нижний регистр.Esc + c — заменить букву под курсором на заглавную.Запустить предыдущую команду ещё раз
Запустить команду из истории по номеру (например, 53)
!53!! — запуск последней команды.sudo !! — запустить предыдущую команду с sudo.Запускает последнюю команду и меняет какой-то параметр. Например, меняем
"aaa" на "bbb":
# Последняя команда: echo 'aaa'
$ ^aaa^bbb
$ echo 'bbb'
bbbВажно: предыдущая команда заменит только первое вхождение "aaa". Если вы хотите заменить все вхождения, используйте
:&:^aaa^bbb^:&
# или
!!:gs/aaa/bbb/Запустить последнюю команду, которая начинается с...
Например, до этого в истории команд была команда cat filename:
!cat
# или
!c— запускает
cat filename ещё раз.Указание файлов по шаблону в Bash
/etc/pa*wd → /etc/passwd — символ * означает "несколько любых символов"./b?n/?at → /bin/cat — символ ? означает "один любой символ".ls -l [a-z]* — вывести список файлов, содержащих только буквы латинского алфавита. В квадратных скобках [] перечисляются символы, которые будут искаться. А символ * после [] означает "хоть сколько раз".ls {*.sh,*.py} — вывести все .sh и .py файлы. {} используется для группировки нескольких шаблонов по принципу "или".Полезные переменные окружения Bash
Короткие переменные:
$0 — оболочка командной строки или путь до запускаемого файла.$1, $2, $3, ... — аргументы запуска скрипта.$# — число аргументов, переданных в скрипт из терминала.$? — код завершения последней команды.$- — текущие опции, установленные для оболочки.$$ — идентификатор текущего процесса.$! — идентификатор процесса, завершённого последним.Более длинные, но тоже полезные переменные:
$DESKTOP_SESSION — текущий менеджер дисплеев.$EDITOR — редактор текста по умолчанию.$LANG — используемый системой язык.$PATH — список директорий, в которых будут искаться исполняемые файлы.$PWD — текущая директория.$SHELL — текущая оболочка командной строки.$USER — имя текущего пользователя.$HOSTNAME — имя текущего хоста (компьютера).👉 @sysadminof
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3
SPRINT OFFER в YADRO: Network Engineer in Test!
3 дня — и вы среди инженеров, которые обеспечивают надёжность сетевых систем YADRO🚀
Мы расширяем команду KORNFELD, которая отвечает за качество и стабильность сетевого оборудования YADRO. Именно здесь инженеры анализируют архитектуру, пишут тестовые сценарии, моделируют сбои и доводят продукт до идеала.
Специалисты работают с самыми глубокими слоями сетевой инфраструктуры — от L2/L3 до сложных связок протоколов и сценариев отказоустойчивости.
⚙️ Как проходит SPRINT OFFER:
1️⃣ Подайте заявку до 30 ноября, пройдите HR-скрининг и технический скрининг.
2️⃣ Пройдите техническое и менеджерское интервью.
3️⃣ Получите оффер в течение 3 дней.
📍 Чем предстоит заниматься:
• Анализировать продуктовые требования и составлять use cases.
• Проводить функциональные, E2E- и failover-тесты.
• Разрабатывать тест-кейсы и тест-планы для нового и уже существующего функционала.
• Участвовать в интеграционных испытаниях, взаимодействовать с разработкой и L3-командами.
📀 У нас:
• Удалённая работа (РФ/РБ) или офис в городах присутствия — Москве, Санкт-Петербурге, Нижнем Новгороде, Екатеринбурге, Минске.
• Амбициозные проекты в уникальной команде инженеров.
• Вертикальный и горизонтальный карьерный рост.
• ДМС с первого дня, поддержка спортивных инициатив сотрудников и другие бенефиты.
💙 YADRO — место, где ценят инженерную экспертизу и предоставляют возможности для эксперимента и инициативы. Оставляйте заявку до 30 ноября и присоединяйтесь к команде KORNFELD!
3 дня — и вы среди инженеров, которые обеспечивают надёжность сетевых систем YADRO
Мы расширяем команду KORNFELD, которая отвечает за качество и стабильность сетевого оборудования YADRO. Именно здесь инженеры анализируют архитектуру, пишут тестовые сценарии, моделируют сбои и доводят продукт до идеала.
Специалисты работают с самыми глубокими слоями сетевой инфраструктуры — от L2/L3 до сложных связок протоколов и сценариев отказоустойчивости.
1️⃣ Подайте заявку до 30 ноября, пройдите HR-скрининг и технический скрининг.
2️⃣ Пройдите техническое и менеджерское интервью.
3️⃣ Получите оффер в течение 3 дней.
📍 Чем предстоит заниматься:
• Анализировать продуктовые требования и составлять use cases.
• Проводить функциональные, E2E- и failover-тесты.
• Разрабатывать тест-кейсы и тест-планы для нового и уже существующего функционала.
• Участвовать в интеграционных испытаниях, взаимодействовать с разработкой и L3-командами.
• Удалённая работа (РФ/РБ) или офис в городах присутствия — Москве, Санкт-Петербурге, Нижнем Новгороде, Екатеринбурге, Минске.
• Амбициозные проекты в уникальной команде инженеров.
• Вертикальный и горизонтальный карьерный рост.
• ДМС с первого дня, поддержка спортивных инициатив сотрудников и другие бенефиты.
Please open Telegram to view this post
VIEW IN TELEGRAM
🦄2
This media is not supported in your browser
VIEW IN TELEGRAM
Yoink.vim
Плагин Vim, который поддерживает историю yank для переключения между ними при вставке.
https://github.com/svermeulen/vim-yoink
📲 Мы в MAX
👉 @sysadminof
Плагин Vim, который поддерживает историю yank для переключения между ними при вставке.
https://github.com/svermeulen/vim-yoink
👉 @sysadminof
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Анализ сетевого трафика и устранение неполадок
1.Обзор
2.Три направления
3.Tcpdump
4.Кадр, пакет, сегмент
5.Основы перехвата трафика
6. Обнаружение сети
7.Основы фильтрации
8.Основы TCP
9.RTT и размер окна
10.Проблемы
источник
📲 Мы в MAX
👉 @sysadminof
1.Обзор
2.Три направления
3.Tcpdump
4.Кадр, пакет, сегмент
5.Основы перехвата трафика
6. Обнаружение сети
7.Основы фильтрации
8.Основы TCP
9.RTT и размер окна
10.Проблемы
источник
👉 @sysadminof
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤3
Сбой DHCP или перегрузка канала — и сеть перестаёт дышать. Один некорректный пакет, десяток повторов — и критическая инфраструктура уходит в оффлайн.
На открытом уроке разберём самые практические атаки на доступность: DHCP starvation через DHCPig/Yersinia и перегрузку канала с помощью hping3. Покажем на живой демонстрации, какие последствия вызывают истощение пула адресов и агрессивная утилизация трафика.
Если вы работаете с сетями, безопасностью или инфраструктурой — понимание этих атак критично. Это те кейсы, которые происходят в реальных компаниях, и именно их должен уметь распознавать и предотвращать каждый специалист.
Встречаемся 10 декабря в 20:00 МСК в преддверие старта курса «Пентест. Инструменты и методы проникновения в действии».
Регистрируйтесь — и разберите атаки до уровня пакетов: https://vk.cc/cRSuo6
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
На открытом уроке разберём самые практические атаки на доступность: DHCP starvation через DHCPig/Yersinia и перегрузку канала с помощью hping3. Покажем на живой демонстрации, какие последствия вызывают истощение пула адресов и агрессивная утилизация трафика.
Если вы работаете с сетями, безопасностью или инфраструктурой — понимание этих атак критично. Это те кейсы, которые происходят в реальных компаниях, и именно их должен уметь распознавать и предотвращать каждый специалист.
Встречаемся 10 декабря в 20:00 МСК в преддверие старта курса «Пентест. Инструменты и методы проникновения в действии».
Регистрируйтесь — и разберите атаки до уровня пакетов: https://vk.cc/cRSuo6
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Пакетная фильтрация в Linux
Бесконтекстная пакетная фильтрация (iptables): stateless
Контекстная пакетная фильтрация (iptables): stateful
источник
📲 Мы в MAX
👉 @sysadminof
Бесконтекстная пакетная фильтрация (iptables): stateless
Контекстная пакетная фильтрация (iptables): stateful
источник
👉 @sysadminof
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤1
Как найти количество открытых файлов в Linux
Значение сохраняется в
Проверка Hard лимит в Linux
Проверка Soft лимит в Linux
Чтобы просмотреть значения Hard и Soft для разных пользователей, переключите пользователя с «su» на пользователя, ограничения которого вы хотите проверить.
Например:
Как проверить количество системных дескрипторов файлов в Linux
На серверах, некоторые из ваших приложений могут потребовать более высокий лимит для открытых дескрипторов файлов. Хорошим примером этого являются службы MySQL / MariaDB или веб-сервер Apache.
Вы можете увеличить лимит открытых файлов в Linux, отредактировав опцию ядра
Sysctl используется для настройки параметров ядра.
Например, чтобы увеличить ограничение на количество открых файла до 500000, вы можете использовать следующую команду:
Вы можете проверить текущее значение для количества открытых файлов с помощью следующей команды:
С помощью указанной команды изменения, которые вы внесли, будут оставаться активными только до следующей перезагрузки. Если вы хотите применить их на постоянной основе, вам придется отредактировать следующий файл:
Добавьте следующую команду:
Конечно, вы можете изменить число в соответствии с вашими потребностями. Чтобы снова проверить изменения, используйте:
Чтобы изменения вступили в силу, пользователям необходимо будет выйти из системы и снова войти в систему. Если вы хотите немедленно применить ограничения, вы можете использовать следующую команду:
Установка количества открытых файлов для пользователя в Linux
Вышеприведенные примеры показали, как установить ограничения, но вы можете установить лимит для каждого пользователя. Для этой цели, с правами пользователя root, вам необходимо отредактировать следующий файл:
Если вы администратор Linux, предлагаем Вам ознакомиться с этим файлом. Прочитайте все комментарии в нем, поскольку он обеспечивает гибкость в плане управления системными ресурсами путем установки лимита пользователям на разных уровнях.
Команды, которые вы должны добавить, имеют следующие параметры:
Вот пример установки Soft и Hard лимитов для пользователя dimon:
## Example hard limit for max opened files
dimon hard nofile 4096
## Example soft limit for max opened files
dimon soft nofile 1024
📲 Мы в MAX
👉 @sysadminof
Значение сохраняется в
# cat /proc/sys/fs/file-maxПроверка Hard лимит в Linux
# ulimit -HnПроверка Soft лимит в Linux
# ulimit -SnЧтобы просмотреть значения Hard и Soft для разных пользователей, переключите пользователя с «su» на пользователя, ограничения которого вы хотите проверить.
Например:
# su root
$ ulimit -Sn
$ ulimit -HnКак проверить количество системных дескрипторов файлов в Linux
На серверах, некоторые из ваших приложений могут потребовать более высокий лимит для открытых дескрипторов файлов. Хорошим примером этого являются службы MySQL / MariaDB или веб-сервер Apache.
Вы можете увеличить лимит открытых файлов в Linux, отредактировав опцию ядра
fs.file-max. Для этого используйте утилиту sysctl.Sysctl используется для настройки параметров ядра.
Например, чтобы увеличить ограничение на количество открых файла до 500000, вы можете использовать следующую команду:
# sysctl -w fs.file-max=500000Вы можете проверить текущее значение для количества открытых файлов с помощью следующей команды:
$ cat /proc/sys/fs/file-maxС помощью указанной команды изменения, которые вы внесли, будут оставаться активными только до следующей перезагрузки. Если вы хотите применить их на постоянной основе, вам придется отредактировать следующий файл:
# vi /etc/sysctl.confДобавьте следующую команду:
fs.file-max=500000Конечно, вы можете изменить число в соответствии с вашими потребностями. Чтобы снова проверить изменения, используйте:
# cat /proc/sys/fs/file-maxЧтобы изменения вступили в силу, пользователям необходимо будет выйти из системы и снова войти в систему. Если вы хотите немедленно применить ограничения, вы можете использовать следующую команду:
# sysctl -pУстановка количества открытых файлов для пользователя в Linux
Вышеприведенные примеры показали, как установить ограничения, но вы можете установить лимит для каждого пользователя. Для этой цели, с правами пользователя root, вам необходимо отредактировать следующий файл:
# vi /etc/security/limits.confЕсли вы администратор Linux, предлагаем Вам ознакомиться с этим файлом. Прочитайте все комментарии в нем, поскольку он обеспечивает гибкость в плане управления системными ресурсами путем установки лимита пользователям на разных уровнях.
Команды, которые вы должны добавить, имеют следующие параметры:
<domain> <type> <item> <value>Вот пример установки Soft и Hard лимитов для пользователя dimon:
## Example hard limit for max opened files
dimon hard nofile 4096
## Example soft limit for max opened files
dimon soft nofile 1024
👉 @sysadminof
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2