Linux - начинающим. Что такое пространства подкачки и как они работают

Подкачка, она же swap или своп - понятие знакомое каждому, вне зависимости от того с каким семейством ОС приходится работать. Да и представление о процессе вроде бы имеется...

Именно, что "вроде бы", если спросить, как работает пространство подкачки, то услышим стандартные фразы про недостаток памяти и сброс второстепенных страниц на диск.

А можно и вообще услышать, что памяти сегодня много и подкачка не нужна.

Так ли это на самом деле или происходящие процессы гораздо более глубоки? Давайте разбираться.

https://interface31.ru/tech_it/2022/04/linux-nachinayushhim-chto-takoe-prostranstva-podkachki-i-kak-oni-rabotayut.html

​​Спрашивают – отвечаем. Какой утилитой можно посмотреть какой процесс сколько занимает памяти.

Вопрос не праздный, часто нужно понять кто занял всю память или весь swap, причем сделать это в удобной форме, без лишней консольной магии.

Для этих целей следует использовать утилиту smem, которая доступна в стандартных репозиториях.

Утилита достаточно проста, прежде всего запустим ее с ключом -h, чтобы посмотреть доступные ключи. Их немного.

Если запустить утилиту без параметров, то вы получите список процессов в указанием занимаемой ими памяти в килобайтах отсортированный по возрастанию значений колонки PSS.

Всего колонок четыре, коротко разберем что они обозначают:

🔸 RSS – реальный объем памяти, выделяемый процессу, но это число не является точным, так как включает в себя в том числе память, занимаемую разделяемыми библиотеками, которые загружаются в память один раз, но в тоже время дает понять общие аппетиты процесса.

🔸 PSS – пропорциональный объем памяти, наиболее интересное с практической точки зрения число, так как объем памяти разделяемых библиотек делится пропорционально между процессами, например, если у нас три процесса используют одну и ту же библиотеку, то занимаемый ею объем памяти поделится на троих.

🔸 USS – уникальный объем памяти, который принадлежит собственно процессу, без учета разделяемых библиотек. Показывает фактическую стоимость запуска процесса и именно этот объем памяти будет возвращен в систему если процесс завершить.

🔸 Swap – объем сброшенных в подкачку страниц памяти процесса.

Сразу запоминаем полезные ключи программы:

▫️ -t - выводит снизу результирующую строку по всем колонкам
▫️ -p – представляет значение в процентах от общего объема памяти, а не в килобайтах
▫️ -а – подстраивает ширину колонок под текущий размер окна терминала

Как мы уже говорили, сортировка ведется по возрастанию колонки PSS, т.е. самые «жирные» процессы будут внизу.

Это поведение можно изменить ключами -s и -r, после которых следует указать имя колонки для сортировки. Ключ -r сортирует значения в обратном порядке – по убыванию значений.

Например, чтобы посмотреть кто использует Swap в процентах по убыванию значений, используйте:

smem -tap -r swap

У применения этой утилиты есть одна особенность, будучи запущена с правами пользователя она показывает только процессы текущего пользователя, чтобы получить полное представление на уровне системы ее следует запускать от root или через sudo.

Также мы можем делать отборы по имени процесса или его владельцу, например, посмотрим все процессы Postgres по убыванию в процентах:

smem -tpa -P postgres -r pss

Или все процессы пользователя 1С:Предприятия:

smem -tpa -U usr1cv8  -r pss

Что еще можно посмотреть с ее помощью? Использование памяти в разрезе пользователей с ключом -u или по всей системе с ключом -w.

Отдельного упоминания стоит ключ -m, который показывает маппинги, это файлы отраженные в оперативную память, чаще всего это разделяемые библиотеки, с данным ключом вы можете подробно посмотреть что именно у вас загружено в память и сколько места оно там занимает.

​​20 лет Ubuntu

Как-то мы пропустили знаменательную дату – 20 лет дистрибутиву Ubuntu Linux, которая пришлась на прошедшее воскресенье 20 октября. Именно в этот день, в 2004 году увидел свет дистрибутив Ubuntu 4.10 (Warty Warthog).

Сегодня, оглядываясь назад, можно сказать, что Ubuntu сделала серьезный вклад в популяризацию и продвижение платформы, сделав Linux из инструмента для гиков-«красноглазиков» серьезным рабочим инструментом для самых различных целей.

Да, здесь заслуга не только Canonical, но именно в Ubuntu был поставлен во главу угла принцип Linux с человеческим лицом. Который будет доступен каждому, а не только тому, кто готов днями и ночами колдовать в консоли.

В начале нулевых Linux был молодым игроком и мало кем рассматривался всерьез, в мире UNIX-Like систем позиции твердо удерживали FreeBSD и коммерческие системы, тот же Solaris и их админы посматривали на своих Linux-коллег свысока.

С другой стороны, набирал обороты Windows, активно осваивая серверные роли и выбор Linux как платформы для изучения и развития был далеко не так очевиден.

Ситуация стала меняться где-то в середине нулевых, когда в стране начали закручивать гайки на волне борьбы с контрафактным ПО и организации стали задумываться о переходе на альтернативные платформы, в частности на серверах, где дорогой Windows Server можно было безболезненно заменить на UNIX/Linux.

Мы тогда тоже находились в поиске системы, которую можно было бы предложить клиентам как альтернативу Windows Server.

Но все было не так просто, системы без графической оболочки многих заказчиков просто пугали, а отсутствие доступной виртуализации добавляло проблем с поддержкой железа.

Популярная тогда FreeBSD по многим параметрам не зашла и поиск продолжился уже среди Linux дистрибутивов. В настольном плане был неплох Mandrake/Mandriva, но для рабочего использования был сильно «несерьезный».

Потом мы смотрели на Novell Linux (на основе SUSE) с которым также не вышло дружбы, Fedora оказалась сильно сырая, а CentOS и Debian в те годы не вызывали энтузиазма по причине своей аскетичности и необходимости долго доводить их до ума.
Тогда все это упиралось в необходимости иметь постоянное интернет-подключения для скачивания и обновления пакетов. Поэтому ни о каком массовом тестировании дистрибутивов речи не шло. Даже скачать обновления не всегда было простой задачей.

Тестировали то, что можно было легко достать, желательно вместе с оффлайн репозиториями. Обычно это были некие наборы дисков, которые заказывали по почте и потом уже с ними работали.

Ситуация стала выравниваться с появлением первых безлимитных тарифов, но скорости были невелики и о том, чтобы скачать весь репозиторий или просто новый дистрибутив речи пока не шло. Но тема Linux снова зашевелилась.

Сегодня многие, особенно молодые коллеги, не поймут. Но тогда именно необходимость качать пакеты онлайн было серьезным препятствием, особенно на фоне Windows Server, где взял диск и поставил все что нужно.

В Linux же к этому требовалось либо долго ждать закачки на медленном безлимите, либо выкладывать вполне ощутимые суммы за трафик, что тоже мало кому нравилось.

И вот на волне очередных исканий товарищ вручил мне несколько дисков и сказал – «Попробуй». Это была Ubuntu, версии 7.04, в ярком конверте с человечками. Сначала мне она показалась чем-то несерьезным. Но за попробовать денег не берут.

И система неожиданно понравилась, именно своей простотой и дружелюбностью. На фоне других дистрибутивов она вызывала наименьшее количество проблем и довольно неплохо работала.

Так началось наше знакомство и наш серьезный вход в мир Linux. Потом уже было много чего другого, другие системы, другие дистрибутивы. Поиски, находки, удачи, разочарования. Но Ubuntu, а потом и Debian так и остались нашей основной рабочей системой до сегодняшнего дня.

Поэтому поздравляем Ubuntu с юбилеем и, как всегда, ждем новых релизов.

Продолжаем наш разговор про память

OOM Killer, пожалуй, одна из немногих технологий в Linux, овеянная мифами и легендами. Часто из уст в уста передаются истории, претендующие на хороший триллер.

На самом деле все гораздо проще и прозаичнее, а работа OOM Killer подчиняется строгим правилам. Cегодня мы попробуем разобраться в том, что такое OOM Killer и для чего он предназначен, а также разберемся как он работает и по каким критериям выбирает процессы для завершения.

Поэтому, если OOM Killer для вас все еще мифический и непонятный черный ящик, то обязательно прочитайте эту статью:

🔫 Linux - начинающим. Что такое OOM Killer и как он работает

Облачная платформа корпоративного уровня - говорили они...

От крупнейшего отечественного провайдера - говорили они...

Мы - бывший Сберклауд - говорили они...

А по факту "кратковременно" прилечь - это почти на сутки, и это за мои реальные деньги.

Поддержка воды в рот набрала и ситуацию никак не комментирует.

Уровень сервиса на уровне местечкового провайдера хутора Гадюкина, Мухосранского уезда.

А понтов было...

Расширить свой стек — легко! ⚡️

Приглашаем инженеров на обучение: Ansible, Golang, CI/CD с Jenkins, Grafana, Keycloak, SRE и еще более 10 востребованных направлений ждут вас в формате видеокурсов в учебном центре Слёрм.

Учёба в Слёрм — это:

✔️ старт в любое время: вы не привязаны к расписанию и проходите курс в комфортном для вас темпе;
✔️ фокус на практику: она занимает около 80% обучения;
✔️ гибкие условия оплаты: рассрочка, налоговый вычет, оплата зарубежной картой и даже оформление оплаты от работодателя;
✔️ передача знаний от ведущих экспертов современного IT рынка.

Цените свое время и приходите осваивать best practices и прокачивать свои навыки вместе с нами!

Подробнее — на сайте 😉

​​Их нравы 🇮🇹🇮🇹🇮🇹

19 октября в Италии провайдеры заблокировали облачные сервисы Google по требованию регулятора.

Для тех, кто еще верит в светлые силы и царство эльфов на Заокраинном Западе сообщаем, что есть такая страна как Италия и у нее есть свой собственный аналог РКН – AGCOM.

И этот самый AGCOM занимается, вы не поверите, блокировками. Причем не только занимается, но и имеет свой реестр запрещенных сайтов – платформу блокировки Piracy Shield.

Формально все это направлено на борьбу с распространением нелицензионного контента, но никто не мешает использовать данный инструмент в любых иных целях. Это как топор, можно дрова рубить, а можно старушек-процентщиц.

Так вот, некоторые частные правообладатели, сильно на разбираясь, отправили запрос на блокировку поддомена Google Drive, регулятор не глядя подмахнул, а провайдеры взяли под козырек и отправились выполнять.

В итоге через полчаса облачные сервисы Google в Италии оказались заблокированы. После многочисленных жалоб регулятор все-таки разобрался и отозвал блокировку, но аукалось еще долго, где-то в течении суток итальянские пользователи продолжали испытывать затруднения при доступе к сервисам Google.

Кого-то засудили? Кого-то наказали? Нет, техническая накладка, бывает.

А по сути, мы уже давно об этом говорили и писали – сети в ее диком и нерегулируемом изначальном виде больше не будет. Интернет из места для гиков и энтузиастов стал одним из основных средств коммуникации, а, следовательно, объектом регулирования со стороны властей

Фактически мы сейчас движемся к разделению единой сети на набор отдельных «чебурнетов» в каждом из которых будут свои правила и блокировки, в зависимости от политических, экономических и прочих факторов.

Процесс этот неизбежный, так как на интернет сегодня завязано слишком многое – это и связь, и финансовые потоки, и возможность распространять и контролировать распространяемую информацию. Не иметь за этим контроля или передавать его в третьи руки для государства, причем любого, смерти подобно.

Хотя простого пользователя, не технаря, это касается мало. Обычному, среднему итальянцу, не знающему языков крайне мало интересно что там творится в сети за пределами итальянского сегмента.

Ему нужны свои понятные и привычные сайты ну и ряд универсальных гигантов: Google, Youtube, Netflix и на том, пожалуй, и все. Ровно тоже самое можно сказать и о дяде Васе, слесаре, его точно также очень мало волнует вся эта чехарда.

​​🤯 Версии конфигурации виртуальных машин Hyper-V

Далеко не все знают, что у виртуальных машин Hyper-V есть версии, которые различаются поддерживаемыми возможностями и лимитами. Из поддерживаемых сейчас систем минимальная версия 5.0 для Server 2012 R2 и Windows 8.1, максимальная 11.0 для Server 2025 и последних выпусков Windows 11.

А всего версий конфигурации целых 14 штук, они увеличивались каждый раз при обновлении Hyper-V, а обновлялся он с каждым новым выпуском Windows, в т.ч. клиентском.

Долгое время конфигурации были совместимы сверху вниз, т.е. на новой версии гипервизора вы могли запустить старую конфигурацию. Но начиная с выпуска 2004 Windows Server 2022 отключили поддержку версий ниже 8,0.

При этом все это сделано в лучших традициях Microsoft, т.е. максимально спрятанным от пользователя. Многие могли годами работать и не сталкиваться с этим вопросом, даже вообще не догадываться о версиях конфигураций ВМ.

Узнать текущие версии всех ВМ можно командой:

Get-VM * | Format-Table Name, Version

Узнать поддерживаемые хостом версии конфигураций ВМ можно следующим образом:

Get-VMHostSupportedVersion

❓ Какие проблемы могут нам принести различные конфигурации?

🔹 Вам нужно переместить ВМ со старого гипервизора на новый. Скажем с 2016 на 2022. А у вас там по наследству крутится 5.0. Ответ вроде бы прост, сделать апгрейд конфигурации. Для этого есть командлет Update-VMVersion.

Но есть одна проблема. Он апгрейдит до текущей версии хоста. И если вы запустите его на новом сервере по получите машину версии 10.0, которую уже не сможете вернуть назад. Если это критично, то апгрейд нужно запускать на 2016, тогда получим версию 8.0, которая поддерживается обоими гипервизорами.

🔹 Обратный вариант - переместить машину на более старый гипервизор. Здесь поможет только создание новой машины поддерживаемой версии и подключение к ней виртуальных дисков от текущей машины.

🔹 И последний вариант, если вы создаете и отлаживаете машины под клиентской ОС, а только потом перемещаете в продакшен, здесь вы можете получить и вовсе экзотическую версию, какую-нибудь 9.1, которая потом не заведется на том же 2019. Здесь лучше создавать ВМ из консоли, сразу указывая нужную версию:

New-VM -Name "VM_name" -Version 8.0

Более подробно почитать про все это и посмотреть таблички совместимости можно здесь:

https://learn.microsoft.com/ru-ru/windows-server/virtualization/hyper-v/deploy/upgrade-virtual-machine-version-in-hyper-v-on-windows-or-windows-server

Информация, правда, не совсем полная, нет данных о новых версиях Windows 11 и Windows Server 2025, но это не трудно выяснить самостоятельно при помощи указанных команд.