Нужно внедрить DWH, но не понятно, с чего начать и как не ошибиться?

При этом:
❌ Не хватает экспертизы по инструментам и архитектуре DWH,
❌ Не проработаны требования бизнес-подразделений по витринам для BI,
❌ Сложно объяснить пользу DWH бизнесу, для которого это “очередной IT-проект”.

KT.Team с сотней инженеров и клиентами, IT-бюджеты которых переваливают за миллиарды, знают выход из ситуации.

И расскажут об этом 24 апреля на бесплатном вебинаре «Как построить Data Warehouse, чтобы бизнес был доволен?»

На вебинаре подробно разберем:
✅ Три уровня архитектуры DWH, чтобы получать отчеты быстро,
✅ Примеры витрин, без которых бизнес действует вслепую и несет потери,
✅ Пошаговый план проектирования Data Warehouse,
✅ Решение для бизнеса: как тестировать гипотезы быстрее и точнее.

Регистрируйтесь на вебинар ЗДЕСЬ

​​Некоторые приятные возможности веб-интерфейса Proxmox

Веб-интерфейс Proxmox позволяет выполнять многие операции управления и обслуживания гипервизора и виртуальных машин, не обращаясь к терминалу.

Это снижает порог вхождения и позволяет эффективно использовать продукт администраторам ранее не имевшими дело с Linux системами.

Одной из таких возможностей является работа с репозиториями. Как мы знаем, Proxmox из коробки поставляется с подключенными корпоративными репозиториями, требующими подписку.

Чтобы обновить продукт следует отключить корпоративные репозитории и добавить не требующие подписки. Это обычно делается в терминале правкой файлов источников пакетов. Процесс несложный, но может вызвать затруднения у начинающих.

Но на самом деле эту операцию уже давно можно выполнить полностью в веб интерфейсе. Достаточно в разделе Updates – Repositories отключить репозитории Enterprise и здесь же добавить репозитории No-Subscription. В этом есть даже свой плюс – вам не нужно искать точное имя репозитория.

Данная возможность представлена начиная с Proxmox VE 7.

​​CasaOS – система для домашнего сервера

Сразу попросим системных администраторов расслабиться, домашний сервер – это совсем не то, что вы подумали. Обычный пользователь подразумевает под этим совсем иное, а именно некоторое устройство, которое является центром цифрового пространства пользователя.

На нем можно хранить и просматривать мультимедиа, качать торренты, размещать резервные копии, управлять умным домом и т.д. и т.п.

В первом приближении такую функцию выполняют NAS и продвинутые роутеры, но у них есть свои недостатки – NAS дороги, а вычислительные возможности роутеров оставляют желать лучшего.

Поэтому следующим, логичным шагом будет использование для этого обычных ПК и специальных систем для домашнего сервера. Одной из таких систем является CasaOS, которая позиционируется как персональная облачная операционная система. Разрабатывает ее IceWhale, известная производством устройств линейки Zima.

По сути, это оболочка с веб-интерфейсом, работающая поверх Debain, Ubuntu и CentOS совместимых систем, также можно использовать Raspberry Pi и аналоги.

Для ее установки достаточно выполнить единственную команду, которая скачает скрипт и выполнит все необходимые установки, после чего вам только останется перейти в веб-интерфейс и начать пользоваться вашим новым домашним сервером.

Прямо сразу вы можете настроить сетевой доступ (используется Samba), подключить внешние диски и хранилища, которые подключаются и отображаются в интерфейсе автоматически. А для расширения возможностей можно установить приложения из магазина.

Вроде бы все просто, понятно и удобно. Отдельной особенностью является то, что все приложения являются контейнерами Docker. В данном случае это удобно и оправдано. Не нужно поддерживать собственный репозиторий приложений, не нужно беспокоиться о их совместимости, поддержке, безопасности.

Удобно и пользователю, когда каждое приложение в изолированном контейнере шансы сломать что-нибудь уменьшаются в разы.

Никаких особых навыков для того, чтобы работать с такими приложениями не нужно, выбрали, прочитали краткую инструкцию, нажали установить. Для продвинутых пользователей доступны детальные настройки контейнеров. Также можно установить любой произвольный контейнер, выполнив настройки для него самостоятельно.

С каждым запущенным приложением пользователь общается привычным ему образом – через веб интерфейс или подключение клиента. В принципе достаточно один раз настроить, вывести ярлыки и забыть. При необходимости всегда можно зайти в панель управления CasaOS и запустить приложения оттуда.

В целом система нам понравилась, она позволяет просто и быстро создать домашний сервер любого профиля и назначения, после чего без особых опасений передать его в эксплуатацию пользователям, чей опыт далек от администрирования.

https://casaos.io

​​Проверяем DNS-записи при помощи PowerShell

Данный метод не является заменой привычным утилитам, например, nslookup, но он показывает возможности PowerShell и будет полезен всем, кто использует данный язык для автоматизации или изучает его.

Для разрешения доменных имен в PowerShell есть командлет Resolve-DnsName, использовать его достаточно просто, полный синтаксис команды выглядит так:

Resolve-DnsName -Name "example.com"

Но его можно упростить:

Resolve-DnsName example.com

Ответ зависит от типа записи, для A вы просто получите адрес, а для CNAME результатом будет доменное имя, на которое ссылается запись. Ниже будет приведена информация о полученном доменном имени и разрешение его в IP-адрес.

Это довольно тонкий момент, потому что тот же nslookup всегда выводит второй строкой адрес, здесь же результатом работы может быть как адрес, так и иное доменное имя.

При этом, учитывая объектную структуру PowerShell, такой результат легче поддается разбору и анализу, также сразу будет указан тип записи в отдельном поле.

Для получения записей других типов дополнительно используйте ключ:

Resolve-DnsName example.com -Type MX

Результатом вывода для MX, если записи настроены правильно, вы получите одно или несколько доменных имен. Их разрешение в IP-адреса будет приведено ниже в выводе.

Если вам нужно получить результат от определенного сервера, то добавьте ключ:

Resolve-DnsName example.com -Type MX -Server 8.8.8.8

А теперь несколько полезных опций, которые могут пригодиться при диагностике и разрешении проблем:

Resolve-DnsName example.com -DnsOnly

Данный ключ предписывает выполнить DNS-запрос игнорируя файлы hosts, локальный кеш, широковещательные протоколы и т.д.

Resolve-DnsName example.com -CacheOnly

Наоборот, выдаст запрос из локального кеша, что полезно для диагностики, если есть подозрения на неверную работу кеша.

Resolve-DnsName example.com -NoHostsFile

Указанный ключ проигнорирует локальный файл hosts, его следует использовать если есть подозрение, что указанный домен переназначен локально.

Это далеко не все возможности командлета, а только самые полезные. Больше информации вы можете найти в документации: https://learn.microsoft.com/en-us/powershell/module/dnsclient/resolve-dnsname?view=windowsserver2022-ps

ОТКРЫЛИ ЗАПИСЬ НА БЕСПЛАТНЫЙ ОНЛАЙН-КУРС ПО 1С!

27 апреля присоединяйтесь к нашему бесплатному вебинару по программированию в 1С. 
Курс проведет Андреей Домрачев - создатель курса и senior-программист на 1С.

Программа курса включает:
- Введение в 1С:
Установка и создание базы.
- Основы языка 1С:
Примитивные и структурные типы данных, условия, циклы, процедуры, функции.
- Объекты конфигурации:
Справочники, документы, регистры накопления, отчеты, регистры сведений.
- Язык запросов и СКД:
Практика работы с языком запросов и системой компоновки данных.

А также - розыгрыш ценных призов для участников вебинара в онлайне.

Подробнее о курсе и призах в телеграм канале:
@domrachev_consulting
@domrachev_consulting
@domrachev_consulting

erid: LjN8KBQy7

​​Что будет если мы выполним chmod -R 777 / с правами суперпользователя?

Ну казалось бы, чего такого, ну дадим всем полные права, что может пойти не так? Ну про безопасность понятно…

Но с этого момента пойдет не так решительно все. Очень многие службы и системные утилиты требуют определенных прав доступа на файлы, к таким файлам могут относится ключи, сертификаты, конфигурационные файлы, отвечающие за безопасность и т.д. и т.п.

Поэтому такие службы будут работать до рестарта и более не запустятся, сразу откажут такие утилиты как sudo, также вы не сможете войти с использованием ключа по SSH.

А еще вспоминаем, что 777 – это на самом деле 0777, т.е. легким движением руки мы снесем все SUID, SGID и Sticky bit. После чего откажет большая часть системных утилит и наступит неуправляемый хаос в /tmp.

Сама же система будет работать и даже загружаться, но по факту мы ее сделали полностью неработоспособной. Самое лучшее что мы можем сделать – это скопировать данные и переустановить ее.

​​Как быстро узнать серийные номера всех установленных дисков в Linux

Задача достаточно простая, но важная. Особенно если вы собрались менять диски. Как определить, что это именно sda? И даже если на диске или кабеле есть бирка, то все равно не мешает удостовериться, что перед вами именно нужный диск.

Решать мы ее будем штатными средствами, без установки стандартных пакетов.

Начнем с известной утилиты lsblk, которая выводит информацию обо всех блочных устройствах. Она умеет выводить очень много параметров, настроить которые можно ключом -o или –output, все доступные для вывода колонки можно посмотреть в справке, запустив команду с ключом -h, --help.

Нас будет интересовать имя, модель, тип и серийный номер. Отдельно поясним зачем нужен тип – он поможет нам отделить записи, относящиеся к физическим дискам от разделов, LVM-томов и иных прочих сущностей.

Проверяем:

lsblk  -o name,model,type,serial

Вся необходимая информация есть, теперь отфильтруем записи дисков через grep:

lsblk  -o name,model,type,serial | grep “ disk”

Кавычки и пробел перед значением нужны для того, чтобы отфильтровать именно по колонке типа, в противном случае в вывод могут попадать иные сущности, в наименовании которых есть данное вхождение, в частности виртуальные диски в виде LVM-томом в Proxmox.

Как видим – ничего сложного. Но очень часто начинающие Linux администраторы пренебрегают простыми встроенными инструментами, начиная искать и устанавливать сторонние утилиты или прибегая к гораздо более сложным способам.

Поэтому данный пример должен напомнить, что основной принцип философии UNIX, которому во многом следует Linux – это простота. Каждая программа делает свое дело и делает его хорошо. При этом они могут легко взаимодействовать друг с другом.

Так и в нашем случае – мы взяли две простые программы и быстро получили желаемый результат. Поэтом перед тем, как что-то искать и качать не поленитесь прочитать справку на уже имеющиеся простые инструменты. В большинстве случаев их окажется более чем достаточно.

​​Подписка ИТС – современные реалии

Подписка ИТС для 1С:Предприятие – вещь своеобразная и любимое средство экономии на обслуживании этого программного продукта.

Обновления программных продуктов поставляются сугубо в рамках ИТС и без активной подписки вы не имеете права устанавливать их. Также с вами не будет разговаривать поддержка. Но это все мелочи, без которых вполне можно было жить.

Поэтому многие, особенно небольшие компании, на ИТС экономили. Обновления можно было скачать на «злачных ресурсах», а для доработки всегда можно было найти программиста, который не задавал глупых вопросов.

В общем жили и не особо тужили. Но потом 1С:Предприятие придумало расширения, которые позволяли вносить изменения в программу, не снимая ее с поддержки и не обновляя полностью релиз. Расширение достаточно просто загрузить и перезапустить программу.

На базе расширений были созданы патчи, которые позволяют оперативно устранять ошибки и недочеты в программе буквально налету. А конфигурации научили скачивать и устанавливать расширения, в том числе и полностью автоматически.

С тех пор началась в 1С совсем другая жизнь. В плане разработки, а точнее тестирования. Если раньше, устанавливая очередной релиз можно было ожидать хотя бы стабильной работы основной функциональности, то теперь может случиться всякое и поломаться может на самом видном месте, там, где не ждали.

Все выявленные косяки оперативно лечатся патчами, причем лечатся довольно быстро и эффективно, только вот доступны патчи сугубо по подписке ИТС и выкладывать их на «злачных» ресурсах никто не спешит.

Чтобы лучше понимать проблему посмотрим на количество патчей в последних релизах Бухгалтерия предприятия

3.0.151.38 – 47
3.0.151.27 – 60
3.0.150.39 – 84
3.0.150.33 – 116

Т.е. чем старее релиз – тем больше патчей для него выпущено. Справедливости ради скажем, что некоторые патчи добавляют в программу новые возможности, в частности связанные с изменением законодательства (новые форматы или формы), но большая часть – это именно устранение ошибок.

Надеяться, что ошибки вас не затронут – тоже не стоит. Так, например, релиз Розница 2.3.18.13 вышел фактически неработоспособным без патчей, которых для него выпущено целых 95 штук.

Тестирование перед обновлением тоже не очень спасает, так как ошибки могут вылезти сильно позже и только при определенных сценариях работы.

В общем патчи – это текущие реалии работы с современными релизами 1С:Предприятие и надеяться на то, что обозримом будущем что-то изменится – не стоит.

Поэтому сегодня полноценно эксплуатировать 1С без действующей подписки ИТС фактически невозможно, если только вы не хотите остаться крайним в ситуации, когда обновил и все поломалось, а отчеты сами себя не сдадут, а за нарушенные сроки – штрафы и прочие неприятные санкции.

К чему эта статья? К тому что нужно срочно бежать покупать ИТС? По сути да, но мне как автору от этого не горячо и не холодно, материальной заинтересованности в этом я не имею.

Поэтому статья о текущем положении дел и в качестве предупреждения тем, кто еще живет по-старинке и по счастливой случайности еще не успел столкнуться с патчами.

Проброс устройств в контейнеры Proxmox Virtual Environment 8.2

24 апреля без лишнего шума вышла Proxmox Virtual Environment 8.2, под капотом Debian 12.5 и ядро 6.8. Также были обновлены ключевые компоненты: QEMU 8.1, LXC 6.0, Ceph 18.2, and ZFS 2.2.

Одним из важных нововведений выпуска стал проброс устройств в контейнеры LXC через графический интерфейс, чуть раньше такая возможность через CLI и API появилась в выпуске 8.1.

Это приятная и долгожданная возможность, так как до этого для проброса устройств приходилось править конфигурационные файлы. Теперь работа с Proxmox VE станет проще и удобнее, а гипервизор получит дополнительные плюсы перед конкурентами.

Ubuntu 24.04 LTS вышла, но обновляться на нее пока не следует.

Два дня назад, 25 апреля официально выпущена Ubuntu 24.04 LTS, также были обновлены все связанные ОС этой системы. Впереди долгие выходные, чем не повод протестировать новинку?

Однако, если вы захотите обновиться, то вас постигнет разочарование. Официально обновление недоступно и предложения обновить вашу систему вы не получите. Но где наша не пропадала?

Открываем терминал и пишем:

do-release-upgrade -d

Ведь это же финальная версия, да?

Но не стоит этого делать, процесс завершится неудачей, и вы получите полностью неработоспособную систему. Причина – перевод на Snap многих версий пользовательских пакетов (а теперь Snap источник по умолчанию для практически всего прикладного ПО) и ряда иных багов.

Инженеры Ubuntu работают над этим и обновление станет доступным после устранения всех недостатков.

А пока что можно выполнить чистую установку, например, в виртуальную машину.

А мы тем временем протестировали сборку Simply Linux alpha1 для Repka Pi 3.

Сборка подготовлена на основе репозитория Sisyphus, а не p10, как можно ошибочно подумать, глядя на брендинг, который взят от стабильного Simply Linux.

Система при первом запуске проходит этап мини-установки, где вы можете настроить сеть, задать пользователей и их пароли. После чего потребуется перезагрузка.

Это альфа и есть ряд недочетов. Не работает Wi-Fi, но это указано в инструкции и это лечится созданием нескольких символических ссылок. Также не работает индикатор активности на плате из-за чего иногда трудно понять статус платы.

Что удивило – так это полный набор ПО в системе, включая офисный пакет, что нехарактерно для сценариев использования подобных ПК. Если вы захотите использовать его для автоматизации или в роли мини-сервера, то придется очень много чистить.

Выводы: альтернатива есть и это хорошо, но хотелось бы чтобы Альт уделил этому вопросу больше внимания. Наша плата есть, а нашего ПО для нее нет…

Самое необычное рабочее место

Настали майские праздники, многие из нас уже продумывают планы отдыха, но характер нашей работы часто требует внимания и в нерабочие дни.

Поэтому для многих из нас настроенный походный ноутбук стал неизменным спутником во всех поездках даже на небольшие расстояния, а удаленная работа стала делом привычным.

Но тем не менее иногда приходится работать из очень специфических мест. В моей практике самым необычным местом была деревянная вышка в этнографической казачьей станице, куда мы вывезли наш класс после окончания учебного года.

Потому, как только там более-менее на приличной скорости работал мобильный интернет. И то, телефон пришлось поднять повыше и засунув в пакет привязать почти под крышу. Зато получилось более-менее комфортно подключиться к заказчику и решить внезапно возникшие проблемы.

А какое самое необычное рабочее место было у вас?

​​Перенаправление и права в Linux

Если нам нужно что-либо записать или дописать в файл, то мы обычно делаем так:

echo “Hello” > file.txt

Или

echo “Hello” >> file.txt

В первом случае мы перепишем содержимое файла, во втором – допишем в конец. Кстати, это важный момент, запомните и не путайте!

Но как быть, если нужно выполнить запись в файл, который не принадлежит текущему пользователю?

Напрашивается привычное:

sudo echo “Hello” >> file.txt

Но неожиданно получим «Отказано в доступе», почему? Давайте разбираться кто за что отвечает. При входе пользователя в систему в ней сразу запускается командная оболочка, тоже самое происходит если мы запускаем эмулятор терминала.

Оболочка запускается от имени текущего пользователя, и именно она позволяет нам выполнять команды, она же занимается перенаправлениями и конвейером.

Команда sudo позволяет нам выполнить команду с правами суперпользователя и этой командой будет echo, которая выведет указанный текст в стандартный поток вывода. На этом ее работа закончилась. Перенаправлением потока будет заниматься оболочка, которая запущена от обычного пользователя.

Чтобы все-таки выполнить запись в файл мы можем сделать так:

sudo bash -c ‘echo “Hello” >> file.txt’

В этом случае мы запустим с повышенными правами еще один экземпляр оболочки, который выполнит указанную команду и завершит свою работу. А так как оболочка запущена с повышенными правами, то и проблем с перенаправлением у нас не возникнет.

Аналогичная ситуация возникает и с конвейером, так как этим занимается оболочка, то все команды в цепочке будут выполняться от имени того пользователя, кто запустил оболочку, если не указано иного.

Например, для решения нашей задачи можно использовать:

echo “Hello” | tee -a file.txt

Если мы напишем:

sudo echo “Hello” | tee -a file.txt

То с повышенными правами будет выполнено только echo, а tee получит отказ в доступе, так как запустивший ее пользователь не имеет прав доступа.

Правильно:

echo “Hello” | sudo tee -a file.txt

Для выполнения первой команды нам повышенные права не нужны, а вот tee нужно дать доступ к файлу и поэтому мы запускаем ее через sudo.

Поэтому, работая с оболочкой всегда помните, кто выполняет те или иные действия и какие права при этом имеет, что поможет избежать подобных ошибок и недоразумений.

У Васи есть папка с закачками, куда он скачивает без разбора всякое разное, и чтобы каждый раз не разбирать ее руками он пишет скрипт, который будет автоматически перемещать видеоролики в другую папку:

for file in $(ls *.mp4); do 
    mv -f $file /new_path/video         
done

Что не так с этим скриптом?

👇 Ответы в опросе ниже 👇

​​Что не так со скрипом Васи?

Предположений было довольно много, но большинство указанных и неуказанных в опросе, но всплывшие в обсуждении недостатки не являются фатальными.

Основной и очень грубой ошибкой является использование для получения списка файлов команды ls, также все сказанное далее в полной мере относится и к find. Обе эти команды созданы для интерактивного взаимодействия с оператором и не предназначены для использования в скриптах.

Почему? В обсуждении было приведено несколько хороших ссылок на подробные материалы, правда на английском, но даже с переводчиком смысл будет понятен. Мы же остановимся коротко на основных проблемах.

🔹 Первая и самая очевидная - пробелы, имя файла с пробелами превратится в набор строк, каждая из которых будет обрабатываться скриптом отдельно. И если в данном примере это относительно безопасно, то в реальных сценариях это может привести к абсолютно непредсказуемым последствиям.

Например, в нашей практике мы сталкивались со скриптом, который таким образом подсчитывал количество файлов в папке, потом сортировал их по дате создания и удалял самые старые, чтобы осталось всего N-файлов. Файл с пробелами в имени сразу грубо ломает эту логику и может привести к удалению нужных данных.

Обернуть ls *.mp4 в кавычки тоже не даст результата, так как в этом случае в качестве единой строки будет использоваться весь вывод команды.

🔹Вторая проблема – возможное наличие в имени файла управляющих и подстановочных символов. На практике встречается гораздо реже, но так как Linux вполне допускает подобные имена, то вы вполне можете с ними столкнуться, например, они могут появиться в результате ошибок в работе скриптов.

Допустим у вас есть набор файлов: 1Сезон-1Серия.mp4, 1Сезон-2Серия.mp4 и т.д. и туда случайным образом затесался файл где имя состоит из единицы и звездочки за ним. Символ звездочки будет расценен как подстановочный и ls подставит туда все попадающие под маску файлы. В результате все ваши серии попадут в вывод два раза. Как мы уже говорили, если в данном случае это безопасно, то в других сценариях может привести к различным негативным эффектам.

🔹Третья основная проблема – символы национальных алфавитов. Сейчас эта проблема отошла на второй план, но актуальной быть от этого не перестала. А причина все таже – ls и find рассчитаны на то, чтобы выводить информацию на экран.

А далее все зависит от установленной локали, если локаль не содержит символа, соответствующего его коду, то на его месте появится «крякозябкрик» или знак вопроса в ромбе, иди еще что-нибудь, а также такой символ может быть просто пропущен.

👆 Теперь о том, как сделать правильно. В оболочках POSIX, которым относится bash и его производные, есть функция позволяющая использовать в именах файлов символы подстановки, поэтому вывод никаких дополнительных команд анализировать не нужно, а переменную следует обязательно обернуть в кавычки:

for file in ./*.mp4; do 
    mv -f “$file” /new_path/video         
done

В этом случае корректно будут отработаны и пробелы, и спецсимволы, и символы национальных алфавитов.

Также можно подстраховаться и добавить проверку на существование файла:

for file in ./*.mp4; do 
   [ -e "$file" ] || continue
    mv -f “$file” /new_path/video         
done

Если указанный файл не существует, то цикл пропустит текущую итерацию и перейдет к следующей.