1С:Предприятие и многопоточность. Часть 2. Файловая база
По замыслу 1С файловая база предназначена для самых-самых маленьких и имеет серьезные ограничения как по размеру, так и по количеству одновременно работающих пользователей. И очень часто негативный опыт, полученный на файловых базах, переносится на всю систему 1С:Предприятие в целом.
Но начнем мы с краткого рассмотрения типов клиентов 1С, которые можно условно разделить на толстый и тонкие (сам тонкий, веб и мобильный клиенты). Основное отличие толстого клиента в том, что толстый клиент выполняет как серверный, так и клиентский код.
С файловой базой напрямую может работать только толстый клиент. А еще толстый клиент однопоточен. Все задачи ставятся в единую очередь и исполняются в один поток, преимущественно одним ядром. И критическое значение в данном случае имеет однопоточная производительность процессора и его тактовая частота.
Но, если вы уж совсем не сэкономили на процессоре, то это не доставляет пользователю существенных неудобств. Просто потому, что масштабы выполняемых задач не те. А для одного пользователя производительности даже одного потока вполне достаточно.
Кроме основного потока толстый клиент запускает второй, дополнительный поток для работы фоновых заданий. С их помощью могут выполняться как регламентные задания, так и тяжелые, длительные операции, чтобы не блокировать работу пользователя в основном потоке.
Таким образом пользователь может запустить тяжелый отчет или обработку, а сам перейти к другим разделам программы, скажем, вводить документы. И не испытывать при этом никаких особых неудобств, так как основные тяжелые вычисления будут выполняться вторым потоком.
Но следует помнить, что дополнительный поток также один и все фоновые задания будут становиться в нем в очередь. Поэтому внимательно отнеситесь к тому, что у вас запускается в фоне, особенно к регламентным заданиям:
✅ Почему тормозит 1С. Регламентные задания
Но вся эта благодать исчезает, как только в базе появляются дополнительные пользователи. Многим знакома картина, когда производительность файловой базы резко проседает уже при подключении к ней второго пользователя.
В чем тут дело? Вспоминаем, что с данными в СУБД может работать только сервер, в нашем случае сервер – это толстый клиент. Роль СУБД выполняет файловая база, которая является полноценной базой данных собственного формата.
При запуске нескольких толстых клиентов на разных рабочих местах мы получаем несколько серверов, взаимодействующих с СУБД, это приводит не только к кратному увеличению сетевого трафика и нагрузки на дисковую подсистему хранилища файловой базы, но и появлению блокировок.
Блокировка – это специальный режим работы СУБД, когда она для избежания рассогласования информации блокирует таблицы при обращении к ним одного из клиентов и остальным приходится ждать пока таблица освободиться.
А если кто-то запустил на медленном ПК длительную операцию в транзакции, то ждать будет вся сеть.
Файловая структура только все это усугубляет. Если у нас есть пять клиентов и каждый из которых хочет получить справочник номенклатуры, то все пять серверов толстого клиента по разу скачают себе этот справочник и самостоятельно займутся его обработкой. Без всякого кеширования и повторного использования.
Поэтому в файловых базах с разделяемым по сети общим ресурсом узким местом очень быстро становится не однопоточность (точнее двухпоточность), а блокировки и избыточное количество сетевого трафика. И если со вторым еще можно бороться апгрейдом или перепланировкой сети, то блокировки надежно убивают производительность уже начиная с трех-пяти активных клиентов.
Дополнительные материалы:
🔹 1С:Предприятие и многопоточность. Часть 1. Общие вопросы
По замыслу 1С файловая база предназначена для самых-самых маленьких и имеет серьезные ограничения как по размеру, так и по количеству одновременно работающих пользователей. И очень часто негативный опыт, полученный на файловых базах, переносится на всю систему 1С:Предприятие в целом.
Но начнем мы с краткого рассмотрения типов клиентов 1С, которые можно условно разделить на толстый и тонкие (сам тонкий, веб и мобильный клиенты). Основное отличие толстого клиента в том, что толстый клиент выполняет как серверный, так и клиентский код.
С файловой базой напрямую может работать только толстый клиент. А еще толстый клиент однопоточен. Все задачи ставятся в единую очередь и исполняются в один поток, преимущественно одним ядром. И критическое значение в данном случае имеет однопоточная производительность процессора и его тактовая частота.
Но, если вы уж совсем не сэкономили на процессоре, то это не доставляет пользователю существенных неудобств. Просто потому, что масштабы выполняемых задач не те. А для одного пользователя производительности даже одного потока вполне достаточно.
Кроме основного потока толстый клиент запускает второй, дополнительный поток для работы фоновых заданий. С их помощью могут выполняться как регламентные задания, так и тяжелые, длительные операции, чтобы не блокировать работу пользователя в основном потоке.
Таким образом пользователь может запустить тяжелый отчет или обработку, а сам перейти к другим разделам программы, скажем, вводить документы. И не испытывать при этом никаких особых неудобств, так как основные тяжелые вычисления будут выполняться вторым потоком.
Но следует помнить, что дополнительный поток также один и все фоновые задания будут становиться в нем в очередь. Поэтому внимательно отнеситесь к тому, что у вас запускается в фоне, особенно к регламентным заданиям:
✅ Почему тормозит 1С. Регламентные задания
Но вся эта благодать исчезает, как только в базе появляются дополнительные пользователи. Многим знакома картина, когда производительность файловой базы резко проседает уже при подключении к ней второго пользователя.
В чем тут дело? Вспоминаем, что с данными в СУБД может работать только сервер, в нашем случае сервер – это толстый клиент. Роль СУБД выполняет файловая база, которая является полноценной базой данных собственного формата.
При запуске нескольких толстых клиентов на разных рабочих местах мы получаем несколько серверов, взаимодействующих с СУБД, это приводит не только к кратному увеличению сетевого трафика и нагрузки на дисковую подсистему хранилища файловой базы, но и появлению блокировок.
Блокировка – это специальный режим работы СУБД, когда она для избежания рассогласования информации блокирует таблицы при обращении к ним одного из клиентов и остальным приходится ждать пока таблица освободиться.
А если кто-то запустил на медленном ПК длительную операцию в транзакции, то ждать будет вся сеть.
Файловая структура только все это усугубляет. Если у нас есть пять клиентов и каждый из которых хочет получить справочник номенклатуры, то все пять серверов толстого клиента по разу скачают себе этот справочник и самостоятельно займутся его обработкой. Без всякого кеширования и повторного использования.
Поэтому в файловых базах с разделяемым по сети общим ресурсом узким местом очень быстро становится не однопоточность (точнее двухпоточность), а блокировки и избыточное количество сетевого трафика. И если со вторым еще можно бороться апгрейдом или перепланировкой сети, то блокировки надежно убивают производительность уже начиная с трех-пяти активных клиентов.
Дополнительные материалы:
🔹 1С:Предприятие и многопоточность. Часть 1. Общие вопросы
👍16❤7👀2
Amber – делаем программирование на Bash проще
Bash – достаточно сложный в освоении скриптовый язык, особенно для тех, кто не пишет на нем постоянно. Сложности вызывает как синтаксис, так и то, что язык не предоставляет никаких проверок, оставляя все на откуп программиста.
И хорошо, когда у вас есть опыт и вы сразу видите опасные моменты и умеете обкладывать их дополнительными условиями, а если нет, то ваши скрипты могут «порадовать» вас нестандартным поведением в самый неожиданный момент.
Можно ли как-то облегчить процесс написания bash-скриптов? Можно. Одним из вариантов будет использование Amber – нового высокоуровневого языка программирования с синтаксисом, основанным на ECMA Script.
Кстати, широко распространенный JavaScript также основан на спецификации ECMA Script, что облегчает освоение нового языка и снижает порог вхождения. Если вы уже писали на JavaScript, то без особого труда освоите Amber.
Но ключевой особенностью Amber является то, что он не собирается заменить собой bash, наоборот, код, написанный на Amber при компиляции, будет преобразован в bash-скрипт.
В чем еще плюсы такого подхода, кроме более простого синтаксиса? В таких фишках как type-safe и runtime-safe. Для тех, кто не в курсе попробуем объяснить на пальцах.
Bash – язык со слабой, неявной динамической типизацией. Т.е. типы переменных не задаются и зависят от их содержимого, также в процессе исполнения кода типы переменных могут меняться или неявно преобразовываться.
Например, если мы присвоили одной переменной строковое значение, а второй целочисленное, а затем сложили их, то произойдет неявное преобразование числа в строку и последующая конкатенация (сложение двух строк). Итоговая переменная также станет строкой.
Это удобно, но требует от программиста постоянного контроля и проверки типов, в противном случае возможны ошибки, причем не всегда, а в зависимости от полученных скриптом данных или результатов других вычислений.
Amber позволяет взять этот вопрос на себя и на этапе компиляции сообщить вам об ошибках используемых типов данных (type-safe) или возможных проблемах при их обработке во время исполнения программы (runtime-safe).
При том, чтобы начать писать на Amber не нужно вообще ничего, кроме плагина к VS Code, сам Amber является только компилятором и его можно установить на любой Linux или в Windows WSL.
Ближе познакомиться с продуктом можно на сайте проекта: https://amber-lang.com
Несмотря на то, что продукт еще очень молодой он уже представляет определенный интерес и заслуживает внимания.
Bash – достаточно сложный в освоении скриптовый язык, особенно для тех, кто не пишет на нем постоянно. Сложности вызывает как синтаксис, так и то, что язык не предоставляет никаких проверок, оставляя все на откуп программиста.
И хорошо, когда у вас есть опыт и вы сразу видите опасные моменты и умеете обкладывать их дополнительными условиями, а если нет, то ваши скрипты могут «порадовать» вас нестандартным поведением в самый неожиданный момент.
Можно ли как-то облегчить процесс написания bash-скриптов? Можно. Одним из вариантов будет использование Amber – нового высокоуровневого языка программирования с синтаксисом, основанным на ECMA Script.
Кстати, широко распространенный JavaScript также основан на спецификации ECMA Script, что облегчает освоение нового языка и снижает порог вхождения. Если вы уже писали на JavaScript, то без особого труда освоите Amber.
Но ключевой особенностью Amber является то, что он не собирается заменить собой bash, наоборот, код, написанный на Amber при компиляции, будет преобразован в bash-скрипт.
В чем еще плюсы такого подхода, кроме более простого синтаксиса? В таких фишках как type-safe и runtime-safe. Для тех, кто не в курсе попробуем объяснить на пальцах.
Bash – язык со слабой, неявной динамической типизацией. Т.е. типы переменных не задаются и зависят от их содержимого, также в процессе исполнения кода типы переменных могут меняться или неявно преобразовываться.
Например, если мы присвоили одной переменной строковое значение, а второй целочисленное, а затем сложили их, то произойдет неявное преобразование числа в строку и последующая конкатенация (сложение двух строк). Итоговая переменная также станет строкой.
Это удобно, но требует от программиста постоянного контроля и проверки типов, в противном случае возможны ошибки, причем не всегда, а в зависимости от полученных скриптом данных или результатов других вычислений.
Amber позволяет взять этот вопрос на себя и на этапе компиляции сообщить вам об ошибках используемых типов данных (type-safe) или возможных проблемах при их обработке во время исполнения программы (runtime-safe).
При том, чтобы начать писать на Amber не нужно вообще ничего, кроме плагина к VS Code, сам Amber является только компилятором и его можно установить на любой Linux или в Windows WSL.
Ближе познакомиться с продуктом можно на сайте проекта: https://amber-lang.com
Несмотря на то, что продукт еще очень молодой он уже представляет определенный интерес и заслуживает внимания.
👍6🫡4❤3🤣3👎1
Настраиваем терминальный сервер на Windows Server в рабочей группе
Роль терминального сервера пользуется огромной популярностью у системных администраторов самых разных по размеру предприятий, от самых маленьких, до очень больших.
Действительно, это достаточно эффективный способ организации работы пользователей и эффективного использования вычислительных ресурсов.
Но есть и определенные сложности: начиная с Windows Server 2012 компания Microsoft решила, что для развертывания терминальных служб обязательно нужен домен Active Directory.
Это не всегда приемлемо и уместно. Значит будем обходиться без домена, а как - расскажем в этой статье.
https://interface31.ru/tech_it/2021/05/nastraivaem-terminalnyy-server-na-windows-server-v-rabochey-gruppe.html
Роль терминального сервера пользуется огромной популярностью у системных администраторов самых разных по размеру предприятий, от самых маленьких, до очень больших.
Действительно, это достаточно эффективный способ организации работы пользователей и эффективного использования вычислительных ресурсов.
Но есть и определенные сложности: начиная с Windows Server 2012 компания Microsoft решила, что для развертывания терминальных служб обязательно нужен домен Active Directory.
Это не всегда приемлемо и уместно. Значит будем обходиться без домена, а как - расскажем в этой статье.
https://interface31.ru/tech_it/2021/05/nastraivaem-terminalnyy-server-na-windows-server-v-rabochey-gruppe.html
👍22🔥2❤1
🚂Linux тормозит? Сервер пыхтит, как паровоз? Пора разобраться с мониторингом!
Приходи на бесплатный вебинар по мониторингу в Linux — научим находить узкие места быстрее, чем sudo rm -rf / сломает систему!
Что разберём:
— top, htop, iotop — как читать эти графики и не паниковать
— Где искать проблемы: CPU, RAM, диски или сеть?
— Настраиваем Prometheus + Grafana
— чтобы мониторинг был красивым, как мем с пингвином
После вебинара ты:
— Сможешь диагностировать лаги на сервере без шаманства
— Научишься визуализировать метрики, как настоящий DevOps-ниндзя
— Поймёшь, почему «у меня же всё работает» — не аргумент
Регистрируйся → напомним перед стартом: https://otus.pw/mnvI/?erid=2W5zFGBufsv
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Приходи на бесплатный вебинар по мониторингу в Linux — научим находить узкие места быстрее, чем sudo rm -rf / сломает систему!
Что разберём:
— top, htop, iotop — как читать эти графики и не паниковать
— Где искать проблемы: CPU, RAM, диски или сеть?
— Настраиваем Prometheus + Grafana
— чтобы мониторинг был красивым, как мем с пингвином
После вебинара ты:
— Сможешь диагностировать лаги на сервере без шаманства
— Научишься визуализировать метрики, как настоящий DevOps-ниндзя
— Поймёшь, почему «у меня же всё работает» — не аргумент
Регистрируйся → напомним перед стартом: https://otus.pw/mnvI/?erid=2W5zFGBufsv
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
❤1
Что такое объектное хранилище S3 и в чем его основные особенности.
S3 (Simple Storage Service) – объектное хранилище и одноименное API доступа разработанное компанией Amazon и в настоящее время широко используемое многими облачными провайдерами, также существуют решения для создания собственных S3 хранилищ.
Первый раз сталкиваясь с S3 многие пользователи не понимают в чем его отличия от традиционных файловых хранилищ, какие преимущества и недостатки.
Начнем с того, что S3 – это не файловое хранилище, а объектное. Что это значит? А это значит, что мы можем хранить в нем не только файлы, а вообще любые двоичные данные, в любом формате.
Ведь что такое файл? Это именованная область на диске для хранения неких данных. В зависимости от типа хранимых данных используются разные форматы файлов, но это только один из частных случаев их, данных, размещения, хотя и самый привычный.
Например, те же данные мы можем хранить в базе данных в виде отдельных записей или даже их набора. А можем вообще хранить в сыром виде на блочном устройстве в виде RAW образа, и не важно, что там внутри, для устройства хранения это будет просто набор блоков.
S3 представляет собой плоское объектное хранилище, где данные организованы по принципу ключ – значение. Ключ – это уникальный идентификатор, значение – объект. Объектом может быть все что угодно – файл, сырые или форматированные данные, в любом случае для S3 это будет некоторый набор байтов, связанный с ключом – идентификатором.
Для работы со всем этим используется протокол HTTP(S) и специальное S3 API, что серьезно упрощает работу с объектами на программном уровне. Вам не нужны клиенты, поддержка протоколов и файловых систем, просто нужно отправить запрос по HTTP и получить или разместить данные.
Такой подход прежде всего удобен для разработчиков, теперь приложению не нужно сохранять или загружать данные через промежуточную прослойку – файл, а можно напрямую разместить или получить их из хранилища.
Это удобно и для облачных провайдеров, так как позволяет сделать простую и понятную тарификацию, по объему скачанного или загруженного трафика. И, главное, такая тарификация будет предельно понятна для пользователя.
А плоская иерархия, точнее ее отсутствие, дает неограниченные возможности горизонтального масштабирования и упрощает доступ к данным на уровне хранилища, так как не требуется поддержка иерархии системы хранения и поиска по ней.
Для удобства пользователя S3 хранилище позволяют создавать псевдоиерархические структуры, т.н. контейнеры (бакеты, bucket), но на самом деле они являются всего лишь префиксами ключа и не создают никаких дополнительных сущностей в системе хранения.
Как мы уже говорили, S3 – это хранилище наборов сырых данных, каждому из объектов которого соответствует свой ключ. Любые дополнительные абстракции в виде файловых систем, файлов или папок отсутствуют. А что именно там лежит – хранилищу абсолютно неинтересно, набор байтов он и в Африке набор байтов.
Собственно, исходя из этого и следует рассматривать плюсы и минусы хранилищ S3. При этом всегда следует отталкиваться от решаемых задач, потому что одни и те же особенности S3 могут быть как плюсами, так и минусами.
И разворачивая S3 локально также следует понимать с какой целью и для каких задач вы это делаете. Потому как это не замена файловому серверу или облачному хранилищу, а совершенно отдельная сущность, предоставляющая простой доступ к объектам и их хранение в любых объемах без лишних накладных расходов и без ограничения по форматам и размерам.
S3 (Simple Storage Service) – объектное хранилище и одноименное API доступа разработанное компанией Amazon и в настоящее время широко используемое многими облачными провайдерами, также существуют решения для создания собственных S3 хранилищ.
Первый раз сталкиваясь с S3 многие пользователи не понимают в чем его отличия от традиционных файловых хранилищ, какие преимущества и недостатки.
Начнем с того, что S3 – это не файловое хранилище, а объектное. Что это значит? А это значит, что мы можем хранить в нем не только файлы, а вообще любые двоичные данные, в любом формате.
Ведь что такое файл? Это именованная область на диске для хранения неких данных. В зависимости от типа хранимых данных используются разные форматы файлов, но это только один из частных случаев их, данных, размещения, хотя и самый привычный.
Например, те же данные мы можем хранить в базе данных в виде отдельных записей или даже их набора. А можем вообще хранить в сыром виде на блочном устройстве в виде RAW образа, и не важно, что там внутри, для устройства хранения это будет просто набор блоков.
S3 представляет собой плоское объектное хранилище, где данные организованы по принципу ключ – значение. Ключ – это уникальный идентификатор, значение – объект. Объектом может быть все что угодно – файл, сырые или форматированные данные, в любом случае для S3 это будет некоторый набор байтов, связанный с ключом – идентификатором.
Для работы со всем этим используется протокол HTTP(S) и специальное S3 API, что серьезно упрощает работу с объектами на программном уровне. Вам не нужны клиенты, поддержка протоколов и файловых систем, просто нужно отправить запрос по HTTP и получить или разместить данные.
Такой подход прежде всего удобен для разработчиков, теперь приложению не нужно сохранять или загружать данные через промежуточную прослойку – файл, а можно напрямую разместить или получить их из хранилища.
Это удобно и для облачных провайдеров, так как позволяет сделать простую и понятную тарификацию, по объему скачанного или загруженного трафика. И, главное, такая тарификация будет предельно понятна для пользователя.
А плоская иерархия, точнее ее отсутствие, дает неограниченные возможности горизонтального масштабирования и упрощает доступ к данным на уровне хранилища, так как не требуется поддержка иерархии системы хранения и поиска по ней.
Для удобства пользователя S3 хранилище позволяют создавать псевдоиерархические структуры, т.н. контейнеры (бакеты, bucket), но на самом деле они являются всего лишь префиксами ключа и не создают никаких дополнительных сущностей в системе хранения.
Как мы уже говорили, S3 – это хранилище наборов сырых данных, каждому из объектов которого соответствует свой ключ. Любые дополнительные абстракции в виде файловых систем, файлов или папок отсутствуют. А что именно там лежит – хранилищу абсолютно неинтересно, набор байтов он и в Африке набор байтов.
Собственно, исходя из этого и следует рассматривать плюсы и минусы хранилищ S3. При этом всегда следует отталкиваться от решаемых задач, потому что одни и те же особенности S3 могут быть как плюсами, так и минусами.
И разворачивая S3 локально также следует понимать с какой целью и для каких задач вы это делаете. Потому как это не замена файловому серверу или облачному хранилищу, а совершенно отдельная сущность, предоставляющая простой доступ к объектам и их хранение в любых объемах без лишних накладных расходов и без ограничения по форматам и размерам.
1❤15👍2