Интересный взгляд в историю воспроизводимых сборок (https://reproducible-builds.org/) от Джона Гилмора (John Gilmore):
https://lists.reproducible-builds.org/pipermail/rb-general/2017-January/000309.html

#dev #reproducible_builds

Теперь Guile-DSV умеет форматировать таблицы так, чтобы они умещались в указанную ширину; содержимое ячеек делится на строки при необходимости. Ширина таблицы задаётся опцией --width (-w.)

Новая функция будет в следующем релизе, пока на свой страх и риск можете пробовать собрать Guile-DSV с ветви master.

В GNU Guix после клонирования репозитория можно установить Git-версию из guix.scm, находящегося в корне репозитория:

$ guix package -f guix.scm

#dev #projects #guile #dsv #csv #lisp

Улучшил алгоритм форматирования таблиц в Guile-DSV — теперь при вписывании таблицы в указанное количество символов по ширине, ширина столбцов таблицы сглаживается, чтобы место распределялось более равномерно.

UPD: Конечно же указание формата -F rfc4180 здесь избыточно и неправильно, т.к. файл /etc/passwd в Unix-формате, с двоеточияи в качестве разделителей. Но Guile-DSV автоматически может определить разделитель в большинстве случаев, поэтому принудительное указание неправильного формата не повлияло на интерпретацию файла.

#dev #projects #guile #dsv

Guile-DSV 0.6.0 теперь в GNU Guix:
https://git.savannah.gnu.org/cgit/guix.git/commit/?id=43510204c631e59b9a5a38e09caeea94d7a94de2

Поставить/обновить можно командой:

guix install guile-dsv

#dev #projects #guile #dsv #guix

В QMake, если вы хотите установить сгенерированные в процессе сборки файлы вместе с теми, которые были изначально, следует добавить опцию no_check_exist в CONFIG для нужной цели.

Допустим, если файл config.scm генерируется у вас из config.scm.in, тогда ваш *.pro-файл надо будет изменить таким образом:

my_sources.files = main.scm config.scm
my_sources.CONFIG += no_check_exist

Если данную настройку не указать, то при установке сгенерированный файл будет просто проигнорирован, вы потратите кучу времени на поиск ошибки.

#qt #qmake #dev

Guile-PNG обновился до версии 0.6.0 в GNU Guix:
https://git.savannah.gnu.org/cgit/guix.git/commit/?id=3bea4c0c191e04a37662d2be0ed47ad867b70345

Установить/обновить можно командой:

guix install guile-png

#dev #projects #gnu #guile

Выпустил релиз Guile-PNG 0.7.0 — библиотеки для работы с форматом PNG (RFC 2083) для GNU Guile, реализованной на чистом Scheme:
https://github.com/artyom-poptsov/guile-png/releases/tag/v0.7.0

В новой версии:
- Реализован авто-подбор фильтров для сохранения строк изображения, индивидуально для каждой строки — согласно эвристике, которая предложена в стандарте RFC 2083. Данная эвристика позволяет улучшить сжатие изображения и следовательно уменьшить его размер.
- Исправлена опечатка в модуле (png core chunk bkgd) — слово "greyscale" заменено на "grayscale".
- Обновлена документация.

UPD: Анонс в списке рассылки Guile Users:
https://mail.gnu.org/archive/html/guile-user/2023-07/msg00017.html

#projects #guile #png #scheme #dev

Выпустил релиз Guile-SMC 0.6.1, компилятора конечных автоматов для GNU Guile:
https://github.com/artyom-poptsov/guile-smc/releases/tag/v0.6.1

В новой версии:

- Добавлена возможность установки глобального источника событий для ДКА в разделе legend внутри PlantUML-файла. Например:

legend
event-source: next-char
endlegend

- Команда smc context теперь позволяет установить подтип генерируемого контекста. Если раньше можно было выбрать только из двух вариантов — oop и functional, то сейчас можно использовать такие варианты, как:

oop
oop/generic
oop/port
oop/char
oop/u8
functional
functional/generic
functional/char
functional/u8

Подобная мера позволила сократить объём генерируемого кода для контекста (не берутся те части контекста из Guile-SMC, которые не используются), и кроме того, это позволило решить проблему с дублированием процедур при использовании функционального (functional) контекста, где каждый вариант предоставлял свою копию процедур, но все основные процедуры имели одинаковые имена.

- Исправлена ошибка в процедуре fsm-run!, из-за которой при завершении работы ДКА возвращалась не последнаяя версия контекста, а предыдущая — это приводило к ошибкам работы функциональных вариантов контекста, где контекст не изменялся, а создавался новый на основе предыдущего. В этой ситуации если в конце работы ДКА происходило какое-то заключительное действие с контекстом (например, обновление через действие по выходу из состояния), то данные изменения не были видны. В случае использования ООП-контекста такой проблемы не возникало, так как ООП-контекст использует мутабельные структуры.

- Исправлены ошибки в сериализации/десериализации состояний в модуле (smc core state) — теперь exit-action корректно сохраняется при преобразовании состояния в список, а при обратном преобразовании списка в состояние восстанавливается.

- Обновлена документация.

#dev #projects #guile #smc #fsm

Тесты тестятся.

#dev

Сравнение скорости обработки текстовых данных через Guile-DSV.

В первом случае (верхняя синяя линия на графике) тест проходил на оригинальной версии Guile-DSV с рукописным ДКА, а во втором случае (оранжевая нижняя линяя на графике) — с ДКА, сгенерированным через Guile-SMC. Отладочный лог выключен. Используется реальное время работы программы, в секундах.

Размер тестового текстового файла:

$ wc datasets/covid.csv 
  53591   54463 3985948 datasets/covid.csv
$ du -h datasets/covid.csv
3,9M  datasets/covid.csv

Скрипт сбора статистики:
https://gist.github.com/artyom-poptsov/d53c10875e85cb735dd34e5a0f428bbe

#dev #guile #dsv

Исправил ошибки в профилировщике детерминированных конечных автоматов из поставки Guile-SMC, исправления пойдут в следующий релиз.

Использование профилировщика на примере Guile-DSV:

$ dsv --log-driver file --log-opt=file=smc.log -F rfc4180 --to unix datasets/covid.csv > test.csv
$ smc profile smc.log
Total transitions: 1661324
Total time:        84173181 us
Stats:
  read_quote: 30647003 us (36.4095 %)
  read_quoted_field: 27615130 us (32.8075 %)
  read_field_first_char: 23677038 us (28.1290 %)
  add_row: 2233946 us (2.6540 %)
  add_final_row: 35 us (.0000 %)
  read_first_field_first_char: 29 us (.0000 %)

Кусок файла smc.log:

$ head smc.log
2023-08-10 21:19:05.522313 (DEBUG): [*] -> [read_first_field_first_char]
2023-08-10 21:19:05.522342 (DEBUG): [read_first_field_first_char] -> [read_quoted_field]
2023-08-10 21:19:05.522377 (DEBUG): [read_quoted_field] -> [read_quote]
2023-08-10 21:19:05.522427 (DEBUG): [read_quote] -> [read_field_first_char]
2023-08-10 21:19:05.522448 (DEBUG): [read_field_first_char] -> [read_quoted_field]
2023-08-10 21:19:05.522483 (DEBUG): [read_quoted_field] -> [read_quote]
2023-08-10 21:19:05.522508 (DEBUG): [read_quote] -> [read_field_first_char]
2023-08-10 21:19:05.522527 (DEBUG): [read_field_first_char] -> [read_quoted_field]
2023-08-10 21:19:05.522556 (DEBUG): [read_quoted_field] -> [read_quote]
2023-08-10 21:19:05.522585 (DEBUG): [read_quote] -> [read_field_first_char]

#dev #projects #guile #dsv #smc

Выпустил релиз Guile-SMC 0.6.2:
https://github.com/artyom-poptsov/guile-smc/releases/tag/v0.6.2

Ключевые изменения:

- Исправлена ошибка с процедурой pre-action в модуле (smc context functional char): Теперь процедура во всех случаях возвращает контекст.

- Исправлена ошибка высчитывания отметок времени в модуле (smc trace-context). Теперь значение отметок времени всегда получается положительным, как и должно. При этом, если всё же обнаруживается уход времени в отрицательные значения, бросается ошибка.

- Исправлен рассчёт времени в модуле (smc cli command-profile) профайлера. Теперь профайлер Guile-SMC даёт правильные значения суммарного времени работы ДКА и времени для каждого отдельно взятого состояния.

- В модуль (smc context oop generic) добавлен недостающий модуль (smc core log). Его отсутствие приводило бы к ошибками при попытке использования (smc context oop generic).

- Теперь Guile-SMC позволяет задавать pre-action и post-action для ДКА прямо в PlantUML описании. Эти процедуры выполняются перед всеми остальными проверками для каждого состояния, и могут например использоваться для обновления счётчиков в контексте. Пример задания этих процедур в PlantUML файле описания ДКА:

legend
pre-action:  custom-pre-action
post-action: custom-post-action
endlegend

- Для класса <fsm> в модуле (smc fsm) теперь добавлены процедуры для задания pre-action (fsm-pre-action-set!) и post-action (fsm-post-action-set!). Также из модуля экспортированы процедуры fsm-pre-action и fsm-post-action для получения текущих значений pre-action и post-action соответственно.

- В модуле (smc core log) теперь регистрируется логгер по-умолчанию, под именем "guile-smc". Также добавлена процедура smc-log-default-logger.

- Обновлена документация.

Новый релиз обратно совместим с версиями 0.6.0 и 0.6.1.

#dev #projects #guile #smc

Провёл ещё один замер производительности Guile-DSV с новым ДКА, сделанным на базе Guile-SMC, используя датасет "Feed Grains: Yearbook Tables" на почти полмиллиона строк (498929 строк, если быть точным.)

Время на графиках в секундах.

Новая версия парсера работает быстрее старого на этом примере примерно в 15 раз.

Конечно, сорость обработки данных ещё зависит от самих данных и их формата. Например, парсер Unix-формата DSV работает быстрее, поскольку там нюансов меньше, и следовательно сам ДКА для Unix-формата проще.

#dev #projects #guile #dsv

Выпустил релиз Guile-DSV 0.7.0:
https://github.com/artyom-poptsov/guile-dsv/releases/tag/v0.7.0

Анонс в списке рассылки guile-user:
https://mail.gnu.org/archive/html/guile-user/2023-08/msg00050.html

Ключевые изменения:

- Guile-DSV теперь использует Guile State Machine Compiler (Guile-SMC) для генерации кода парсеров формата Unix и RFC 4180 из PlantUML описания во время сборки. Это изменение позволило сократить количество кода на Scheme, и сделать описание парсера более читаемое и краткое. Кроме того, новая версия парсеров работает от 3 до 15 раз быстрее старой версии (замеры: 1, 2).

- Процедуры dsv->scm и dsv-string->scm теперь поддерживают дополнительные именованные параметры: #:debug-mode? (включить/выключить режим отладки), #:log-driver (установить драйвер логирования; по-умолчанию используется "syslog"), #:log-opt (установить параметры драйвера логирования — см. документацию для детального описания.)

- Утилита dsv теперь также поддерживает опции --log-driver и --log-opt — см. dsv --help для справки.

#dev #projects #guile #dsv