Операционные и аналитические данные

Вся разработка строится на обработке данных, данные бывают разные - изображения, тексты, сигналы и т.д., можно по-разному классифицировать данные, объединять их в группы, разделять по разным принципам. Но в контексте данной заметки нам важно разделить данные на "операционные данные" и "аналитические данные". Именно так они делятся с позиции бизнеса.

Операционные данные

Это бизнес-данные, которые отражают текущее состояние бизнеса. Эти данные постоянно меняются и их нужно поддерживать в корректном состоянии.

Целостность достигается за счет использования транзакций, функциональность реализуется с помощью OLTP (online transaction processing).

Основная проблема операционных данных - изменчивость. Чтобы гарантировать целостность используют либо ACID, либо BASE подходы.

Обычно для операционных данных реализуется стандартный CRUD интерфейс.

Передача данных во внешние источники делается через REST, GraphQL, event-driven подходы и т.д.

Аналитические данные

Это timeseries-данные, которые описывают исторический взгляд на вещи (аналитика). Эти данные нужны для построения отчетов, оперативного мониторинга и т.д.

Эти данные не изменяются во времени, только накапливаются и аггрегируются, поэтому нет нужды обеспечивать целостность. Для обработки используются OLAP (online analytical processing) системы.

Аналитические данные используются для построения информационных моделей в машинном обучении.

Для хранения используются DataLake (централизованный подход), DataMesh (децентрлизованный подход)

#знания #статья

SOER | PRO | Boosty

Низкий уровень: как выглядят функции на ASM

Процессор умеет выполнять лишь простые машинные команды, как же тогда работают функции и классы языков высокого уровня?

Чтобы разобраться будем использовать Compiler Explorer который позволяет преобразовать конструкции высокого уровня в их представление на низком уровне (Assembler).

Начать предлагаю с того, что посмотреть какой код будет сгенерирован компилятором для следующего листинга:

int callme() {
    return 1;
}

void main() {
    callme();
}

в командной строке это можно сделать с помощью команды

gcc -g -o output.s -masm=intel -fno-verbose-asm -S -fdiagnostics-color=always example.c

но Compiler Expolrer делает это за нас, в результате получен следующий код:

callme:
        push    rbp
        mov     rbp, rsp
        mov     eax, 1
        pop     rbp
        ret
main:
        push    rbp
        mov     rbp, rsp
        mov     eax, 0
        call    callme
        nop
        pop     rbp
        ret

Мы видим, что:

✅ имена функций превратились в имена меток, на самом деле это реальные адреса по которым будут делаться переходы, представленные в виде меток.

✅ для вызова функции используется специальная инструкция call

✅ для возврата из функции используется специальная инструкция ret

✅ чтобы вернуть значение из функции используется регистр eax - mov eax,1
✅ в функции есть специальные части "пролог" и "эпилог"

Что такое "Пролог"

Это часть функции которая сохраняет текущие значения регистров, чтобы восстановить их при возврате из функции.

push rbp; инструкция push сохраняет в стеке значение rbp

mov rbp, rsp; копирует значение регистра указателя вершины стека (открытие кадра стека)

sub rsp, xx; выделяем память под локальные переменные

1. rbp используется для адресации локальных переменных, должен быть сохранен в стеке;
2. rsp используется для указания на вершину стека

Что такое "эпилог"

Этр код, который закрывает кадр стека и восстанавливаем значние rpb

mov rsp, rbp
pop rbp
ret

Red zone

Вероятно вы заметили, что у нас в прологе нет инструкции sub rsp, xx, все дело в том, что у процессоров есть оптимизация, которая называется red zone, в данном случае - область размером 128 байт которая находится за пределами RSP и не должна изменяться обработчиками сигналов и прерываний.

В качестве индивидуального задания можете попробовать добавить char a[128]; в код функции callme и посмотреть что будет.


Вывод:
Сегодня мы узнали, что функции высокого уровня на уровне ассемблера размещаются в теле программы и доступ к ним осуществляется путем перехода по адресу, где находится соответствующая функция.

Часто узнать функции в коде на ассемблере можно по следующим признакам:

✅ для вызова функций используются инструкции call, ret

✅ без оптимизаций компилятор добавит специальные куски кода "пролог" и "эпилог"

Конечно, есть много других способов скомпилировать функции в машинный код, без call/ret и пролога с эпилогом, но это уже другая история.

#asm #знания

SOER | PRO | Boosty

Сегодня на стриме был гость - Андрей Kobezzza, поговорили про важность базы для программистов.

Для меня стрим начался необычно - оказалось, что большая часть функций OBS просто отвалились, после обновления. Пришлось запустить в базовой конфигурации без привычных функций. Жаль, что не работало отображение донатов, там был просто жирнющий донат от Рошерха.


https://www.youtube.com/live/LJpS4_aFQek

У компании Kinescope самая "дружественная" поддержка из всех что я видел.

Сам сервис работает примерно так же - "как только так сразу". Отсюда вопрос, какие варианты для self-hosted видео есть?

В субботу планируем поговорить про устройство компилятора, в гостях будет архитектор из PVS-Studio.

Тезисы для разговора:

1) Что вообще делает компилятор (в общих чертах);

2) Парсинг. Как работает, какие разновидности бывают;

3) Неоднозначности в грамматике. Как с ними бороться;

4) Почему мы хотим идти только вперед и никогда не откатываться и почему это нереально;

5) Про плюсы и их "прекрасную" грамматику. Most vexing parse;

6) Как разбираться с ошибками в коде, если нам подсунули некомпилируемое;

7) Семантика и как мы вообще понимаем, что эти слова в коде значат;

8) Перегрузки функций;

9) Шаблоны в плюсах. Почему это круто, но при этом больно;

10) Как считать выражения во время компиляции;

11) Оптимизации;

12) Почему undefined behaviour - не баг, а фича (это про плюсы и сишечку в основном).


Если есть вопросы, задавайте, обозначу их на стриме.

SOER | PRO | Boosty