`O_DIRECT`: когда база данных обходит page cache
В Linux флаг
Зачем это нужно базам данных?
У PostgreSQL, MySQL, RocksDB и других систем часто уже есть свой buffer pool.
Если ещё и ядро будет кэшировать те же страницы, получится двойное кэширование и лишняя трата памяти.
Но у
• buffer
• file offset
• размер чтения / записи
Например, под 4 KB блоки нельзя просто так прочитать 123 байта в любой `malloc`-буфер.
Промахнулся с alignment —
Именно поэтому низкоуровневый I/O в базах выглядит таким странным: там важны не только данные, но и то, как они лежат в памяти.
В Linux флаг
O_DIRECT позволяет читать и писать файл почти напрямую, минуя page cache ядра.Зачем это нужно базам данных?
У PostgreSQL, MySQL, RocksDB и других систем часто уже есть свой buffer pool.
Если ещё и ядро будет кэшировать те же страницы, получится двойное кэширование и лишняя трата памяти.
Но у
O_DIRECT есть неприятное условие: всё должно быть выровнено по блоку.• buffer
• file offset
• размер чтения / записи
Например, под 4 KB блоки нельзя просто так прочитать 123 байта в любой `malloc`-буфер.
Промахнулся с alignment —
read() вернёт EINVAL.Именно поэтому низкоуровневый I/O в базах выглядит таким странным: там важны не только данные, но и то, как они лежат в памяти.
❤3👍1🔥1
Linux Совет: как следить за выводом команды в реальном времени
Есть команда, вывод которой постоянно меняется? Не нужно запускать её руками снова и снова.
Используйте
Например:
Команда будет запускаться каждые 2 секунды, а вывод будет автоматически обновляться в терминале.
Остановить можно через:
Что ещё удобно мониторить:
Полезно для диска, памяти, процессов, сети и любых системных изменений, которые нужно видеть почти в реальном времени.
Есть команда, вывод которой постоянно меняется? Не нужно запускать её руками снова и снова.
Используйте
watch:
watch command
Например:
watch df -h
Команда будет запускаться каждые 2 секунды, а вывод будет автоматически обновляться в терминале.
Остановить можно через:
Ctrl+C
Что ещё удобно мониторить:
watch free -h
watch date
watch ls -l
watch "ps aux | grep nginx"
watch "ip addr"
Полезно для диска, памяти, процессов, сети и любых системных изменений, которые нужно видеть почти в реальном времени.
👍11❤3🔥1
Математика без попсы: три бесплатных книги для тех, кто хочет настоящий фундамент
Три бесплатные книги Аллена Хатчера по математике
Если хочется нормального фундамента по топологии, K-theory и теории чисел, у Аллена Хатчера есть отличный бесплатный набор.
1. Algebraic Topology
Классический учебник по алгебраической топологии. Книга вышла в Cambridge University Press, но онлайн-версия доступна бесплатно по соглашению с издателем. На сайте есть полный PDF, главы отдельно, исправления и дополнительные упражнения.
https://pi.math.cornell.edu/~hatcher/AT/AT.pdf
Дополнительно: Spectral Sequences - отдельная расширенная глава к этой книге.
https://pi.math.cornell.edu/~hatcher/AT/ATch5.pdf
2. Vector Bundles & K-Theory
Короткая книга про векторные расслоения, топологическую K-теорию и характеристические классы. Сейчас онлайн выложено около 120 страниц: основы vector bundles, часть K-theory, Bott periodicity, characteristic classes и stable J-homomorphism.
https://pi.math.cornell.edu/~hatcher/VBKT/VB.pdf
3. Topology of Numbers
Необычное введение в теорию чисел через геометрию и картинки. Много внимания уделено квадратичным формам, диаграмме Фарея, цепным дробям, уравнению Пелля, quadratic reciprocity и topograph Конвея. PDF примерно на 350 страниц доступен бесплатно.
https://pi.math.cornell.edu/~hatcher/TN/TNbook.pdf
Три бесплатные книги Аллена Хатчера по математике
Если хочется нормального фундамента по топологии, K-theory и теории чисел, у Аллена Хатчера есть отличный бесплатный набор.
1. Algebraic Topology
Классический учебник по алгебраической топологии. Книга вышла в Cambridge University Press, но онлайн-версия доступна бесплатно по соглашению с издателем. На сайте есть полный PDF, главы отдельно, исправления и дополнительные упражнения.
https://pi.math.cornell.edu/~hatcher/AT/AT.pdf
Дополнительно: Spectral Sequences - отдельная расширенная глава к этой книге.
https://pi.math.cornell.edu/~hatcher/AT/ATch5.pdf
2. Vector Bundles & K-Theory
Короткая книга про векторные расслоения, топологическую K-теорию и характеристические классы. Сейчас онлайн выложено около 120 страниц: основы vector bundles, часть K-theory, Bott periodicity, characteristic classes и stable J-homomorphism.
https://pi.math.cornell.edu/~hatcher/VBKT/VB.pdf
3. Topology of Numbers
Необычное введение в теорию чисел через геометрию и картинки. Много внимания уделено квадратичным формам, диаграмме Фарея, цепным дробям, уравнению Пелля, quadratic reciprocity и topograph Конвея. PDF примерно на 350 страниц доступен бесплатно.
https://pi.math.cornell.edu/~hatcher/TN/TNbook.pdf
👍10❤6🔥1👏1
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку
В IT прокачивается тот, кто каждый день видит сильные идеи, новые инструменты, реальные задачи, вакансии и разборы.
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
DevOps: t.iss.one/DevOPSitsec
Docker: t.iss.one/DevopsDocker
Golang: t.iss.one/Golang_google
Rust: t.iss.one/rust_code
C++: t.iss.one/cpluspluc
C#: t.iss.one/csharp_1001_notes
Java: t.iss.one/java_library
JavaScript: t.iss.one/javascriptv
React: t.iss.one/react_tg
Frontend: t.iss.one/front
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Мобильная разработка: t.iss.one/mobdevelop
Базы данных: t.iss.one/sqlhub
Data Science: t.iss.one/data_analysis_ml
Big Data: t.iss.one/bigdatai
Математика: t.iss.one/data_math
Физика: t.iss.one/fizmat
Kubernetes: t.iss.one/kubernetc
GameDev: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg
Собеседования и карьера:
DS собеседования: t.iss.one/machinelearning_interview
Python собеседования: t.iss.one/python_job_interview
Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.iss.one/memes_prog
Английский для программистов: t.iss.one/english_forprogrammers
ИИ и технологии: t.iss.one/vistehno
954 ГБ open-source курсов: @courses
ИТ-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Пока кто-то листает шум, ты будешь видеть инструменты, задачи и идеи, которые помогают расти в профессии.
В IT прокачивается тот, кто каждый день видит сильные идеи, новые инструменты, реальные задачи, вакансии и разборы.
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
DevOps: t.iss.one/DevOPSitsec
Docker: t.iss.one/DevopsDocker
Golang: t.iss.one/Golang_google
Rust: t.iss.one/rust_code
C++: t.iss.one/cpluspluc
C#: t.iss.one/csharp_1001_notes
Java: t.iss.one/java_library
JavaScript: t.iss.one/javascriptv
React: t.iss.one/react_tg
Frontend: t.iss.one/front
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Мобильная разработка: t.iss.one/mobdevelop
Базы данных: t.iss.one/sqlhub
Data Science: t.iss.one/data_analysis_ml
Big Data: t.iss.one/bigdatai
Математика: t.iss.one/data_math
Физика: t.iss.one/fizmat
Kubernetes: t.iss.one/kubernetc
GameDev: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg
Собеседования и карьера:
DS собеседования: t.iss.one/machinelearning_interview
Python собеседования: t.iss.one/python_job_interview
Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.iss.one/memes_prog
Английский для программистов: t.iss.one/english_forprogrammers
ИИ и технологии: t.iss.one/vistehno
954 ГБ open-source курсов: @courses
ИТ-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Пока кто-то листает шум, ты будешь видеть инструменты, задачи и идеи, которые помогают расти в профессии.
❤5👍2🔥2
Кто-то разобрал Claude Code почти до винтика
Автор собрал разбор Claude Code по публичным источникам: цикл агента, систему инструментов, разрешения, работу с контекстом, сессии, подпроцессы, MCP, удалённые настройки, телеметрию и скрытые флаги.
Получился не “гайд по использованию”, а карта внутренней логики CLI-агента: как он принимает решение, когда просит разрешение, как вызывает инструменты, как хранит историю и как расширяется через внешние интеграции.
https://github.com/justxor/Claudecourse/
learn-coding-agent - репозиторий для тех, кто хочет понять, как устроены современные coding agents не на уровне промо-страниц, а на уровне архитектуры.Автор собрал разбор Claude Code по публичным источникам: цикл агента, систему инструментов, разрешения, работу с контекстом, сессии, подпроцессы, MCP, удалённые настройки, телеметрию и скрытые флаги.
Получился не “гайд по использованию”, а карта внутренней логики CLI-агента: как он принимает решение, когда просит разрешение, как вызывает инструменты, как хранит историю и как расширяется через внешние интеграции.
https://github.com/justxor/Claudecourse/
👍8❤3🔥2👏1
Media is too big
VIEW IN TELEGRAM
10 дистрибутивов Linux — 10 боевых стилей. Пейн разбирает, кому что подойдёт: от Ubuntu новичкам до Arch для тех, кто любит контроль. Выбор зависит от задачи, а не от хайпа
#linux #ubuntu #arch #наруто
https://www.youtube.com/shorts/ba3wsQkSC-I
#linux #ubuntu #arch #наруто
https://www.youtube.com/shorts/ba3wsQkSC-I
❤5👍1👎1🔥1
🐧 Нашёл легендарную книгу по внутренностям Linux в открытом PDF
Understanding the Linux Kernel, Third Edition Даниэля Бове и Марко Чезати — почти 950 страниц про то, как Linux устроен под капотом.
Внутри:
• процессы и планировщик
• управление памятью
• системные вызовы
• прерывания и синхронизация
• VFS и файловые системы
• драйверы и I/O
• page cache и IPC
Книга старая и разбирает ядро эпохи Linux 2.6, поэтому для современных деталей одной её недостаточно. Но фундаментальные механизмы ядра объяснены очень глубоко.
И тот самый момент, когда радуешься, что учил английский: такую книгу хочется читать медленно, параллельно открывая исходники и проверяя всё руками.
📖 PDF: https://cs.utexas.edu/~rossbach/cs380p/papers/ulk3.pdf
Understanding the Linux Kernel, Third Edition Даниэля Бове и Марко Чезати — почти 950 страниц про то, как Linux устроен под капотом.
Внутри:
• процессы и планировщик
• управление памятью
• системные вызовы
• прерывания и синхронизация
• VFS и файловые системы
• драйверы и I/O
• page cache и IPC
Книга старая и разбирает ядро эпохи Linux 2.6, поэтому для современных деталей одной её недостаточно. Но фундаментальные механизмы ядра объяснены очень глубоко.
И тот самый момент, когда радуешься, что учил английский: такую книгу хочется читать медленно, параллельно открывая исходники и проверяя всё руками.
📖 PDF: https://cs.utexas.edu/~rossbach/cs380p/papers/ulk3.pdf
❤5🔥4👍3👏2
28 июля(уже завтра!) в 19:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle DevOps-разработчика.
Как это будет:
Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для DevOps-разработчиков, которые хотят повысить свой грейд, ЗП и прокачать скиллы.
Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_devops_bot
Реклама.
О рекламодателе.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2🔥2👍1👏1
Linux-совет: смотрим конец огромного файла
Если лог весит гигабайты, открывать его целиком бессмысленно. Используйте tail:
tail /var/log/syslog
По умолчанию команда покажет последние 10 строк.
Полезные варианты:
tail -20 app.log
tail -f /var/log/syslog
tail access.log
tail nohup.out
Особенно полезен tail -f: он не завершает работу, а показывает новые строки сразу после их появления.
Идеально для логов, фоновых процессов и быстрой проверки последних событий.
Если лог весит гигабайты, открывать его целиком бессмысленно. Используйте tail:
tail /var/log/syslog
По умолчанию команда покажет последние 10 строк.
Полезные варианты:
tail -20 app.log
tail -f /var/log/syslog
tail access.log
tail nohup.out
Особенно полезен tail -f: он не завершает работу, а показывает новые строки сразу после их появления.
Идеально для логов, фоновых процессов и быстрой проверки последних событий.
🔥9❤2😁2👍1🎉1
Как повысить приватность в интернете и сократить цифровой след
Авторы собрали бесплатный практический гайд по базовой цифровой гигиене - без обещаний «100% анонимности» и магических кнопок.
Внутри:
• реальные угрозы приватности и типичные ошибки пользователей;
• выбор браузера, поисковика и мессенджера;
• безопасные настройки смартфона;
• удаление метаданных из файлов и фотографий;
• защита электронной почты и аккаунтов;
• приватные альтернативы сервисам, которые собирают слишком много данных;
• способы уменьшить объём информации, связанной с вашими платежами.
Полезно тем, кто хочет лучше контролировать свои данные, уменьшить слежку и привести цифровую безопасность в порядок.
Гайд полностью бесплатный:
👉 https://paranoiaprivacy.wiki/
Авторы собрали бесплатный практический гайд по базовой цифровой гигиене - без обещаний «100% анонимности» и магических кнопок.
Внутри:
• реальные угрозы приватности и типичные ошибки пользователей;
• выбор браузера, поисковика и мессенджера;
• безопасные настройки смартфона;
• удаление метаданных из файлов и фотографий;
• защита электронной почты и аккаунтов;
• приватные альтернативы сервисам, которые собирают слишком много данных;
• способы уменьшить объём информации, связанной с вашими платежами.
Полезно тем, кто хочет лучше контролировать свои данные, уменьшить слежку и привести цифровую безопасность в порядок.
Гайд полностью бесплатный:
👉 https://paranoiaprivacy.wiki/
🔥3❤2👍2
This media is not supported in your browser
VIEW IN TELEGRAM
На столе лежит kira_note_fake, а настоящая тетрадь спрятана в банковской ячейке.
Near вычисляет тайник четырьмя командами: find показывает подделку, grep находит зацепку bank_cell_2057 в заметках, cat открывает путь к /secure/bank/cell_2057, а sudo ls достаёт настоящую.
Разбор на примере Death Note: diff, find, grep и cat в реальной работе.
Near вычисляет тайник четырьмя командами: find показывает подделку, grep находит зацепку bank_cell_2057 в заметках, cat открывает путь к /secure/bank/cell_2057, а sudo ls достаёт настоящую.
Разбор на примере Death Note: diff, find, grep и cat в реальной работе.
👎2❤1👍1🔥1
🐧 Как быстро понять, что именно съело место на диске в Linux?
Для этого есть
Проверить размер конкретной папки:
Посмотреть размер каждого объекта внутри:
А если нужно быстро найти самые тяжёлые папки в текущей директории:
Полезные флаги:
Простой способ за минуту найти, куда внезапно исчезло свободное место на сервере.
Для этого есть
du.Проверить размер конкретной папки:
du -sh ~/Documents/
Посмотреть размер каждого объекта внутри:
du -sh ~/Documents/*
А если нужно быстро найти самые тяжёлые папки в текущей директории:
du -sh * | sort -h
Полезные флаги:
-s — показать только итоговый размер-h — вывести размер в KB, MB и GB-a — учитывать все файлы и директории-c — добавить общий итогПростой способ за минуту найти, куда внезапно исчезло свободное место на сервере.
👍8❤3🔥2
📚 Бесплатная книга на 698 страниц для тех, кто хочет реально понять математику, а не просто запоминать формулы
Книга постепенно учит математическому мышлению: как читать определения, работать с логикой, понимать структуру доказательств и самостоятельно их писать.
Хороший вариант для программистов, ML-инженеров и всех, кто чувствует, что математическая база есть, но доказательства и абстракции до сих пор выглядят слишком непривычно.
PDF:
Everything You Always Wanted To Know About Mathematics* (*But didn’t even know to ask) — большой учебник по абстрактной математике, теоремам и построению доказательств.Книга постепенно учит математическому мышлению: как читать определения, работать с логикой, понимать структуру доказательств и самостоятельно их писать.
Хороший вариант для программистов, ML-инженеров и всех, кто чувствует, что математическая база есть, но доказательства и абстракции до сих пор выглядят слишком непривычно.
PDF:
math.cmu.edu/~jmackey/151_128/bws_book.pdfrataflow — open source-библиотека на Rust для создания node-based интерфейсов прямо в TUI.Поддерживает:
— перетаскивание нод
— соединения между блоками
— pan и zoom
— автоматические layouts
— интерактивное управление
Проект построен поверх
Ratatui, так что полноценный визуальный редактор может работать вообще без браузера и GUI.Live demo: https://rataflow.furkankly.dev
GitHub: https://github.com/furkankly/rataflow
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1🥰1