Local-first и децентрализация
708 subscribers
140 photos
19 videos
3 files
312 links
Replicated Object Notation,
CRDT, распределёнщина и децентрализация.
Ведёт @gritzko
Чат @Ronzgovory
Download Telegram
Local-first и децентрализация
PLF2023.pdf
SPLASH PLF доклад приняли, интересно что рецензенты не анонимные, один из них Клеппманн.
Относительно же темы доклада, у меня есть общее ощущение, что с каузальными деревьями в Computer Science должны были разобраться тогда же, когда с B-деревьями разобрались, в 80х 90х.
Ну, может добавит в книжку с кабанчиком, нужно исправлять этот пробел.
🔥5👍3
Кстати про Клеппманна. На goto conf в Амстере он объясняет, как они сделали rich text в редакторе Peritext через аннотации. Забавно, что у меня так 10 лет назад и работало в редакторе для Яндекс Живых Писем. Проект тот убили через года два-три после запуска, потому что нужно было сделать Google docs, а мы блин не справились вдвоём с Лёхой, если вкратце. Ещё бы может человек 20 в команду, но что-то не сложилось. Код тот на GitHub, забавный код.
😁31🆒1
Про парсеры. Знаю я одного украинца с армянской фамилией, который два раза «сломал интернет». В Cloudflare работал. Первый раз он это сделал с помощью ragel, баг с неправильным граничным условием, вылет за границу буфера, бдыщ.
Тем не менее, я большой фанат ragel. Причина проста: парсеры имеют обыкновение генерить синтаксическое 🌲 дерево, которое в плане производительности не очень, да и с точки зрения удобства не сильно проще исходного формата, нужен ещё один шаг - перекладывание в свои структуры данных.
Почему так сложилось? Ну, это из за доминирования компиляторщиков в теории разработки парсеров. Для них это ОК, а при работе с данными это уже очень не очень.
На ragel можно писать низкоуровнево и без посредников. Ловим состояния state machine, кладём данные сразу во внутренний формат, без синтаксических 🌲 🌲
И вот, у меня вчера возникла небходимость упорядочить пачку парсеров, которые использует DaRWiN. Там HTTP, key: value, JSON, URL, UUID… все мелкие, но их много.
Угадайте чо!
Ага, пришлось добавить промежуточный слой - синтаксическое 🌲 Ну я его упростил как мог, упаковал узел в 16 байт, сложил в append only массив, но блин.
Всё таки без дерева можно, но это имеет смысл только если лопатить данные в потоке. А так – примкнём пока к компиляторщикам.
👍4🤔2
Кстати, про парсеры. У меня парсер URL, грамматика списана с RFC. Пишу юнит тест и обнаруживаю, что грамматика то неоднозначная.
smtp:smtp это схема:хост или хост:порт? По RFC можно и так и так понимать.
🤔3😁2
Local-first и децентрализация
Из приятного: студенты сделали умный diff, с использованием токенизации от language server. На досуге прикручу к DaRWiN. (Студенты = Шишихин + Голубев + Аникиев + Ниневский)
Ну понятно же, что студенческий код оказался недостаточно хорош! Уровень перфекционизма явно недостаточный. По его мотивам пишу свой вариант diff…
👍2
Local-first и децентрализация
Кстати, два месяца я буду full time на DaRWiN, вероятно будут занимательные апдейты.
Месяц прошёл, подвожу итоги: перебрал движок. В едином стиле и взаимосвязанно переписаны хранилище, индекс, парсеры, diff.
Остался месяц проделать похожий фокус с верхней частью: синхронизация файлового дерева, коммиты, весь CLI, сетевая часть, возможно успею веб интерфейс.
👍11👀21
Local-first и децентрализация
Вообще, технологии массовой манипуляции построены на самых базовых инстинктах: выживание (война, агрессия, защита), размножение (секс секс секс) и питание. Более верхнии функции сознания слишком вариативны и сложны для массовой обработки. Тут пока методы дедовские…
https://www.wired.com/story/fast-forward-chatbot-hallucinations-are-poisoning-web-search/
Веб-поиском стало сложнее пользоваться из-за нейроспама. Но это только начало!
Знаете, есть такая раздражающая черта у некоторых людей - ебать мозги. Чаще это женщины, но у меня например один начальник такой был. Когда подходят к мозгу, как к физическому объекту и тупо манипулируют им.
Например, несут очень бурный и эмоциональный, но логически несвязный текст, часто с личными нападками, чтобы банально выжечь вам глюкозу, когда вы безуспешно пытаетесь понять смысл, а дальше в ослабленный ум уже можно закладывать нужные мысли -- ради чего артподготовка и проводилась. Ну или там вечные эти приёмчики типа "что случилось? - а ты не понимаешь?" - тупо сжигание глюкозы противнику.
Так вот, плохие новости: сейчас это будут делать боты за миллиарды долларов, разработанные большими корпорациями.
Интернет из всемирной информационной сети плавно превращается в инструмент выжигания мозга пользователям.
👍31🫡1
Вообще, пользователь в современном интернете всё больше похож на собаку Павлова. И не важно, на каком вы сайте - везде работает код Google, который знает кто вы и где, и ваши воображаемые "переходы" между сайтами вы делаете сидя в этой клетке. Вам показывают яркие баннеры, на ваше лицо смотрит камера. Ваши данные архивируются и изучаются, тестируются различные методы, разрабатываются новые технологии. Что-то узнать о деятельности заботливых людей в белых халатах трудновато.
Хотя, вспоминается анекдот от Никулина:
Сидят две собаки в клетке у Павлова. Загорается зелёная лампа, раздаётся звонок. Одна собака у другой спрашивает:
- Ты что облизываешься?
- Да, сейчас эти люди, которые на лампу реагируют, нам пожрать принесут.
🔥7😁41😢1
This media is not supported in your browser
VIEW IN TELEGRAM
Без комментариев: Дрон атаковал робопулемёт.
1🔥1😈1
Тыкс, 49млрд руб на 7 лет. Что-то наверное должно получиться.
👍3🔥1🤣1
Ну всё. По слухам, в Ланцет таки вкрутили нейронку. Летит 120 км, на месте наводится сам. И типа они между собой sms ятся самостоятельно. В принципе, советские противокорабельные ракеты что-то такое умели, но когда я разбирал эту тему, пришёл к выводу, что там были очень простые алгоритмы. Корабль на фоне воды очень контрастная цель.
👍3🤔1🤯1
Про DaRWiN. У меня тут чуть не возникла депрессия, что я за две нелели почти ничего не сделал. Заглянул в блокнот и обнаружил, что я полностью переработал staging/stash/working copy (очень горд результатом) и систему команд (тоже очень, но надо попробовать на практике).
Сейчас это всё нужно закодить, но я видимо возьму паузу в неделю, т.к. замучился. Попишу доки, порисую схемы.
👍9👀1
Человек считает на бумажке "managed vs свои сервера". Вывод: The team it takes to run our scale of operations in the cloud wasn't any less than what it takes to run that same scale on our own hardware (а managed на порядок дороже чем свои железки).
У меня похожий опыт, но я фаззил, это трудно виртуализировать, там 100% CPU жрётся. В целом я сышал от кое-кого из известных коллег, что начиная с x серверов, облако теряет смысл. Правда, этот кое-кто теперь облаком и торгует :) С этой стороны если зайти, то все числа наоборот переворачиваются :)
1👍1🤔1
Немцы прослушивали траффик серверов jabber.ru на площадке Hetzner, довольно топорным образом и смешно спалились.
🤯2🔥1
Более подробный разбор инцидента с jabber.ru, способов атаки и путей защиты. Автор сам писал интернет стандарты по именно этой теме, т.е. очень компетентен. Выводы: DNS/TLS инфраструктура, даже если не добавлять сюда CDN, весьма и весьма дырява и чтобы знать про (почти) все дырки, нужно быть первоклассным экспертом. Почему так? Просто потому, что интернет протоколы разрабатывались в более спокойную эпоху, когда про такие моменты думали мало. Также, в процессе разработки и внедрения всё это обросло тучей дополнительных механизмов. Они с одной стороны немного защищают (как логгирование сертификатов, например), с другой стороны опциональны, тоже дырявы, и прикручены как пришлось (afterthought).
И это всё про атаки MitM. А там вообще-то был физический доступ к оборудованию у хостера. Большое окно возможностей, так можно и менее явные вещи делать, вообще не трогая пакеты в сети.
👍41
Интернет станет оружием массового поражения когда LLM научатся сводить людей с ума. Мне кажется, это вполне достижимо.
👏3😁1💯1