https://www.theatlantic.com/technology/archive/2017/10/the-computer-that-predicted-the-us-would-win-the-vietnam-war/542046/
Отличный текст о бигдате и как она впервые зафейлила целую войну.
Отличный текст о бигдате и как она впервые зафейлила целую войну.
The Atlantic
The Computer That Predicted the U.S. Would Win the Vietnam War
A cautionary tale about the dangers of big data
В России существует бумажная ИТ-пресса. Смысл её существования не очень понятен. По большей части тамошние интервью и статьи выглядят проплаченной заказухой. Пишут не о программировании, а в основном о менеджменте и технике. Плюс перепечатывают пресс-релизы российских ИТ-фирм и называют это Новости компаний.
Если вы читали хабр, то ит-пресса — это нечто абсолютно перпендикулярное ему. Там нет статей про новые технологии, про изменения в API твитера или новый фреймворк фейсбука. Целевая аудитория — не технари, а, скорее, менеджеры, причём не обязательно в ИТ-компаниях. Обычные темы: документооборот, серверное и сетевое оборудование, взаимоотношения ИТ с властью и государством, безопасность. Короче, любые темы, пересекающиеся с ИТ и бизнесом. Куча людей (программистов) даже не подозревает, что в РФ существует огромный слой компаний, не пишущих по два фреймворка в год, а зарабатывающих решением проблем других компаний.
Вот самые известные:
* IT Week (это бывший PCweek/RE)
* CRN ИТ бизнес
* it expert
* IT-Manager
* IT news
Последние годы сильно проредили рынок бумажной ИТ-прессы, а дальше будет ещё хуже, формат откровенно не выживает.
Если вы читали хабр, то ит-пресса — это нечто абсолютно перпендикулярное ему. Там нет статей про новые технологии, про изменения в API твитера или новый фреймворк фейсбука. Целевая аудитория — не технари, а, скорее, менеджеры, причём не обязательно в ИТ-компаниях. Обычные темы: документооборот, серверное и сетевое оборудование, взаимоотношения ИТ с властью и государством, безопасность. Короче, любые темы, пересекающиеся с ИТ и бизнесом. Куча людей (программистов) даже не подозревает, что в РФ существует огромный слой компаний, не пишущих по два фреймворка в год, а зарабатывающих решением проблем других компаний.
Вот самые известные:
* IT Week (это бывший PCweek/RE)
* CRN ИТ бизнес
* it expert
* IT-Manager
* IT news
Последние годы сильно проредили рынок бумажной ИТ-прессы, а дальше будет ещё хуже, формат откровенно не выживает.
В макосном терминале поддерживаются так называемые Emacs-style хоткеи для редактирования текста, например, сочетание
Установить их можно такой командой в терминале:
Ещё один момент, который почему-то отсутвует в официальных доках. В терминале существует дополнительный текстовый буфер, в который помещается удалённый при помощи хоткеев текст (
Также в этом фиксе я добавил несколько хоткеев, которые в системе реализованы, но почему-то не выведены в документацию, например,
Control-A перемещает курсор в начало строки, а Control-E в конец, на сайте apple эти хоткеи описаны в разделе Edit a command line, однако с ними есть проблема — они не работают в русской раскладке. Несколько лет назад я с этим вопросом разобрался и написал своеобразный фикс, который добавляет в таблицу хоткеев их же, но в русской раскладке. Всё это применимо только для PC-варианта раскладки!Установить их можно такой командой в терминале:
curl 'https://raw.githubusercontent.com/sigsergv/dotfiles/master/mac/russian-shortcuts/dist-install.sh' -o /tmp/k-dist-install.sh && bash /tmp/k-dist-install.shПосле чего терминал перезапустить и всё заработает.
Ещё один момент, который почему-то отсутвует в официальных доках. В терминале существует дополнительный текстовый буфер, в который помещается удалённый при помощи хоткеев текст (
Control-K, Control-U). И этот текст можно в любой момент вставить обратно хоткеем Control-Y.Также в этом фиксе я добавил несколько хоткеев, которые в системе реализованы, но почему-то не выведены в документацию, например,
Control-T для перестановки текущего и предыдущего символов. Полный список в репозитории.Сначала новость. Как её следует читать: толпа обезьян за два дня написала красивый прототип сервиса, а сми из этого популизма раздули историю.
Что при этом остаётся за кадром: кто и на какие деньги будет заниматься сопровождением и развитием этого сервиса? Вдумайтесь, контракт на четыре года, 16 миллионов евро. Это четыре миллиона в год. Допустим, нам нужно десять человек на продукт (это очень оптимистично), каждый из них получает, допустим, 100 000 евро в год. Это уже миллион. Эти десять человек не только программисты, но ещё и тестировщики и другие инженеры. Нужно ещё оборудование, лицензии, это вполне можно в миллион оценить. Остаётся два миллиона в год чистой прибыли, скорее даже меньше. Не там уж и фантастически много.
Теперь вернёмся к этой поделке. Её программисты «подарили», круто. А что дальше? Кто будет с этим подарком разбираться и на какие деньги? Кто вообще занимался приёмкой в эксплуатацию? На выходных — никто. То есть эта система написана почти наверняка совершенно безграмотно с точки зрения государства и теперь её придётся либо выбросить, либо влить кучу бабла, чтобы довести до рабочего состояния.
Что при этом остаётся за кадром: кто и на какие деньги будет заниматься сопровождением и развитием этого сервиса? Вдумайтесь, контракт на четыре года, 16 миллионов евро. Это четыре миллиона в год. Допустим, нам нужно десять человек на продукт (это очень оптимистично), каждый из них получает, допустим, 100 000 евро в год. Это уже миллион. Эти десять человек не только программисты, но ещё и тестировщики и другие инженеры. Нужно ещё оборудование, лицензии, это вполне можно в миллион оценить. Остаётся два миллиона в год чистой прибыли, скорее даже меньше. Не там уж и фантастически много.
Теперь вернёмся к этой поделке. Её программисты «подарили», круто. А что дальше? Кто будет с этим подарком разбираться и на какие деньги? Кто вообще занимался приёмкой в эксплуатацию? На выходных — никто. То есть эта система написана почти наверняка совершенно безграмотно с точки зрения государства и теперь её придётся либо выбросить, либо влить кучу бабла, чтобы довести до рабочего состояния.
Телеканал Дождь
Чешские программисты за два дня бесплатно создали сервис, на который министр хотел потратить 16 млн евро. Его уволили
Программисты из Чехии бесплатно создали государственный сервис, на который министерство транспорта хотело потратить более 400 миллионов чешских крон (около 16 миллионов евро). На его разработку ушло два дня, и программисты решили его подарить. После этого…
Как тратятся деньги у американских военных.
На программу самолёта F-35 уже потрачено почти 500 миллиардов долларов. Ежегодная оценка проекта выявила кучу дефектов, включая неспособную стрелять прямо пушку и 873 бага в софте.
К сентябрю было выпущено 490 самолётов, на которых работает шесть разных версий ПО, а теперь выходит ещё одна. И ещё куча проблем, но статья заинтересовала не этим в первую очередь. Самое интересное — это принципиальная открытость процесса и публикация результатов. Это очень круто.
На программу самолёта F-35 уже потрачено почти 500 миллиардов долларов. Ежегодная оценка проекта выявила кучу дефектов, включая неспособную стрелять прямо пушку и 873 бага в софте.
К сентябрю было выпущено 490 самолётов, на которых работает шесть разных версий ПО, а теперь выходит ещё одна. И ещё куча проблем, но статья заинтересовала не этим в первую очередь. Самое интересное — это принципиальная открытость процесса и публикация результатов. Это очень круто.
Bloomberg.com
F-35’s Gun That Can’t Shoot Straight Adds to Its Roster of Flaws
Add a gun that can’t shoot straight to the problems that dog Lockheed Martin Corp.’s $428 billion F-35 program, including more than 800 software flaws.
Думаю, все уже слышали, что в Valve (которая steam) действует «плоская» схема сотрудников, без менеджеров. Про неё очень много прекрасно рассказывали, но реальность отрезвляет.
Общая статья о врождённых проблемах псевдо-плоской системы.
И подробный рассказ сотрудника изнутри Valve, как это работает на самом деле.
Всё сводится к тому, что наделённые властью люди таки есть, но они свой статус проявляют только тогда, когда нужно уйти от ответственности. Формально считается, что все равны, однако бо́льшая часть сотрудников равнее.
Общая статья о врождённых проблемах псевдо-плоской системы.
И подробный рассказ сотрудника изнутри Valve, как это работает на самом деле.
Всё сводится к тому, что наделённые властью люди таки есть, но они свой статус проявляют только тогда, когда нужно уйти от ответственности. Формально считается, что все равны, однако бо́льшая часть сотрудников равнее.
Есть такая байка про микрософт времён Балмера. Гении менеджмента придумали эффективную схему stack ranking, это когда раз в год все сотрудники отдела выстраиваются по рейтингу эффективности и 10% самых отстающих увольняют.
Нетрудно догадаться, как эта схема была взломана: отделы специально нанимали заведомо слабых людей, чтобы в конце срока уволили именно их.
Нетрудно догадаться, как эта схема была взломана: отделы специально нанимали заведомо слабых людей, чтобы в конце срока уволили именно их.
В продолжение драмы с «чешскими программистами». Вот краткая выдержка, что именно покрывал контракт на 400 млн крон (16 млн евро) на четыре года:
* создание электронной системы управления разрешениями на проезд;
* веб-сайт/портал для пользователей, где они будут покупать разрешения;
* центр телефонной поддержки на трёх языках: чешском, немецком и английском;
* мобильное приложение;
* различные сервисы юридического и бухгалтерского сопровождения;
* процессинг бумажных разрешений;
* служба разрешения конфликтов;
* серверное и другое оборудование для работы системы.
Уволенный министр отказался разрывать контракт с нанятой для реализации проекта компанией и его можно понять.
* создание электронной системы управления разрешениями на проезд;
* веб-сайт/портал для пользователей, где они будут покупать разрешения;
* центр телефонной поддержки на трёх языках: чешском, немецком и английском;
* мобильное приложение;
* различные сервисы юридического и бухгалтерского сопровождения;
* процессинг бумажных разрешений;
* служба разрешения конфликтов;
* серверное и другое оборудование для работы системы.
Уволенный министр отказался разрывать контракт с нанятой для реализации проекта компанией и его можно понять.
Настоящий годный хороший тестировщик — это не тот, кто может сломать, а тот, кто может подробно описать, как сломал. Хороший тестировщик со временем становится лучшим специалистом по проекту.
Вот вроде бы просто, взять и написано, но этот навык встречается редко, а специально ему нигде толком не учат.
Вот вроде бы просто, взять и написано, но этот навык встречается редко, а специально ему нигде толком не учат.
#чешскиепрограммисты
История продолжает раскручиваться. Сайт novinky.cz сообщает, что свеженаписанный макаками ресурс уже был взломан и данные примерно 200-300 людей были слиты.
IT-специалист Ondřej Bárta одним из первых обнаружил уязвимость и рассказал, что сайт совсем не тестировали, бо́льшая часть методов вообще не реализована, в коде мешанина чешских и английских имён, что показывает несогласованность действий участников. «Я понимаю, что это за выходные написали, но есть же какие-то основы», отметил Ondřej.
История продолжает раскручиваться. Сайт novinky.cz сообщает, что свеженаписанный макаками ресурс уже был взломан и данные примерно 200-300 людей были слиты.
IT-специалист Ondřej Bárta одним из первых обнаружил уязвимость и рассказал, что сайт совсем не тестировали, бо́льшая часть методов вообще не реализована, в коде мешанина чешских и английских имён, что показывает несогласованность действий участников. «Я понимаю, что это за выходные написали, но есть же какие-то основы», отметил Ondřej.
www.novinky.cz
Z e-shopu na dálniční známky unikla data lidí. Hackeři neustále útočí, řekl Vondráček - Novinky.cz
Pouhý víkend stačil na to, aby parta nadšených programátorů zadarmo vytvořila e-shop na dálniční známky, za který chtěl stát utratit přes 400 milionů korun. Společnost Actum, která víkendový hackathon pořádala, už však musela řešit únik dat uživatelů a řadu…
Почему блокчейн в государстве — это пиар и лажа.
Начнём с базовых вещей. Упрощённо блокчейн — это цепочка блоков данных, каждый из которых подписан предыдущим. Таким образом, из всей цепочки блоков невозможно убрать или добавить элементы, так как все последующие блоки станут непроверяемыми.
Теоретически, блокчейн идеально подходит для ведения реестра операций, он гарантирует, что запись, положенная в цепочку эндцать моментов назад, останется там навсегда. Это может быть, например, операции с недвижимостью. И вот тут ключевая проблема для реального государства: невозможность поменять историю делает весь продукт полностью бесполезным, а менять историю государство захочет обязательно. Поэтому все разговоры о «государственном блокчейне» нужно понимать упрощённо: это не блокчейн.
Начнём с базовых вещей. Упрощённо блокчейн — это цепочка блоков данных, каждый из которых подписан предыдущим. Таким образом, из всей цепочки блоков невозможно убрать или добавить элементы, так как все последующие блоки станут непроверяемыми.
Теоретически, блокчейн идеально подходит для ведения реестра операций, он гарантирует, что запись, положенная в цепочку эндцать моментов назад, останется там навсегда. Это может быть, например, операции с недвижимостью. И вот тут ключевая проблема для реального государства: невозможность поменять историю делает весь продукт полностью бесполезным, а менять историю государство захочет обязательно. Поэтому все разговоры о «государственном блокчейне» нужно понимать упрощённо: это не блокчейн.
Когда-то очень-очень давно я выбирал, какой софт использовать для собственного блога. Выбор был в принципе не очень широкий: WordPress и всё. Смотрел на разные варианты в виде статических страниц с динамически подгружаемым комментариями со сторонних сервисов, но там было опасение, что сервисы не проживут долго (это подтвердилось). В итоге решил сам написать простейший движок для собственных нужд, за пару недель сделал и до сих пор вполне нормально работает. 100% под собственные хотелки! Но это так, предисловие.
Первый и самый главный компонент, который я реализовал — это бэкап и восстановление. Вот реально, это самый важный компонент любой системы, который нужно реализовать сразу, он спасёт вас от поломки сервера, от проблем с миграцией, от проблем с апгрейдом.
Теперь после 10+ лет я понимаю, что не хватает ещё одной системы, которую также нужно было прикручивать сразу — полное и всеобъемлющее логирование. Для персонального сайта это не так важно, но для коммерческой системы абсолютно необходимо. Во-первых, владельцы очень любят логи. Во-вторых, это единственный работающий механизм разбора полётов в случае человеческого фейла. Естественно, под фразой «система логирования» я подразумеваю не только сбор, но ещё и качественный просмотр, поиск и анализ логов.
Реализовать эти компоненты на стартовом этапе развития проекта достаточно легко, позднее это станет гораздо сложнее, а потребность в них появится 100%.
Первый и самый главный компонент, который я реализовал — это бэкап и восстановление. Вот реально, это самый важный компонент любой системы, который нужно реализовать сразу, он спасёт вас от поломки сервера, от проблем с миграцией, от проблем с апгрейдом.
Теперь после 10+ лет я понимаю, что не хватает ещё одной системы, которую также нужно было прикручивать сразу — полное и всеобъемлющее логирование. Для персонального сайта это не так важно, но для коммерческой системы абсолютно необходимо. Во-первых, владельцы очень любят логи. Во-вторых, это единственный работающий механизм разбора полётов в случае человеческого фейла. Естественно, под фразой «система логирования» я подразумеваю не только сбор, но ещё и качественный просмотр, поиск и анализ логов.
Реализовать эти компоненты на стартовом этапе развития проекта достаточно легко, позднее это станет гораздо сложнее, а потребность в них появится 100%.
При изучении любого сложного подхода по книгам возникает одна и та же проблема: А как проверить, что действительно понял написанное? Хорошо, если есть проверочные упражнения, но и они не дают полной гарантии. И что вообще означает правильное понимание? Полное совпадение по мыслям с автором? Но автор мог ошибиться.
В итоге получается, что какое-то количество прочитавших понимает неправильно, но вполне успешно (по их собственным критериям) подход применяет.
В итоге получается, что какое-то количество прочитавших понимает неправильно, но вполне успешно (по их собственным критериям) подход применяет.
Проект может быть либо завершён, либо нет. «Функционирующий прототип» не означает вообще ничего, его реализация может занять две недели, а потом два года потребуется на «завершение работы». Исключение тут только одно есть: изготовитель чётко следуют отлаженным процессам и у него в «предметном словаре» (domain vocabulary) есть понятие «функционирующий прототип». При этом наблюдатель должен быть знаком с этим словарём и процессами, чтобы верно всё оценивать.
К сожалению, почти всегда понятие «прототип» относится к области маркетинга, чем к предметной части проекта.
К сожалению, почти всегда понятие «прототип» относится к области маркетинга, чем к предметной части проекта.
Когда учился в аспирантуре, изучал модный в то время Semantic Web, кандидаты фанбойных наук всерьёз считали, что за этим будущее. Но уже было понятно, что в таком виде и в такой предметной области (то есть в вебе) это не выживет.
Сначала коротко, что вообще такое — этот semantic web. Если коротко, то финальная цель — машиночитаемые максимально подробные метаданные у всех документов в интернете, включая картинки, фотографии, веб-сайты, просто файлы, вообще всё, короче, слово документ тут нужно понимать в широком смысле. Машиночитаемые метаданные — это данные о документе: автор, дата создания, история редактирования, контекст. В общем, максимально подробно записанные в стандартном виде данные о содержимом. Примеры: EXIF для фотографий, ID3TAG для mp3, описания word/pdf/xls документов (title, author, description итп).
Ключевых проблем было две.
Во-первых, пользователи не будут никогда заполнять метаданные так, чтобы им можно было автоматически доверять. Можете вспомнить, какой хаос творится в ID3-тегах в мптришечках из интернета, или что записано в поле author почти любого pdf/doc файла.
А во-вторых, уже тогда стало понятно, что главными распространителями документов постепенно становятся корпорации, а не люди, а корпорации очень не любят машиночитаемые метаданные в отдаваемых ими документах (картинках, веб-страницах итп). Ведь машиночитаемые метаданные, по которым можно проводить категоризацию, являются отличным подарком конкурентам, которые могут перетащить документы себе. Или являются подарком другим компаниям, которые организуют свою инфраструктуру для обработки документов, минуя предоставляемую корпорацией.
При этом в теории лежащие в основе semantic web идеи очень толковые и полезные, кандидаты фанбойных наук в творческом угаре насоздавали очень много очень толковых концепций, технологий и программ: RDF, OWL, RIF. И позднее применение этим вещам нашлось в корпорациях и системной инженерии, где на их основе стали городить умные онтологические штуки, но, к великому сожалению, закрытые от широкой публики.
Сначала коротко, что вообще такое — этот semantic web. Если коротко, то финальная цель — машиночитаемые максимально подробные метаданные у всех документов в интернете, включая картинки, фотографии, веб-сайты, просто файлы, вообще всё, короче, слово документ тут нужно понимать в широком смысле. Машиночитаемые метаданные — это данные о документе: автор, дата создания, история редактирования, контекст. В общем, максимально подробно записанные в стандартном виде данные о содержимом. Примеры: EXIF для фотографий, ID3TAG для mp3, описания word/pdf/xls документов (title, author, description итп).
Ключевых проблем было две.
Во-первых, пользователи не будут никогда заполнять метаданные так, чтобы им можно было автоматически доверять. Можете вспомнить, какой хаос творится в ID3-тегах в мптришечках из интернета, или что записано в поле author почти любого pdf/doc файла.
А во-вторых, уже тогда стало понятно, что главными распространителями документов постепенно становятся корпорации, а не люди, а корпорации очень не любят машиночитаемые метаданные в отдаваемых ими документах (картинках, веб-страницах итп). Ведь машиночитаемые метаданные, по которым можно проводить категоризацию, являются отличным подарком конкурентам, которые могут перетащить документы себе. Или являются подарком другим компаниям, которые организуют свою инфраструктуру для обработки документов, минуя предоставляемую корпорацией.
При этом в теории лежащие в основе semantic web идеи очень толковые и полезные, кандидаты фанбойных наук в творческом угаре насоздавали очень много очень толковых концепций, технологий и программ: RDF, OWL, RIF. И позднее применение этим вещам нашлось в корпорациях и системной инженерии, где на их основе стали городить умные онтологические штуки, но, к великому сожалению, закрытые от широкой публики.
И ещё прекрасная история:
I used to work for a mapping & navigation company that offered a traffic API service. It worked by using anonymized cell phone data to predict traffic patterns. I once heard a story that during peak hour, every five minutes or so the jams on a highway would magically disappear then reappear. After some head scratching, turns out there is a train track inbetween the lanes of the highway full of high speed commuters that would cancel out the stationary car commuters.
Перевод: Я работал в картографической компании, которая предлагала API для просмотра дорожного трафика. Сервис анализировал анонимизированные данные сотовых операторов, чтобы предсказать паттерны трафика. И однажды услышал историю, как в час пик каждые пять минут или около того заторы на магистрали волшебным образом исчезали, а затем снова появлялись. Разгадка этой головоломки оказалась в рельсах между полосами магистрали, по которым на высокой скорости ехала электричка со смартфонами, а вокруг стояли в пробке другие смартфоны.
I used to work for a mapping & navigation company that offered a traffic API service. It worked by using anonymized cell phone data to predict traffic patterns. I once heard a story that during peak hour, every five minutes or so the jams on a highway would magically disappear then reappear. After some head scratching, turns out there is a train track inbetween the lanes of the highway full of high speed commuters that would cancel out the stationary car commuters.
Перевод: Я работал в картографической компании, которая предлагала API для просмотра дорожного трафика. Сервис анализировал анонимизированные данные сотовых операторов, чтобы предсказать паттерны трафика. И однажды услышал историю, как в час пик каждые пять минут или около того заторы на магистрали волшебным образом исчезали, а затем снова появлялись. Разгадка этой головоломки оказалась в рельсах между полосами магистрали, по которым на высокой скорости ехала электричка со смартфонами, а вокруг стояли в пробке другие смартфоны.
Американские власти тоже хотят защитить детей. Единственное средство — запретить end-to-end шифрование.
https://www.theverge.com/2020/1/31/21116788/earn-it-act-section-230-lindsey-graham-draft-bill-encryption
https://www.theverge.com/2020/1/31/21116788/earn-it-act-section-230-lindsey-graham-draft-bill-encryption
The Verge
A new bill could punish web platforms for using end-to-end encryption
Draft amendment adds new rules for policing child abuse
Forwarded from на нашей фабричке...
Суда по графикам - эпидемии не допустили. Рост новых подозрений на вирус остановился. Значит через несколько дней развернётся число заболевших, еще через одну-две недели пойдёт вниз смертность. Будем надеятся.
Первоначальная паника среди простого народа понемногу утихает, и скоро их пропаганда начнёт качать "великий подвиг китайского народа, спасшего мир от смертельного вируса". И под это дело протащат ещё большую диктатуру. Потому что только диктатура может так эффективно закрывать мегаполисы, так быстро строить госпитали и так хорошо мобилизовывать ресурсы.
А экономические потери компенсируют ударным трудом и сокращением праздников в мае и октябре. И ослаблением юаня.
-конец блока диванной экспертизы-
Первоначальная паника среди простого народа понемногу утихает, и скоро их пропаганда начнёт качать "великий подвиг китайского народа, спасшего мир от смертельного вируса". И под это дело протащат ещё большую диктатуру. Потому что только диктатура может так эффективно закрывать мегаполисы, так быстро строить госпитали и так хорошо мобилизовывать ресурсы.
А экономические потери компенсируют ударным трудом и сокращением праздников в мае и октябре. И ослаблением юаня.
-конец блока диванной экспертизы-