Boris Burkov
995 subscribers
708 photos
33 videos
2 files
804 links
Download Telegram
Узнал от Богдана (https://t.iss.one/biolapki) и Егора (https://t.iss.one/lowlyingscience) интересную новость.

Как вы знаете, Machine Learning имеет дурную славу в биоинформатике, потому что масса людей безграмотно им пользуется и большинство биоинфовых статей про ML содержат ошибки.

И вот, пару дней назад Google AI, MIT и химфак Кембриджа опубликовали статью, заявляющую, что они порвали в клочья старые программы Blast и HMMER в предсказании функции белков - их нейронка ProtCNN, якобы, в 200 раз быстрее и в 9 раз точнее, чем бласт с хаммером: https://www.biorxiv.org/content/biorxiv/early/2019/05/04/626507.full.pdf

Все бы хорошо, но вскоре на новость среагировали автор хаммера Шон Эдди (гарвардский профессор, популяризовавший применение HMM в биоинформатике в начале 00-ых, https://cryptogenomicon.org/) и специалист по фолдингу белков Мухаммед АльКраиши (fellow из Harvard Medical School, https://moalquraishi.wordpress.com/about/).

Шон имеет славу старого ворчуна, любящего побранить кого-нибудь за ошибки в публикации и скептически относящегося ко всему, что сделал не он. Какое-то время назад ему предрекли, что его карьере и его хаммеру хана, потому что нейронки победили HMM в синтезе и распознавании речи (откуда он перенес их в биоинформатику), а значит, должны порвать их и в биоинформатике.

Так что Шон немедленно прочитал эту публикацию и начал защищать свое детище, заявив, что авторы статьи проврались в своей оценке скорости хаммера как минимум в 100 раз. Кроме того, Шону не нравится, как были разделены данные.

И все же со всеми этими оговорками, самые обычные ResNet из коробки предельно близко подобрались к state of the art биоинформатическому софту, который люди писали десятилетиями, так что вся биоинформатика нулевых сейчас - под боем.

Как вы знаете, я пока еще работаю в отделе Proteins & Protein Families в EMBL-EBI под Кембриджем. В частности, этот отдел поддерживает веб-сервисы HMMER, BLAST, Pfam, Metagenomics/MGnify и InterPro, которые используются в этой статье.

Я искренне не понимаю, почему я узнаю об этой и подобных ей работах не от коллег, которым положено бы интересоваться такими вопросами по долгу службы, а от замечательных российских студентов-технарей, в то время, как коллеги преимущественно озабочены безглютеновыми печеньками, веломарафонами и последними киноновинками от Марвел, а новости про нейронки встречают с кислыми минами или раздражением.

Преимущественно по этой причине данные коллеги через неделю станут бывшими.
Forwarded from нс (Egor)
Forwarded from нс (Egor)
Небольшое дополнение к прошлому посту: за неделю до этой статьи Гугла, знаменитый отдел Facebook AI Research (FAIR) выпустил примерно такую же статью, где примерно так же заявил, что порвал всех биоинформатиков: https://www.biorxiv.org/content/10.1101/622803v1.

Похоже, что и Google, и Facebook неправильно подготовили разбивку данных на выборки test и train, и, по сути, тренируются на тестовых данных. То есть, если в test и train встречаются последовательности с уровнем сходства 90%, то это, по сути, одна и та же последовательность, и их нейронка люто переобучается.

Так что урок машинистам на будущее: перед публикацией сенсационных результатов применения AI research к "чужой" области, все-таки нужно найти одного хорошего предметчика и с ним посоветоваться, чтобы не допускать детских ошибок. Как, например, поступили DeepMind, консультировавшиеся в работе над AlphaFold с Дэвидом Джонсом (https://www0.cs.ucl.ac.uk/staff/D.Jones/).

А я очень рад, что у нас в отделе все-таки нашелся умненький испанский аспирант Алейш, которого данные вопросы заинтересовали, и с которым мы смогли поковырять статьи.

Вообще, сервисные отделы EBI и научные отделы EBI - это "две большие разницы". Через научные отделы зачастую проходят восхитительные люди, а вот в сервисных все достаточно печально за несколькими приятными исключениями.
Вдогонку 9 мая: одна жизнь на две семьи

Несколько месяцев назад из Лондона приезжала с лекцией Эва Шлосс (урожденная Гейрингер, https://en.wikipedia.org/wiki/Eva_Schloss), сводная сестра Анны Франк (https://en.wikipedia.org/wiki/Anne_Frank). Трагическим образом война сплавила столь похожие между собой семьи Франк и Гейрингер воедино.

Анна Франк (младшая дочь Отто и Эдит Франков) и Эва Гейрингер (младшая дочь Эриха и Эльфриды Гейрингер) были ровесницами и жили в Амстердаме. У Анны была старшая сестра Марго, а у Эвы - старший брат Хайнц, тоже ровесники.

В войну город был оккупирован немцами. Когда в 1942 году обеим семьям пришли повестки явиться в гестапо для отправки в концентрационный лагерь, они предпочли уйти в подполье и укрыться в домах соседей-голландцев. Обеим семьям удавалось скрываться 2 года до 1944, в течение этих 2 лет Анна Франк вела свой дневник, но затем их вычислили. Семью Анны арестовали по анонимному доносу, семью Эвы предала медсестра, оказавшаяся двойным агентом.

Гейрингеры и Франки были отправлены в Освенцим. Там несмотря на тяжелейшие условия им удавалось продержаться до весны 1945 года. Франков разделили, и в начале 1945 погибла Эдит, а позднее - Марго и Анна.

В случае Анны, возможно, сработал тот самый феномен веры в счастье, который описывал психолог Виктор Франкл (https://en.wikipedia.org/wiki/Viktor_Frankl). Он выжил в Освенциме потому, что надеялся, что встретится после войны с (давно умершей к тому моменту) женой. Он пишет, что когда узник терял надежду, то переставал бороться, и тогда все в их бараке понимали: этот следующий. Так, по воспоминаниям подруг, и случилось с Анной Франк: она поверила, что вся ее семья погибла, утратила мотивацию бороться и умерла. Ее подруги считали, что знай она, что Отто жив, она смогла бы продержаться.

Эва и Эльфрида Гейрингер были освобождены из Освенцима 9 января 1945 года, но Эрих и Хайнц Гейрингеры буквально за несколько дней до этого попали в Марш Смерти (https://en.wikipedia.org/wiki/Death_marches_(Holocaust)) и погибли. Старший брат Эвы Хайнц был художником, и когда он впервые чуть не погиб в возрасте 14 лет, он больше всего боялся быть совершенно забытым. Бессметрие он видел в памяти живых людей о нем. Его чудесное спасение в тот первый раз и их разговоры с отцом о смерти и смысле жизни до сих пор заставляют голос Эвы дрожать.

После окончания войны Цвай Шлосс предложил Эве стать его женой и переехать в Лондон. Та отказала, потому что не могла оставить в одиночестве мать в Амстердаме. Эва пришла к Отто Франку, чтобы посоветоваться. Тот подумал и сказал, что ей не стоит отказывать молодому человеку, поскольку он, Отто, собирается жениться на ее матери, Эльфриде. Так семьи Франк и Гейрингер оказались одной семьей. Эва говорит, что чувствует в дневнике Анны Франк сильнейшее влияние гуманистического воспитания Отто.

Больше всего в рассказе Эвы мне запомнилась ее обида на беспринципность окружающего мира. Она говорит, что они были уверены, что как только о том, что с ними происходит, узнают в Англии, Америке и России, им придут на помощь, ведь знать о таком и ничего не делать было нельзя. Оказалось, еще как можно. Каждая страна надеялась, что Гитлер пойдет войной не на нее, а на ее соперников, поэтому вступать с ним в конфронтацию и осудить холокост никто не спешил.

А после войны они в Англии оказались очень неудобны всем со своими воспоминаниями - все старались поскорее забыть про войну в духе "проехали". Дневник Анны Франк был к 1950-ому переведен на английский дважды, но не изадавался. До 1970-ых годов никто их не хотел слушать, и только тогда их историей заинтересовались. Возмущение цинизмом мирового сообщества, которое могло и должно было их защитить, но палец об палец не ударило, кажется, и сегодня приводит 90-летнюю Эву в ярость.

Эва отметила, что отношение к евреям во всем мире сегодня нормализовалось, и даже в путинской России антисемитские настроения на минимуме, а критикуемая Западом путинская администрация вполне лояльно относится к еврейским организациям. А вот австрийцы не признают своей вины в организации холокоста.
👍4😁1
Первый день на новой работе.

Сижу-оформляю бумажки у кадровиков, вспоминаю прошедший датафест.

Справа парень-контрактник настраивает Дженкинс.

Слева проходит Воронцов по своим воронцовским делам.

Я улыбаюсь во всю морду и провожаю его взглядом, пытаясь понять, не обознался ли.

Воронцов видит мою счастливую ряху, несколько стеснённо, но не без удовольствия, как мне кажется, отворачивается. Не удивился бы, если бы он подошёл и поинтересовался в духе Януса Полуэктовича: "Не разговаривали ли мы с вами вчера?"

Вижу его снова по дороге на обед - не, не обознался.

"А жизнь-то налаживается..."
Сбер

Я знал, что я иду в сильную датасайнтистскую команду топовых технарей и математиков, но вы же помните всякие статьи на Хабре и пренебрежительные реплики в адрес банков вообще и Сбера в частности от знакомых. Так что я думал, что моя команда будет скорее лучом света в темном царстве. Кто бы мог подумать, что все окажется (тьфу-тьфу) настолько лучше, чем я предполагал.

Во-первых, меня поражает корпоративная культура.

Все друг с другом на "ты", удивительно открыты и конструктивны, я пока наблюдал лишь полтора случая turf wars (и затеявшие их об этом, похоже, пожалеют), спокойно позволяют себе легкую критику снизу или колкие фразочки (скажи я хоть одну такую в EBI, я остался бы врагом народа на всю жизнь - и это не потому что фразочки такие колкие, а потому что английские биоинформатики - крайне ранимые натуры).

Не сказать, чтобы уж прям все сотрудники были фанатами (хотя многие ребята-программисты с удовольствием копаются в коде или делают науку по вечерам), но большинство людей, с кем я общался, отличаются здоровым идеализмом, ничуть не меньшим, чем какие-нибудь ученые. В том смысле, что в первую очередь, понятно, всем хочется зарабатывать нормальные деньги, но при этом просто сидеть и получать зарплату ничего не производя никому не интересно. Интересно создавать, делать масштабные проекты, автоматизировать работу людей и экономить миллионы и миллиарды.

Автоматизация. Здесь все повернуто на автоматизации. Все рубят косты, все отслеживают внутренние процессы и ищут, что бы еще в них ускорить с помощью последних технологий.

Огромное количество менеджеров в Сбере - технари по образованию (обычно 30-40-летние выпускники технических ВУЗов, в т.ч. мехмата, вмк, физтеха, постдоки Вышки), которые прекрасно разобрались в бизнесе и при этом следят за технологиями. Они одновременно и являются бизнес-заказчиками, и понимают, как сделать продукт. Этим людям есть что сказать, их интересно послушать. На любом докладе можно услышать вопросы от бизнесовых вроде того, что нужно по-другому минимизировать churn rate, до самых низкоуровневых технических вроде "почему R-CNN, а не U-Net или YOLO?" Люди жонглируют смесью питона, скалы, плюсов, пхп, джаваскрипта и шарпов, самыми разнообразными методами машинного обучения, тучей инструментов девопса и тоннами опен-сорс библиотечек.

Особенно забавно про девопс. Когда я спрашивал знакомых о Сбере, я слышал мнение, что Греф слышит о каких-то новинках и начинает их бездумно внедрять. Наверное, можно это трактовать и так: Agile и DevOps вынесены в корпоративной презентации для новоприбывших сотрудников на первое место и, к примеру, для операциониста наверное звучат как перестроечные лозунги вроде Ускорения и Гласности.

Но с другой стороны, мог ли я, бывший девопс, мечтать, что пятое лицо в государстве будет меня заставлять Жирой и Дженкинсом пользоваться? =) Это неожиданно приятно. В EBI я сам всех заставялял вести канбан борд на гитхабе и использовать пайплайны в Дженкинсе для автоматизации любой рутины (за что, опять же, слышал кучу всякого в свой адрес от биологов, которые практически гордятся своим технологическим невежеством, а любую критику воспринимают крайне болезненно), делал первый пилот по развертыванию нашего сайта на OpenShift, который так и остался пилотом, когда уволился очередной облачный инженер, который OpenShift поддерживал. А в Сбере все это закреплено стандартами Арх. Совета и давно уже работает в обязательном порядке. Выходит, EMBL-EBI (организация с 500 сотрудниками, то есть как средний бизнес) умудрилась оказаться неповоротливее, чем гигантский банк с 300,000 сотрудников.

И данные. Такого всеобъемлющего представления об экономике России не имеет, возможно, даже КГБ. Сбер - это фантастическая возможность в тончайших деталях понять мир, в котором мы живем, увидеть тысячи и тысячи жизней людей в цифрах, понять нашу экономику от самых общих принципов до финмодели последней чебуречной. Кто-то любит путешествовать, кто-то - смотреть кино, а для меня это - что-то вроде туризма.

Так что пока я испытываю сдержанный оптимизм и творческий подъем.
👍1
Загадки и упущенные возможности в музыке

Осенью 2017 я уехал в Россию и пропустил в Лондоне концерт моего кумира, одного из величайших композиторов 20-ого века Нобуо Уематсу, посвященный 30-летию серии Final Fantasy. Нобуо присутствовал там лично и отвечал на вопросы зрителей.

Если мое мнение для вас не авторитетно, то сочинения Нобуо стабильно входят в Hall of Fame британского Classic FM (https://halloffame.classicfm.com/2019/) где-то между Ральфом Воан Уильямсом и Джоном Уильямсом, а "Aerith theme" (https://www.youtube.com/watch?v=a3LkKviuGKU) добралась аж до второго места по популярности среди всей классической музыки у британцев - уступив первое несменяемому "Утреннему Жаворонку", разумеется (https://www.youtube.com/watch?v=ZR2JlDnT2l8).

Оказывается, в Лондоне Нобуо разрешил небольшую загадку, ставившую в тупик поклонников более 20 лет (https://www.rpgfan.com/news/2015/3778.html): кто был арранжировщиком, работавшим над Final Fantasy 6 Piano Collections (https://www.youtube.com/watch?v=uunYQnXZrbI)?

Кто-то предполагал, что им был Широ Хамагучи, сделавший блеятящие Piano Collections с 7 по 9. Кто-то думал, что это Широ Сату, арранжировавший 4 и 5 части.

Но оказалось, что это был... ни много, ни мало Широ Сагису, потрясающий композитор, способный потягаться в даре мелодиста и производительности с самим Нобуо! Он же написал симфонический Final Fantasy 6 Grand Finale (https://www.youtube.com/watch?v=yJ8hdwM5h4E). А ведь стиль-то Сагису был довольно узнаваем, можно было бы и распознать.

Сагису в мире аниме сделал почти столько же, сколько Нобуо в мире компьютерных игр или, скажем, Эннио Морриконе или Джон Уильямс в мира кинематографа.

Для сотрудничества двух гениев вышло слабовато. Похоже, альбом выпускали наспех, и добрая половина лучших вещей из Final Fantasy 6 в него не вошла.

Я, было, расстроился упущенной возможности, но потом понял, почему так вышло. Final Fantasy 6 Piano Collections увидели свет в 1994 году, а в 95-96-ом Сагису написал один из главных своих шедевров, красивейший саундтрек Евангелиона: https://www.youtube.com/watch?v=kX9cmyocNNU&list=PLsymDmsUy3c4TOg_DM2Iusx1R1hBc4UVe

Похоже, ему было просто не до чужих magnum opus'ов, ведь он готовил свой собственный.
Forwarded from Толкователь
Доктор физико-математических наук Владимир Фридкин вспоминает про академика Лысенко:
«В начале семидесятых Трофим Денисович стал часто приезжать в «кормушку» (столовая Академии наук) обедать. Разоблачённый, в зените бесславия, он ещё был директором своей станции и в «кормушку» приезжал на чёрной «Чайке». Помню, как, выбирая место, он остановился у соседнего стола, за которым в одиночестве обедал Михаил Владимирович Волькенштейн, физик, работавший с биологами.
— Можно? — спросил Лысенко хриплым голосом, почти присев на стул.
— Нет, нельзя, — спокойно ответил Михаил Владимирович, глядя в сторону.

Так он оказался за моим столом. Не думал я, что увижу живой портрет Лысенко. У него была внешность сельского агронома. Золотая Звезда Героя на мятом лацкане серого пиджака. Голос хриплый, какой-то пропитой. Колючие глаза с прищуром. И недоброй памяти чуб, свисавший до бровей. Только не черный, а коричневый с сединой.
Узнав, что я физик, он почему-то выбрал меня в собеседники. Пока разглядывал меню и писал на листочке заказ, задал первый вопрос:
— А вот нейтрон, он что?
Сначала я не понял, что это вопрос, и растерялся. Потом сообразил, что надо объяснить, что такое нейтрон. Я рассказал про массу, про спин, про отсутствие заряда и даже про нейтронографию.

— Всё вы, физики, мудрствуете. А природа, она как есть... сама по себе. А ты их на зуб пробовал, нейтроны?
— Да что вы, что я, камикадзе, что ли?
— Камикадзе? Грузин? Ты это про кого?
Лысенко говорил мне «ты», видимо, сразу распознав во мне прикреплённого. Разговаривая, Лысенко чавкал, мочил сухарь в борще, залезал в него рукою и доставал чернослив.
— Вот вы всё гены, гены, — продолжал научный разговор академик. — А ты этот ген видел, ты его щупал?!»
BMW заказала известному немецкому кинокомпозитору Хансу Циммеру записать звук двигателя для своих электромобилей. Те движутся практически бесшумно на скоростях до 20 км/ч, что создает опасность для пешеходов. С 1 июля 2019 вступает в силу закон, по которому электромобили должны иметь подзвучку:

https://secretmag.ru/news/khans-cimmer-zapisal-zvuk-motora-dlya-elektromobilei-bmw-29-06-2019.htm

Зная патологическую страть старины Ханса к выкрученным на полную громкость басам, предположу, что теперь на подземных парковках мы каждый день будем слышать что-то подобное:

https://youtu.be/OzLhXesNkCI?t=95

Это еще спасибо, что Джона Уильямса не позвали - а то Болшая Белая БМВ подкрадывалась бы к вам из-за спины, издавая что-то вроде:

https://www.youtube.com/watch?v=E-sX2Y0W8l0
Оказывается, год назад наши инди-разработчики из славной Nival сделали игру про машинное обучение while True: learn():

https://habr.com/ru/post/417107/

Выглядит как шедевр:

https://www.youtube.com/watch?v=l4mvBlQpT7Q

Ваш кот научился на CatOverflow делать машинное обучение лучше Вас (знакомо звучит, не правда ли?) и теперь Вы пытаетесь сделать (cat) Speech2Text, чтобы он и Вас научил.

Жду стрима с ее прохождением на "Биоинформатике и Лапках" (@biolapki).
Я опять переделал блог: https://borisburkov.net/2019-07-13-1/.

Новая версия попроще предыдущей, но, надеюсь, она лучше работает и быстрее грузится.

Использовал движок Gatsby.js, пока что он мне очень нравится, уложился за пару выходных + где-то неделя будних дней по вечерам.

Если встретите какие-то глюки - пишите пожалуйста, постараюсь исправить.
Не так давно прошла новость о том, что Facebook собирается запустить свою криптовалюту Libra.

Я думаю, что этого не допустят, поскольку такое могло бы стать одним из самых важных событий в истории человечества в 21-ом веке, которое совершенно изменило бы распределение власти в мире.

Сейчас миром правят 2 сорта компаний - финансовые гиганты (банки и инвестбанки) и технологические гиганты (в основном, интернет-гиганты вроде Google, Facebook, Amazon и т.п.).

У каждой из этих двух типов империй есть своя "нефть", свой источник незаработанных доходов, на которые они могут скупать умнейших людей в мире и заставлять их работать на себя чтобы строить оборонительные сооружения вокруг своей нефтяной вышки, делать ее эффективнее и расширять свой контроль на смежные рынки.

В случае интернет-компаний такой нефтью являются гигантские доходы от рекламы, отнятые ими у журналистов и присвоенные себе. В случае финансовых компаний - это те 4%, которые они забирают себе, когда вы берете ипотечный кредит на миллион рублей под 10% годовых, а ваша сестра кладет свой миллион рублей на банковский депозит под 6% (плюс, другие подобные услуги вроде эквайринга - платежа карточками в магазинах за комиссию 2% - конверсий между валютами за спред в 2-4% и т.п.).

Финансовые и интернет-компании неизбежно расширяют свои границы на смежные области, и рано или поздно их интересы должны были начать сталкиваться.

Задумайтесь: что мешает Фейсбуку создать собственный банк? С единой валютой без национальных границ, которую не нужно переводить. С peer2peer-кредитованием физлиц и точнейшим кредитным скорингом надежных и ненадежных заемщиков благодаря колоссальному объему данных о нас, которые он имеет (а физики - это, считайте, половина рынка кредитования)? С эквайрингом напрямую через мобильные устройства в обход вообще всей костыльной инфраструктуры кредитных карточек и банковских счетов?

Так вот, единственное, что этому мешает - это сопротивление со стороны государств и верхушек финансовых корпораций, для которых такая валюта представляет экзистенциальную угрозу.

Контроль над финансовыми потоками - это важнейшая составляющая любой власти. Под предлогом борьбы с финансированием терроризма или отмыванием денег всякая государственная власть стремится контролировать финансовые потоки в своей стране. Такой контроль удобнее всего осуществлять через существующую архаичную инфраструктуру банков, за что тем позволяется продолжать жить со своих 4%.

Как только интернет-компании приходят на эту поляну, их атакуют. Когда Навальному в 2012 начинают перечислять пожертвования через Яндекс.Деньги, к Яндексу "приходят" и заставляют отдать Я.Деньги Сберу, чтобы взять их под контроль. PayPal'а нет в России - сотрудники WebMoney невъездные в Америку. Прямые платежи биткойном под запретом везде. Вы не можете купить дом в Англии за доходы от продажи Ripple - такое объяснение происхождения средств не устраивает власти. Даже платежи по карточкам взяты под контроль ФСБ с 2018 (а благодаря этому закону возникают такие компании как Эвотор, которые демонополизируют доступ к этим данных, давая их и Сберу тоже).

Конечно, мелкие финтех-компании вроде LendingClub, Revolut, Monzo, Betterment, WealthFront, Acorns и т.п. атакуют отдельные ниши. Но они слишком малы, чтобы представлять такую же опасность, как криптовалюта от Facebook (или, скажем, Телеграма), которая могла бы перевернуть все.

Так что мои дорогие умники, выбирайте, к какой из нефтяных вышек вы хотите присоединиться. Банки архаичны и неэффективны, но они классово близки национальным правительствам и срослись с ними. Интернетчики же прогрессивны и симпатичны, но слишком опасны для истеблишмента. Пока они не начнут двигать во власть своих представителей (а непохоже, чтобы это происходило), их так и будут бить по рукам палкой.
Коллеги дата-сайнтисты - это еще одна профессия, среди представителей которой бытует заблуждение, что они поймали бога за бороду, и им теперь полагается полцарства. Осилил питон, sql, логрег и fit-predict - требуй не менее 300 тыщ в день!

Недавно их удивило и возмутило, что вилка зарплат лидов-скалистов в Сбере выше, чем лидов-дата-сайнтистов. Пришлось объяснять, почему мои друзья-скалисты в Тинькове (ой, то есть что я говорю, простите, в одном желтом банке) делают по 600 тысяч в месяц после своих гуглов-фейсбуков лет в 28-29.

Представьте, что вы разжились где-то 10-20 миллионами долларов и создаете банк или финтех-стартап вроде Тинькова, Революта или Эвотора. Что вам нужно в центре всей этой махины? Правильно, собственно система платежей.

Когда речь идет о транзакциях, особенно распределенных, парадигма функционального программирования показывает себя во всей красе. В ней особое внимание уделяется такой сущности, как side-effect - под этим тремином понимается любое изменение состояния внешнего мира.

Например, есть у вас программа, которая заказывает кофе. Одна ее часть платит денежку за кофе, другая вычитает из запаса кофе со склада единичку, третья применяет купон на скидку, четрвертая - выдает собственно товар. Каждое такое взаимодействие с внешними системами - side effect. Представьте, что что-то пошло не так, и одна из них не справилась с задачей. Значит надо откатывать изменения во всех. Если в этом коде накосячить, что будет?

Вот. Поэтому люди навыдумывали кучу паттернов дизайна таких систем. Есть ФП с его монадами и запретами на исключения, есть злющая система типов вроде скаловской на основе теории категорий, в которой если твоя программа скомпилировалась, то она скорее всего верна, есть всякие паттерны дизайна таких систем вроде event sourcing, saga и других элементов дизайна микросервисных архитектур; есть куча инструментов вроде Кафки и Акки; есть, наконец, просто куча девопс-инструментов и задач.

Это очень сложная и неимоверно скучная работа. Программисты, делающие ее, обладают во-от такими мозгами и во-о-от такущими яйцами, потому что если что-то случится - им и только им отвечать за результат. А вокруг - дедлайны, кровавый ынтырпрайз, менеджеры у которых все всегда горит и нужно уже вчера...

Как думаете, много таких спецов на рынке? Сколько вы готовы такому заплатить, если вы - Тиньков? А если вы заплатите ему его миллион, то через сколько лет он от вас уйдет, заработав на всю жизнь себе и детям, писать свой опен-сорс или откроет хедж-фонд?

Ну и вы понимаете, что будет, если вы возьмете лидом такой системы какого-нибудь знакомого симпатичного пацанчика-php'шника, который 3 года вроде писал какие-то приложеньки и вроде че-то знает? А в вашей платежной системе совершается 10 миллиардов транзакций в неделю по 100 рублей каждая...

Если этот паренек смерджит в пятницу вечером веточку с багом, благодаря которому деньги из одного места уходят, а в другое - не приходят, и уйдет в поход на выходные, то к утру понедельника будет слит бюджет российской науки до 2040 года.

Этот пример, конечно, надуманный и в реальности прямо такого, конечно, не бывает. Но общую идею, я думаю, вы поняли.
Кстати, братцы-бэкендщики, а кто из вас может поделиться историей "как я просрал деньги пользователей"?
Anonymous Poll
33%
Да
67%
Нет
Что нужно, чтобы быть ученым?

В статистике есть доверительные интервалы Уальда, которые был переоткрыты Абрахамом Уальдом в 40-ые годы XX века (вторая волна развития матстатистики, как мне кажется, была в основном сделана американцами и пришлась на военные и послевоенные годы), а впервые описаны Пьер-Симоном Лапласом в 1812 году. Не знаю, как вы, а будь я французом в 1812, мне кажется, у меня были бы более насущные дела, чем исследование доверительных интервалов.

Лаплас, кстати говоря, учил юного Наполеона. Бонапарт был артиллеристом, а тогда считалось, что для расчета баллистических траекторий артиллеристам не вредно бы знать основы математики. Уж не знаю, насколько целесообразно использовать гениев для преподавания азов тригонометрии юным олухам - мне кажется, это из пушки по воробьям. Тем не менее, Наполеону хватило ума оценить величие человека, с которым ему посчастливилось столкнуться, и Лаплас был осыпан всеми возможными регалиями, которые у него не отняли и после реставрации Бурбонов.

Первым американским ученым вообще считается великий статфизик Джозайя Уиллард Гиббс. Он стал первым человеком в Новом Свете, получившим степень PhD. Случилось это в 1863 году в Йелле, когда Гиббс защитил труд "On the form of the teeth of wheels in spur gearing". Физхимия была весьма практической наукой в середине 19-ого века, поскольку служила для создания эффективных паровых машин, которые полностью перевернули экономику в середине 19-ого века, как АИ переворачивает ее сейчас. Я, однако, хотел обратить внимание на год. Мне кажется, в 1863 году янки было чем заняться.

Когда в больницу к умирающему Сринивасе Рамануджану приехал его друг Годфри Харди и пожаловался, что ехал на такси с ничем не примечательным номером 1729, невероятный индийский самородок, по легенде, ответил: «Харди, ну как же, Харди, это же число — наименьшее натуральное число, представимое в виде суммы кубов двумя различными способами!». Вот эти способы: 1729 = 13^3 + 123^3 = 93^3 + 103^3.

Чтобы быть ученым, нужно сохраняя контакт с реальностью, все же очень мало беспокоиться по поводу нее.
DS meets AR

Когда Стив Баллмер объявил о своем уходе с поста главы Майкрософт пять лет назад, акции компании разом взлтетели процентов на 10.

Наверное не очень приятно, когда рынок так единодушно говорит тебе "скатертью дорожка", выстилая путь до двери стодолларовыми, но в этом был и свой плюс: будучи одним из крупнейших держателей акций M$, Баллмер заработал на собственном увольнении миллиард (https://www.forbes.com/sites/timworstall/2013/08/23/links-23-aug-steve-ballmer-announces-resignation-microsoft-stock-soars/).

С тех пор Сатья Наделла смог превратить омерзительного редмондского гиганта в весьма симпатичную и современную компанию, и недавно доходы от Microsoft Azure обошли доходы от Microsoft Windows.

А что же старина Стив? Он потратил 2 миллиарда долларов на приобретение лучшего баскетбольного клуба в Лос-Анджелесе Лос-Анджелес Клипперс (да-да, фанаты Коби и Леброна, вы не ослышались, Клипперс - лучший клуб из Лос-Анджелеса).

До того франшиза принадлежал старому расисту Дональду Стерлингу, высказывания которого по телефону записала и выложила в публичный доступ молодая жена, после чего Стерлингу ничего не оставалось, кроме как продать команду Баллмеру: https://www.youtube.com/watch?v=YhT6d5fMhzI.

И вот, DEVELOPERS DEVELOPERS DEVELOPERS (и это не Deep Fake: https://www.youtube.com/watch?v=I14b-C67EXY) добрались до баскетбола!

Американцы давно сходят с ума от спортивной статистики в баскетболе и считают все, что только можно, так что иные баскетболисты, выходя на паркет, думают не о победе команды, а считают в уме подборы и передачи до трипл-дабла.

Но то, что с полгода назад презентовал Баллмер - это просто новый уровень: https://youtu.be/Pj0DAvu2xIc?t=60. Real-time графика показывает телезрителям во время матча вероятность того, что каждый баскетболист команды поразит кольцо из данной позиции, если дать ему мяч. Такой баскетбол начинает напоминать покер. А представляете, если бы сами баскетболисты эти цифры тоже видели?
Откуда берется добавленная стоимость?

Бизнес - это борьба без правил за добавленную стоимость.

Когда ваша компания покупает 2 колеса и раму за 100 рублей, нанимает сотрудника за 50 рублей, собирает его руками велосипед и продает велосипед за 180 рублей, то добавленная стоимость такого бизнеса - 30 рублей.

Добавленная стоимость или маржа - это незаработанные деньги, это ваш личный фонтанчик нефти, ваш оброк, которым вы как Золотая Орда облагаете своих клиентов. Потому что можете.

Свой личный фонтанчик нефти позволяет вам иметь свободное время, заниматься творчеством, делать интересные вещи. Хорошо его иметь. Однако желающих добровольно кормить дармоеда нет. Их заставляют. Как?

Организовать свой бизнес по сборке великов нетрудно. Ваш собственный сотрудник легко может стать вашим конкурентом. Конкуренция между вами породит демпинг, снижение добавленной стоимости и зарплат в вашем бизнесе. Когда падают зарплаты, падает качество сотрудников, умные люди уходят в другое место, если могут. Вы как предприниматель оказываетесь окружены идиотами и лентяями, и становитесь глубоко несчастны.

Поэтому вы хотите, чтобы ваш бизнес имел высокую добавленную стоимость.

Вопрос: что является лучшим источником добавленной стоимости?

Может быть технологическое доминирование? Поначалу - да.

В 90-ые когда рос рынок телекома, компания Cisco была самой дорогой компанией в мире, она стоила пол триллиона долларов, и ей предрекали первой пересечь грань в триллион. Прошло несколько лет, и Cisco подешевела вдесятеро, а ее конкуренты разорились и были поглощены.

Сегодня нас обеспечивают видеокартами и архитектурами процессоров крошечные компании Nvidia и Arm с 10 и 5 тысячами сотрудников соответственно на весьма скромных зарплатах. А космические спутники и суперкомпьютеры заказываются по принципу "lowest bidder wins". Маржи в этих супертехнологичных рынках не осталось совсем. Выходит, сложность технологических процессов в индустрии слабо коррелирует с ее рентабельностью. Зато забюрократизированность - еще как.

Лучшим источником добавленной стоимости являются общественные условности.

Когда вы публикуете статью в Натуре и платите журналу за публикацию, а ваш коллега-читатель платит журналу, чтобы ее прочитать, все страдают, но так принято (а лоббисты крупнейших издательств платят колоссальные взятки чиновникам, чтобы эта модель не менялась).

Когда техдир ставит дорогущие Оракл или SAP, которые ненавидят все от пользователей до их собственных разработчиков, он это делает потому что так принято в индустрии, и он поставит свою карьеру под удар, если выберет что-то другое.

Когда родители американского студента платят 150 тысяч долларов за колледж (бакалавриат), они платят их потому что принято считать, что выпускники Гарварда хороши и ребенок получит ранний старт в обществе.

Когда соцсеть продает баннерную рекламу или ваши персональные данные коммерсантам, она использует то, что среди ваших друзей принято сидеть в фейсбуке/телеграме/выберите свой вариант.

Когда фармкомпания патентует молекулу, она 25 лет обладает эксклюзивным правом производства соответствующего лекарства и продает его вдесятеро дороже себестоимости, потому что в обществе принято патентное право.

Когда банк крутит ваши деньги на расчетном счете, вы платите ему ни за что, потому что государствами принято, что бизнес должен иметь расчетный счет.

Инженеры подешевели за 50 лет, электронщики подешевели за 40 лет, программисты подешевели за 30 лет, скоро подешевеют и "машинисты". Самым устойчивым источником добавленной стоимости являются не технологии, а укоренившийся в общественном сознании стереотип.
Разговор специалиста с бизнес-заказчиком (из книги ветеринара Дж. Хэрриота "О всех созданиях, больших и малых"):

- Боб Фрай говорит.
- Доброе утро. Хэрриот слушает.
- У меня свинья что-то не того.
- А-а! Так что с ней?
- Это вы мне скажите!
- О!
- Чего бы я стал вам звонить, кабы сам знал, что с ней? Хе-хе-хе!
То обстоятельство, что эту шуточку я слышал уже две тысячи раз, не меньше, помешало мне от всей души присоединиться к его смеху, но какое-то кудахтанье я из себя выдавил.
- Совершенно верно, мистер Фрай. Нуте-с, почему же вы мне звоните?
- Так я ж объяснил, черт подери! Чтобы узнать: что с ней такое.
- Это я понял, но мне нужно знать поподробнее. Вы сказали, что с ней что-то не того. Но что именно?
- Куксится чего-то.
- Да-да. Но не могли бы вы объяснить, в чем это заключается?
Пауза.
- Понурая она какая-то.
- Что-нибудь еще?
- Да нет, вроде... Вообще дохлая она, если на то пошло.
Я ненадолго задумался.
- Так... э... Я попробую спросить вас немножко по-другому: зачем вы мне звоните?
- Звоню, потому что вы ветеринар. Это же ваша работа, разве нет?
Я предпринял новую попытку:
- Было бы лучше, если бы я знал, что с собой захватить. Какие у нее симптомы?
- Симптомы-то? Ну, неможется ей вроде бы.
- Да, но как она себя ведет?
- А никак. Потому я и забеспокоился.
- Гм, гм! - я поскреб в затылке. - Ей что - очень плохо?
- Да уж не очень хорошо.
- Вы, кажется, сказали, что дело срочное?
Новая долгая пауза.
- Ну, она не так чтобы уж, а только и не очень. Совсем тела не нагуливает.
- Вот-вот... И давно это с ней?
- Да уж порядком.
- Ну а точнее?
- Чего уж там говорить. Давненько.
- Мистер Фрай, мне необходимо знать, как давно у нее наблюдаются эти симптомы. Сколько времени назад они появились?
- А-а! Да с той поры, как мы ее купили.
- И когда же вы ее купили?
- Да тогда же, как и всех прочих...
Ленин в Польше

Почти 10 лет назад умер Израиль Моисеевич Гельфанд (https://ru.wikipedia.org/wiki/Гельфанд,_Израиль_Моисеевич).

Когда это случилось, цитируемость НИИ ФХБ Белозерского, по которому слонялся тогда юный я, разом упала вдвое, поскольку реально работавший с 1991-ого в Штатах Гельфанд все еще числился главой нашего отдела ММБ (мат.методов в биологии).

В корпусе "Б" организовали семинар памяти, куда пришли очень разные, но сплошь заслуженные люди (математики, биологи, врачи), кработавшие с Гельфандом, и начали делиться воспоминаниями, которые все больше походили на мифы древней Греции - не меньше. Моей Британской Королевой в задаче о шести рукопожатиях до среднего китайца тогда был именно И.М., и я совершенно не мог представить, как простому смертному может быть под силу совершить хоть двенадцатую часть его подвигов. В интернетах уцелели замечательные заметки с того мероприятия: https://posic.livejournal.com/342330.html.

Гельфанд был одним из величайших математиков XX века, и счет объектов, выдуманных им в соавторстве с многочисленными коллегами, идет на большие десятки. Что еще важнее, Гельфанд являлся основателем одного из сильнейших математических семинаров в истории. Судя по воспоминаниям участников, это была такая смесь корриды и джазовой импровизации на манер фильма "Whiplash" - с диктаторствующим И.М, едкими остротами в адрес участников, криком, разорванными тетрадками и изнурительной подготовкой во избежание публичного позора.

При это И.М. был весьма порядочным человеком, и я слышал несколько разных историй про то, как он спасал чьих-нибудь родственников, прерывая семинар, чтобы начать вызванивать для них лучших врачей. Установленные контакты впоследствии переросли в научные сотрудничества, и во второй половине жизни Гельфанд оказался организатором совсем другого семинара - биологического. Когда Гельфанда уже не стало, протоптанная дорожка не заросла, и я наблюдал, как к ученикам И.М. обращался за помощью больной раком математик и наоборот приходили врачи за подмогой в математике.

Я ни разу не видел этого человека и, вероятно, неправильно себе его представляю, но он призраком существует в моей жизни в виде бесчисленных легенд и сформулированных им самопротиворечивых истин, которые повторяют его ученики. "Теория вероятностей начинается там, где заканчиваются наши знания о мире", "задача математика в медицине - не давать врачам использовать математику"...

Подобно черной дыре он своей чудовищной гравитацией притянул на свою орбиту всех, кого я видел кругом в юности, но самого его при этом увидеть мне так и не довелось. Отдел матметодов, который я наблюдал, был в сущности картиной "Ленин в Польше".

С тех пор я постоянно налетал на увлекательнейшие интервью внука И.М., нашего Михаила Сергеевича Гельфанда, с бывшими коллегами И.М. в "Троицком варианте". Гений Ламондуа из "Далекой Радуги" говорил, что рядом с Камиллом чувствует себя глупым внуком умного деда. Не хочу даже пытаться представить себе, каково быть внуком И.М., но могу предположить, откуда у умницы М.С. изрядная доля раздолбайства.

Прошло 10 лет, я снова пытаюсь заниматься математикой в отделе ММБ (что теперь расшифровывается как "малых и микро- бизнесов"), рукопожатий до среднего китайца осталось от силы 5 (Зубин Гарамани и Тим О'Райли общались с Ма Хуатенгом практически при мне), и я нескромно надеюсь, что однажды их может стать 4. Не ставя под сомнение величие Гельфанда, я больше не воспринимаю его как нечто непознаваемое - мне кажется, я разложил его на главные компоненты.