Последовательное A/B-тестирование в Netflix. Часть вторая. Процессы подсчёта

В Netflix наблюдают за множеством метрик, многие из которых можно отнести к классу «счётных». В их число входят такие показатели, как количество входов в систему, ошибок, успешных запусков воспроизведения видео и даже количество обращений пользователя в колл-центр. В этой части описывается методология последовательного статистического анализа, применяемая в компании для исследования счётных метрик.

Программист Кейю Тянь устроился в компанию ByteDance стажёром и изнутри два месяца саботировал выполнение проекта по разработке нейросетей, добавляя ошибки в код. Из-за действий Кейю команда из трёх десятков разработчиков круглосуточно искала и устраняла постоянно появляющиеся баги в проекте.

Расследование показало, что стажёр:

— методично и последовательно загружал специальные Pickle-файлы со скрытым кодом, который был полон вирусов и вредоносных компонентов. Код в таких скриптах выполняется рандомно и автоматически, поэтому никто не мог понять, почему все усилия команды не приносят должной стабилизации;

— получил доступ и полностью изменил версию библиотеки PyTorch, на которой держались проекты. Он вносил туда маленькие изменения каждый день, а они обрушивали программы. При этом никто из разработчиков команды даже не подумал посмотреть в исходный код — задачи продолжали падать с ошибками и тонной багов, а все эксперименты приносили только неверные результаты;

— внёс настоящий хаос в чекпоинты — это файлы, которые помогают обучать нейронки и сохранять их промежуточные состояния. Он жонглировал параметрами моделей, менял данные обучения или просто удалял многие чекпоинты, а наработки команды пропадали, удалялись, их не было возможности повторить;

— не скрывался от встреч. Его не могли поймать быстро, потому что он ходил на каждый митинг и собирал решения команды по фиксу проблем. После созвонов стажёр знал, как собираются фиксить баги, и придумывал новые. Команда каждый раз не понимала, что происходит.

В итоге стажёра выловили по логам. Также в ByteDance пояснили, что команда из тридцати программистов целых два месяца работала впустую из-за деструктивных действий одного разработчика. У проекта команды сгорели все сроки, деньги заказчиков были потрачены зря.

«Я пишу эту статью в 30 лет, успев побывать на собеседованиях по обе стороны стола. В течение последнего года я проводил технические интервью и видел, как моложавых выпускников, едва достигших возраста, позволяющего арендовать авто, так и бывалых специалистов, проработавших в IT больше лет, чем мне отроду. И этот опыт прекрасно прояснил для меня общую картину»

Так ли важен возраст в IT?

На кой джуну пет-проекты: отзывы тех, кому они действительно помогли

Поговорим о том, как командная работа повлияла на каждого члена команды Collabry (в прошлом Sapphire, победитель Битвы пет-проектов 2023 от Хабр Карьеры), и узнаем, помогают ли пет-проекты в карьерном продвижении начинающего специалиста (спойлер: да, если правильно их готовить).

Raptor 3: ключевое звено марсианской гонки

После удачного тестового полета IFT-5 следующее прорывное изменение от SpaceX — принципиально новые двигатели Raptor 3. Это будет не тестовый экземпляр для одного полета, а настоящая основа космической экспансии: их планируют выпускать по 500 штук в год — больше всех остальных двигателей для космических ракет во всех остальных странах мира вместе взятых.

Узнаем, почему параметры новых двигателей могут обеспечить настоящую революцию в освоении космоса и сможет ли Илон Маск реализовать их потенциал

Пацанский английский. Ленивый способ наконец выучить английский язык: без курсов, без зубрёжки, бесплатно

В этой статье автор делится подробным планом и ссылками на материалы и каналы, которые помогут вам прошить себя английским языком, полюбить его, полюбить себя в нём и получить трамплин для дальнейшего совершенствования.

AMD и Intel собираются конкурировать с архитектурами ARM и RISC-V. Что ожидает индустрию?

Два крупнейших игрока на рынке процессоров с архитектурой х86 и одновременно конкуренты, AMD и Intel, на время решили стать союзниками. Почему? Чтобы успешно конкурировать с производителями чипов на архитектурах ARM и RISC-V. В рамках программы сотрудничества уже создана консультативная группа, в которую вошёл, например, Линус Торвальдс. Так что всё серьёзно, это вам не шутки.

Рождение GTA: как появились симуляторы гангстеров. Часть вторая. Двухмерные ад, угар и резня первого Grand Theft Auto

В середине 90-х годов в одной точке в лондонском офисе ВМС Interactive сошлись две идеи: несостоявшийся гангстер из богемной семьи Сэм Хаузер искал свежие идеи игр для молодёжи и попутно грезил о возможности творить беспредел хотя бы на экране, а гик из шотландского городка Дейв Джонс из DMA написал и предложил игру-песочницу Race 'N' Chase про большой живой город с кучей транспорта и пешеходов. Поначалу натерпевшийся от гопоты Джонс подразумевал игру за полисмена и нахлобучивание преступников, строго соблюдая при этом ПДД и законы — но по мере взаимодействия с ВМС и Хаузером родилась идея перевернуть всё с ног на голову и учинять бардак за криминальный элемент. Именно с первого билда Race 'N' Chase, где коп-протагонист был заменён на гангстера, и началась разработка первой игры в серии GTA.

База, которую нужно знать про JSON Schema

Рассмотрим одну из тем, которая, как ни странно, остаётся недооценённой — JSON Schema. Если вы аналитик (или хотите им быть) и в вашей работе часто мелькают JSON-файлы, то вы наверняка знаете, как сложно порой бывает держать всё это под контролем. В этой статье мы разберём всё, что нужно знать про JSON Schema.

Как собрать клон Yamaha DX7 за $10

Поговорим о том, как и из каких компонентов можно самостоятельно изготовить клон знаменитого синтезатора Yamaha DX7. Статья рассчитана в основном на новичков и энтузиастов ретро-музыкальных инструментов.

Как сверхкритическая вода разлагает пластик

Поговорим о разложении пластика при помощи сверхкритической воды и некоторых других соединений, содержащих кислород и водород. В таком случае пластик превращается во вторичное топливо, но давайте обо всём по порядку.

«Несколько лет назад я заинтересовался 3D-принтерами, поскольку тогда уже появились модели, не требующие значительных знаний в этой отрасли. Мне нужен был девайс, позволяющий решать мелкие вопросы по дому и хобби — распечатывать время от времени всякие крепления, коробочки, кейсы для паяльников и жал и т. п. Я выбрал Geeetech E180, поскольку он не выглядел, как скопище ремней и проводов, а имел закрытый корпус, сенсорный экран (ёмкостный), получал неплохие отзывы пользователей, да и выглядел неплохо. Конечно, прежде, чем купить его, я обратил внимание и на характеристики, которые меня вполне устроили»

Маленький, но полезный: опыт работы с 3D-принтером Geeetech E180, которому уже 7 лет

Исследователь из Сан-Хосе Люк Дюрант обнаружил крупнейшее в мире простое число в рамках проекта Great Internet Mersenne Prime Search (GIMPS). Оно обозначается как M136279841 и состоит из 41,024,320 десятичных цифр. До этого открытия крупнейшее известное простое число было на 16 млн цифр меньше.

Новое число принадлежит к классу простых чисел Мерсенна и относится к редким среди всех известных простых чисел. Всего известно о только 52 таких числах, и поиск каждого нового представляет всё большую сложность. Простые числа Мерсенна назвали так в честь французского монаха Марена Мерсенна, который более 350 лет назад изучал их свойства.

Новое простое число, также известное как M136279841, вычисляется путём умножения 136,279,841 двоек и вычитания 1.

Проект GIMPS, основанный в 1996 году, позволил обнаружить последние 18 простых чисел Мерсенна. Добровольцы загружают бесплатную программу для поиска этих простых чисел, а участникам предлагается награда в размере $3000.

Открытие крупнейшего простого числа знаменует конец 28-летней эпохи, когда для их поиска использовались персональные компьютеры. С 2017 года, благодаря увеличению мощности графических процессоров, для тестирования чисел применялась программа GpuOwl, написанная Михаем Предой.

Дюрант, бывший сотрудник Nvidia и один из ведущих участников GIMPS, использовал GpuOwl для создания своей инфраструктуры, которая объединила тысячи GPU-серверов по всему миру. Его вычислительная система охватывала 24 региона с дата-центрами в 17 странах.

Процесс подтверждения нового простого числа состоял из нескольких этапов, а стартовал он в октябре 2023 года. Сначала исследователь использовал тест на вероятное простое число с помощью программы, запущенной на графических процессорах Nvidia в разных странах. Затем он подтверждал это значение с помощью различных программ, включая известный тест Люка-Лемера, который использовался на разных типах оборудования.

Простые числа Мерсенна занимают центральное место в теории чисел с тех пор, как о них впервые упоминал Евклид около 350 г. до н. э. Сам Мерсенн (1588-1648) выдвинул знаменитую гипотезу о том, какие значения P дадут простое число. Евклид же доказал, что каждое простое число Мерсенна порождает совершенное — собственные делители которого в сумме дают само число. Наименьшее совершенное число — 6 = 1 + 2 + 3, а второе совершенное число — 28 = 1 + 2 + 4 + 7 + 14. До сих пор неизвестно, существуют ли нечётные совершенные числа.

Предыдущее большое простое число Мерсенна в декабре 2018 года открыл Патрик Ларош. Это число 282,589,933-1, которое включает 24,862,048 десятичных цифр.

Как поднять свой WebSocket-сервер на Node.js: основы

Сегодня мы создадим свой WebSocket-сервер на Node.js. Это тот самый протокол, который позволяет отправлять и принимать данные в реальном времени без перекладывания на HTTP. Для этого используем библиотеку ws.

«2018 год, и я твёрдо решаю изменить свою жизнь и перейти в IT-сферу. Мне 27 лет, опыта нет, профильного образования нет, денег на курсы нет, есть высшее историческое и огромное желание стать частью IT-мира, который завораживал меня своими таинственными терминами и волшебными процессами»

Три рецидива синдрома самозванца: из историка в системного аналитика

Doritos показала рекламу чипсов, снятую в космосе. В ролике члены экипажа Polaris Dawn Джаред Айзекман, Скотт «Кидд» Потит, Сара Джиллис и Анна Менон перекусывают чипсами Doritos «Zero Gravity Cool Ranch» в невесомости на борту капсулы SpaceX Dragon.

В течение первых 60 лет космических полётов чипсы находились в списке запрещённых к полётам, потому что крошки от них могли случайно вдохнуть члены экипажа, а также существовал риск попадания их в глаза.

Doritos придумала специальную упаковку, чтобы доставить чипсы на орбиту в сохранности. Также компания остановилась на небольшом форм-факторе, чтобы чипсы можно было съесть за один укус.

Звёздная ночь: смотрим вверх на Млечный Путь

Трудно оценить красоту леса, когда ты находишься в самом его центре, но у тебя всегда есть возможность изучить деревья рядом и окружение в целом.

Точно так же понимание всего великолепия нашей галактики является сложной задачей. Тем не менее, наше неуклонное стремление к знаниям дало обширную информацию, несмотря на разные сложности и ограничения. Так давайте углубимся в те знания, которые всё же удалось получить, раскрыв историю нашего великолепного и бесконечно увлекательного космического дома.

Кто стоит за убийством Google Search?

Это история о том, как умер Google Search, и о причастных к его смерти людях. Начинается она 5 февраля 2019 года, когда Бен Гомес, глава Google Search, столкнулся с проблемой. Джерри Дишлер, на тот момент вице-президент и главный управляющий Google Ads, вместе с Шивой Венкатараманом, тогда вице-президентом по разработке систем Google Search и Ads, объявили «код жёлтый» в отношении доходности Google Search. Причиной такого шага стали «стабильно низкие ежедневные показатели», а также вероятность того, что к концу квартала доходность этого сегмента окажется в значительном упадке.