Несколько разочаровался в oura ring. После того как у меня появилась чудо простыня, которая не только меняет свою температуру, чтобы улучшить качество сна, но в дополнение имеет кучу датчиков и отслеживает различные показатели, начал сравнивать их с кольцом. Конечно, я не знаю своего истинного пульса и фаз сна, но точну знаю, поспал я днем или нет - простыня такое ловит без проблем, кольцо через раз. Или в целом, насколько хорошо я восстановился. Не так, чтобы oura несла совсем бред, но иногда она конечно сходит с ума. Самые ярки моменты - это если вырезать какие-то куски сна, то общий скор в Oura может стать сильно лучше. Из разряда, проспал 8 часов - говорит все, тебе капец, пульс поздно упал, вырезаешь первые два часа - все, ништяк, молодец. Очевидно что это еще проблема в алгоритмах обработки сигналов. Отсюда вопрос к студии, что еще попробовать и чтобы переносное. Возможно Whoop?

Однажды я работал директором по моделированию и анализу данных в одной из крупнейших корпораций РФ - X5 Retail Group. Одновременно с этим я работал вице-президентом по машинному обучению в одной из крупнейших корпораций мира - Alibaba.

Преисполнившись чувством собственной важности, я решил что пора купить себе очки и направился в салон оптики. В салоне меня поджидал продавец. Он с энтузиазмом начал показывать и нахваливать свой товар, переходя от одной полки к другой. В какой-то момент он остановился, окинул меня взглядом и сказал: ну эти линзы дорогие, около чирика (10 тысяч рублей), поэтому выбирай из тех что уже тебе показал.

Так я и сделал лазерную коррецию зрения
#CoolStory

Архивное видео 2018 года: Запись трансляции Data&Sсience: отвечают знатоки Во время которого Артур Кузин aka Noise отвечает про шум

У меня в друзьях в фейсбуке есть сказочник из Узбекистана.
Причем не такой сказочник как Дмитрий Гайдук.

То он устроится в Open AI работать над Узбекским языком и через два месяца уволится (понятное дело ни в каком Open AI он не работал)
То создаст Сервис для обхода блокировок от ChatGPT, а когда узнает, что другие люди могут смотреть кем и когда зарегистрирован сайт, тут же удалит пост

Регулярная его рубрика - дискриминация при найме на работу где он пишет дичь, про то, что в Узбекистане не нанимают на работу Узбеков
При этом чел переодически писал посты в сингулярис/одс (и мне в личку), где просил помочь ему решить какие то базовые домашки на дом, которые дают при собеседовании

Но самое интересное, что куча людей в ФБ верит в эту сказку и активно участвует в обсуждениях приключений Дон Кихота наших дней
Наблюдая это в живую, понимаю откуда у Блиновской имущества на 64 млрд рублей

Разбирал недавно код нескольких дата пайплайнов, в попытке понять почему же на них тратится так много денег
Ответ был найден быстро, проблему вызывала следующая строчка

df.coalesce(1).write.parquet

Соотвественно, машина арендовалась полностью, а использовалось только одно ядро/поток/воркер из как минимум 16 ( а то и 32 или 64 - зависит от типа инстанса). Вместо того чтобы выдать 16 файлов, выдавался один, но в 16 раз медленее. Для небольших файлов это проблема несущественная, для всего остального - серьезный косяк.

Так, многопоточность, в очередной раз спасла мир

Возможно я что-то упускаю и гнать все через 1 воркер это best practice?

Наткнулся на сообщение СЕО конторы где я работал, из которого узнал, что компания проинвестировала в молодых и перспективных стартаперов. Команда на фото

Пришла пора рассказать где я теперь работаю
Компания называется BP, ранее известная как British Petroleum

Это крупная компания с центральным офисом в Лондоне

Занимаются много чем: нефть, газ, топливо, магазины, биолаборатории (разрабатывают бактерии, поглощающие пластик), авиация, лубриканты (Castrol), ветряная и солнечная энергия, электрозаправки, биотопливо, водородное топливо, трейдинг, логистика, venturing (в свое время инвестировали в небезызвестный Palantir) и многое другое

Я вышел работать в должности старшего главного начальника, взгромоздив на свои плечи роль лидера команды DataWorx Customer & Product and Trading & Shipping.

Это довольно большая команда, численностью около 600 человек, в которую входят дата инженеры, дата аналитики, дата саентисты и млщики (то есть как обычно). Как следует из описания выше, это покрывает примерно 3/5 всей компании.

Очевидно мы нанимаем, например сейчас у меня есть 4 вакантных роли директоров/принципалов (как менеджеры так и IC), которые репортят напрямую мне. Плюс, понятное дело, есть немало ролей стаффов и синьоров. Направлений - гигантская куча, только крупных кусков - порядка 30, где крупный кусок, это бизнес с оборотом около 5-10 млрд долларов

Поэтому, если я вас знаю и работал с вами, но еще не пришел к вам - не стесняйтесь писать мне. Даже если не знаю, но вы считаете что пройдете на стафа/принципала - тоже пишите. Кроме того, соседи тоже активно нанимают и SWE и продактов. Основные локации - UK/US/India/Australia - еще есть Kuala Lumpur. Кстати, если вы активно хотели переехать в Австралию (Мельбурн), UK или KL - это хороший шанс (резюме можно отправить сюда - [email protected] - либо оставить заявку здесь)

Немного видео
Ролик 1
Ролик 2
Ролик 3
Ролик 4

Минутка рекламы

My colleagues and I are hosting a free virtual event exploring causal AI applications - please join me and the team alongside the inspirational Turing Award winner Judea Pearl, Robert Ness (Microsoft), Totte Harinen (AirBnB) and more. Please join us on September 12:

Один из способов оптимизации налогов в UK - это вложение денег в venture capital trusts. Кратко - вкидываешь туда до 200к в год, пять лет подряд. Начиная с первого года и бесконечно долго получаешь 30% (60к) - как tax relief, еще там конечно есть дивиденды (tax free) - но они почти полностью съедаются на комиссии фонда, рост вроде тоже есть, в среднем 5%(тоже tax free) - но основная суть конечно в tax relief.

Как это работает? Правительство стимулирует вкладываться в развитие местного бизнеса, применяя для этого налоговые льготы. VCT - это своего рода ETF на компании попадающие под такие условия (такий компаний к слову много). В целом, можно самому вкладывать в отдельные компании, схема это называется enterprise investment schemes (EIS). Если ты вкладываешься в такую контору, то получаешь в этом же году 40% от суммы как tax relief, если компания разоряется - еще 30% (то есть минимум 70 процентов заберешь), если не разоряется - через какое то время можешь продать эти акции tax free, дивиденды по такой схеме кажется тоже tax free

Кажется довольно интересный способ мотивации инвестировать в локальный бизнес. Причем бизнесом этим может быть хоть кофейня. Я например в свое время вложился в производителя газировки (до сих пор ее пью) и чая (тоже его пью)

Заметил что с каждым годом становится все труднее заставлять себя не работать, причем, как мне кажется, механизм этой зависимости в чем-то схож с зависимостью от социальных сетей/контента

Возможно, что различные активности, в которые я постоянно вписываюсь, от 10 тренировок по джиу джитсу в неделю и качалки до написания книги, это лишь способ организма спастись от окончательного падения в бездну зависимости

Вышло небольшое видео про ML System Design

Должен заметить, что с момента моего прихода акции БиПи выросли на 10 процентов.

Это можно конечно связать с ростом цен на нефть, но зачем, когда есть более очевидное объяснение

Если меня попросят описать самый часто встречаемый дата лик при работе с моделями машинного обучения, то бесспорным номером один будет прогноз прошлого через будущее.

Возникает он, очевидно, когда есть какая то стрела времени, что как несложно догадаться - довольно частый случай.

Две основных причины возникновения таких ликов :

1. рассчет статистик через временное окно, затрагивающее будущее
2. Разбиение выборки(train/test) по user ID без учёта временной компоненты

Почему это происходит? Видимо людям тяжело, когда появляется дополнительная размерность в виде времени

Что делать? Универсальный ответ - обучение и проверка модели должны полностью воспроизводить сценарий реального применения. Например, если нужен прогноз на октябрь и делается он в сентябре, не получится посчитать скользящее среднее захватывая Октябрь, этих данных просто ещё нет, значит и при обучении так делать не надо.

Если хочется прогнозировать отток в октябре, мы не можем обучить модель на тех кто ушел в отток в октябре, потому что их ещё нет. Поэтому если мы обучим и проверим модель на сентябрьских данных, это тоже будет некорректно, ведь в реальности проверяя октябрь, мы не имели октября для обучения, поэтому и проверяя сентябрь, мы не можем иметь его в датасете для обучения

Такого типа проблему я видел везде, от Биг Теха, до маленьких стартапов