Сегодня
На курс по метрикам и работе с данными авито пригласили Евгения Прохорова, руководителя отдела продуктовой аналитике Ситимобила. Здорово.
Сегодня я съездил в Долгопрудный, отдал подарок и почти устроился на работу. Почти, потому что ещё нужен медосмотр (мда), а я уже заказал на первые полдня среды курьера, печаль. Как раз посижу над научкой. Кстати о ней: день в Долгопе слишком сильно вымотал, поэтому я лучше лягу сейчас и пораньше встану, чем буду отбирать у себя завтрашнего время.
На обратном пути нечаянно сел не на 368, а на 368в, совершил классную обзорную экскурсию по Долгопрудному и Водникам. Мда.
Сделанное за день:
1. Научная работа: сегодня ноль, к сожалению.
2. Планирование: съездил на бывшую работу, забрал справку, нечаянно закрыл родителей дома (лол), съездил на будущую работу. Всё как у людей.
Завтра хочется посидеть полдня за научкой, но чувствуется сильно грузящая меня неопределённость следующего шага. Хорошо хоть составил примерный план диплома и есть условный вектор движения.
3. Пианино и книжки: дочитал "Эйнштейн гуляет по Луне", завтра ждите саммари. Спойлер: мне просто мегасильно понравилось.
4. Режим дня: ложусь в 21, какой_я_молодец.жпг
5. Тренировка памяти: вчера довольно быстро разобрался с PCA (principle component analysis) и SVD (singular value decomposition), -- методами понижения размерности и матричного разложения. Завтра буду их запоминать процедурно, сегодня я слишком закол*ебался.
6. Собеседования: внезапно написали из МакКинзи и спросили, готов ли я всё ещё пройти к ним собес. Ответил, что готов, надо до конца недели пройти техчасть, как я понял, она автоматизирована.
19.01.2020г.
#day_0012На курс по метрикам и работе с данными авито пригласили Евгения Прохорова, руководителя отдела продуктовой аналитике Ситимобила. Здорово.
Сегодня я съездил в Долгопрудный, отдал подарок и почти устроился на работу. Почти, потому что ещё нужен медосмотр (мда), а я уже заказал на первые полдня среды курьера, печаль. Как раз посижу над научкой. Кстати о ней: день в Долгопе слишком сильно вымотал, поэтому я лучше лягу сейчас и пораньше встану, чем буду отбирать у себя завтрашнего время.
На обратном пути нечаянно сел не на 368, а на 368в, совершил классную обзорную экскурсию по Долгопрудному и Водникам. Мда.
Сделанное за день:
1. Научная работа: сегодня ноль, к сожалению.
2. Планирование: съездил на бывшую работу, забрал справку, нечаянно закрыл родителей дома (лол), съездил на будущую работу. Всё как у людей.
Завтра хочется посидеть полдня за научкой, но чувствуется сильно грузящая меня неопределённость следующего шага. Хорошо хоть составил примерный план диплома и есть условный вектор движения.
3. Пианино и книжки: дочитал "Эйнштейн гуляет по Луне", завтра ждите саммари. Спойлер: мне просто мегасильно понравилось.
4. Режим дня: ложусь в 21, какой_я_молодец.жпг
5. Тренировка памяти: вчера довольно быстро разобрался с PCA (principle component analysis) и SVD (singular value decomposition), -- методами понижения размерности и матричного разложения. Завтра буду их запоминать процедурно, сегодня я слишком закол*ебался.
6. Собеседования: внезапно написали из МакКинзи и спросили, готов ли я всё ещё пройти к ним собес. Ответил, что готов, надо до конца недели пройти техчасть, как я понял, она автоматизирована.
Красивая визуализация методов оптимизации: https://losslandscape.com/videos/
Дуальные пространства, современные методы спуска и все-все-все.
Дуальные пространства, современные методы спуска и все-все-все.
Landscape
Moving Lands | Video visualizations of A.I training morphology & dynamics
Visualize the morphology and dynamics of the loss landscapes of deep learning optimization processes in movement. Welcome to the moving lands gallery.
Сегодня 21
Сегодня я молодец, потому что чётко прописал план по первой части диплома, написал Райгородскому насчёт языка (ребята сказали, что вроде бы можно писать только на русском, вот я и встрепенулся) и чуть переделал все оставшиеся части плана. А ещё сделал саммари по идее PCA (инфу взял из Бишопа, с хабра и из статьи, которая там прикреплена).
Сделанное за день:
1. Научная работа: переформулировал план диплома на английском, задал кучу вопросов в ODS и начал смотреть статьи по Traffic Flows prediction. Ещё доделал-таки план по первой, обзорной, части.
2. Планирование: с утра пойду на медосмотр, потом буду планировать научку.
3. Пианино и книжки: саммари по Эйнштейну отодвигается на послезавтра.
4. Режим дня: антихайп, ложусь в полночь.
5. Тренировка памяти: сегодня запомнил PCA, но не запомнил всего матана за SVD, надо будет завтра перепонять его.
.01.2020г.
#day_0013Сегодня я молодец, потому что чётко прописал план по первой части диплома, написал Райгородскому насчёт языка (ребята сказали, что вроде бы можно писать только на русском, вот я и встрепенулся) и чуть переделал все оставшиеся части плана. А ещё сделал саммари по идее PCA (инфу взял из Бишопа, с хабра и из статьи, которая там прикреплена).
Сделанное за день:
1. Научная работа: переформулировал план диплома на английском, задал кучу вопросов в ODS и начал смотреть статьи по Traffic Flows prediction. Ещё доделал-таки план по первой, обзорной, части.
2. Планирование: с утра пойду на медосмотр, потом буду планировать научку.
3. Пианино и книжки: саммари по Эйнштейну отодвигается на послезавтра.
4. Режим дня: антихайп, ложусь в полночь.
5. Тренировка памяти: сегодня запомнил PCA, но не запомнил всего матана за SVD, надо будет завтра перепонять его.
#diploma
План моего диплома:
1st part: "Low-power object detection methods"
1.1. Object Detection methods in CV
1.1.1. Classic methods
1.1.1.1. Scale Invariant Feature Transformer (SIFT),
1.1.1.2. Speeded Up Robust Features (SURF),
1.1.1.3. Features from Accelerated Segment Test (FAST),
1.1.1.4. Hough transforms,
1.1.1.5. Geometric hashing.
1.1.2. Deep Learning methods
1.1.2.1. CNN's + strides + padding ideas
1.1.2.2. ResNets
1.1.2.3. InceptionNets
1.1.2.4. Deep CNN's
1.1.2.5. Bounding box, anchors ideas
1.1.2.6. YOLO
1.1.2.7. SSD
1.1.2.8. R-CNN
1.2. Low-power CV methods optimization
1.2.1. Why deep learning?
1.2.2. How to choose the right NN
1.2.3. Model compression methods
1.2.3.1. Backbone optimization
1.2.3.2. Pruning
1.2.3.3. Quantization
1.2.3.4. Knowledge distillation
1.3. Work done on outsourcing
1.3.1. YOLO tests
1.3.2. Model pruning
1.3.3. Results
2nd part: "Interaction processes in transport systems modelling"
2.1. A jump from object detection results to predictions (for now it might be a simple algorithm)
2.1.1. Find a dataset (STREETS or Porto)
2.1.2. Make an EDA
2.1.3. Look through the solutions on Kaggle, Google Scholar, OpenDataScience (russian DS community)
2.1.4. Make a simple predicting network with accuracy at least 60%
2.1.5. Get real-time data (generate it???) (*)
2.1.6. Try modelling on real data (*)
2.2. Lean more about Tanka's thesis
2.2.1. Formulate the optimization problem (maybe simple examples)
2.2.2. Replace the calculations by numerical model
2.2.3. Get the model
2.2.4. Potential benefits
2.2.2.1. System's scalability
2.2.2.2. Independence from time and weather impacts
3rd part: work with priority lines, their optimization, autonomous vehicles (local example)
3.1. Paper with Belkina as an Braess paradox example
3.2. Formulate the optimization problem for a local problem
3.3. Get some data and examples for local problem
3.4. Optimize it using different methods
3.5. Compare and interpret them
3.6. Find examples of the optimized models
4th part: local problem -> global problem
План моего диплома:
1st part: "Low-power object detection methods"
1.1. Object Detection methods in CV
1.1.1. Classic methods
1.1.1.1. Scale Invariant Feature Transformer (SIFT),
1.1.1.2. Speeded Up Robust Features (SURF),
1.1.1.3. Features from Accelerated Segment Test (FAST),
1.1.1.4. Hough transforms,
1.1.1.5. Geometric hashing.
1.1.2. Deep Learning methods
1.1.2.1. CNN's + strides + padding ideas
1.1.2.2. ResNets
1.1.2.3. InceptionNets
1.1.2.4. Deep CNN's
1.1.2.5. Bounding box, anchors ideas
1.1.2.6. YOLO
1.1.2.7. SSD
1.1.2.8. R-CNN
1.2. Low-power CV methods optimization
1.2.1. Why deep learning?
1.2.2. How to choose the right NN
1.2.3. Model compression methods
1.2.3.1. Backbone optimization
1.2.3.2. Pruning
1.2.3.3. Quantization
1.2.3.4. Knowledge distillation
1.3. Work done on outsourcing
1.3.1. YOLO tests
1.3.2. Model pruning
1.3.3. Results
2nd part: "Interaction processes in transport systems modelling"
2.1. A jump from object detection results to predictions (for now it might be a simple algorithm)
2.1.1. Find a dataset (STREETS or Porto)
2.1.2. Make an EDA
2.1.3. Look through the solutions on Kaggle, Google Scholar, OpenDataScience (russian DS community)
2.1.4. Make a simple predicting network with accuracy at least 60%
2.1.5. Get real-time data (generate it???) (*)
2.1.6. Try modelling on real data (*)
2.2. Lean more about Tanka's thesis
2.2.1. Formulate the optimization problem (maybe simple examples)
2.2.2. Replace the calculations by numerical model
2.2.3. Get the model
2.2.4. Potential benefits
2.2.2.1. System's scalability
2.2.2.2. Independence from time and weather impacts
3rd part: work with priority lines, their optimization, autonomous vehicles (local example)
3.1. Paper with Belkina as an Braess paradox example
3.2. Formulate the optimization problem for a local problem
3.3. Get some data and examples for local problem
3.4. Optimize it using different methods
3.5. Compare and interpret them
3.6. Find examples of the optimized models
4th part: local problem -> global problem
Сегодня
#day_0014
Прошёл техосмотр моей тушки и нашёл нормальные датасеты по traffic flow. Теперь есть с чем работать.
Сделанное за день:
1. Научная работа: нашёл датасеты, сделал поверхностный EDA. Завтра буду подробней изучать.
2. Планирование: завтра весь день научка и мб фильмец с утра посмотрю. Ещё надо с утра прямо написать отзыв на Эйнштейна, и выписать основные мнемотехники оттуда.
3. Пианино и книжки: поиграл на пианино. Саммари по "Эйнштейн гуляет по Луне": крутая книжка про мнемотехники и систематизацию для тех, кто хочет чуть улучшить память. Некоторые моменты для меня вообще были откровением.
4. Режим дня: ща пойду спать (в 22!).
5. Тренировка памяти: разобрался в том, как SVD заюзать в PCA так, чтобы ускорить алгоритм. Завтра буду запоминать и переделывать образ в памяти, сейчас это кит около зеркала в прихожей и светящаяся магическая руна (матрица ковариации).
21.01.2020г.#day_0014
Прошёл техосмотр моей тушки и нашёл нормальные датасеты по traffic flow. Теперь есть с чем работать.
Сделанное за день:
1. Научная работа: нашёл датасеты, сделал поверхностный EDA. Завтра буду подробней изучать.
2. Планирование: завтра весь день научка и мб фильмец с утра посмотрю. Ещё надо с утра прямо написать отзыв на Эйнштейна, и выписать основные мнемотехники оттуда.
3. Пианино и книжки: поиграл на пианино. Саммари по "Эйнштейн гуляет по Луне": крутая книжка про мнемотехники и систематизацию для тех, кто хочет чуть улучшить память. Некоторые моменты для меня вообще были откровением.
4. Режим дня: ща пойду спать (в 22!).
5. Тренировка памяти: разобрался в том, как SVD заюзать в PCA так, чтобы ускорить алгоритм. Завтра буду запоминать и переделывать образ в памяти, сейчас это кит около зеркала в прихожей и светящаяся магическая руна (матрица ковариации).
Сегодня
#day_0015
Сегодня какая-то обыкновенная пятница. Ничего особенного не произошло, но написал саммари по мнемотехникам и неплохо посидели с научруком в скайпе))
Сделанное за день:
1. Научная работа: НАДО КОДИТЬ (блин), уточнил план и цели моделирования.
2. Планирование: ееееее выходные!!! С утра сяду за неделю Воронцова, потом прогуляюсь виртуально по какому-нибудь дворцу, чтобы его запомнить, после чуть позанимаюсь научкой.
3. Пианино и книжки: играю на пианино вот_прям_щас (да, в 12 ночи, что вы мне сделаете). Книжки -- пока 0.
4. Режим дня: как-то через день ложусь вовремя :(
5. Тренировка памяти: сегодня забил, извинити.
22.01.2020г.#day_0015
Сегодня какая-то обыкновенная пятница. Ничего особенного не произошло, но написал саммари по мнемотехникам и неплохо посидели с научруком в скайпе))
Сделанное за день:
1. Научная работа: НАДО КОДИТЬ (блин), уточнил план и цели моделирования.
2. Планирование: ееееее выходные!!! С утра сяду за неделю Воронцова, потом прогуляюсь виртуально по какому-нибудь дворцу, чтобы его запомнить, после чуть позанимаюсь научкой.
3. Пианино и книжки: играю на пианино вот_прям_щас (да, в 12 ночи, что вы мне сделаете). Книжки -- пока 0.
4. Режим дня: как-то через день ложусь вовремя :(
5. Тренировка памяти: сегодня забил, извинити.
...а у меня благая весть, теперь я знаю,
Кто отрицательный герой в моей судьбе,
Теперь альтернатива есть, я выбираю месть
Самому себе, месть самому себе.
Я буду помнить обо всем, я изучаю
Под микроскопом каждый пройденный этап,
Я нападаю перед сном,
Когда противник слаб.
Кто отрицательный герой в моей судьбе,
Теперь альтернатива есть, я выбираю месть
Самому себе, месть самому себе.
Я буду помнить обо всем, я изучаю
Под микроскопом каждый пройденный этап,
Я нападаю перед сном,
Когда противник слаб.
В эти выходные я тюленил: решил, что раз уж в понедельник начинаются пары в Академии Авито, надо хорошенько потюленить, чтобы потом не тюленить вовсе. А ещё я сходил на огненную хастл-вечеринку, где была куча народу с Физтеха.
Счастлив как слон, потому что не танцевал и не общался с людьми вживую целую вечность!
Счастлив как слон, потому что не танцевал и не общался с людьми вживую целую вечность!
Мем в том, что мою горячо любимую научную руководительницу зовут Татьяна Бабичева, но это не она))
Сегодня
#day_0016
Сделанное за день:
1. Научная работа: почти построил граф камер.
2. Планирование: завтра экзамен по криптографии, надо его сдать, потом получить результаты медосмотра и возможно сходить на почту. После позаниматься научкой и вечером сесть за эконометрику в Академии, далее опять научка и спать.
3. Пианино и книжки: пианино сегодня не затронуто, книги -- начал читать Курпатова. Мотивирует.
4. Режим дня: ну такое(
5. Тренировка памяти: сегодня повторял пройденное, завтра буду ботать новый алгоритм с утра.
25.01.2020г.#day_0016
Сделанное за день:
1. Научная работа: почти построил граф камер.
2. Планирование: завтра экзамен по криптографии, надо его сдать, потом получить результаты медосмотра и возможно сходить на почту. После позаниматься научкой и вечером сесть за эконометрику в Академии, далее опять научка и спать.
3. Пианино и книжки: пианино сегодня не затронуто, книги -- начал читать Курпатова. Мотивирует.
4. Режим дня: ну такое(
5. Тренировка памяти: сегодня повторял пройденное, завтра буду ботать новый алгоритм с утра.
👍1
Сегодня
#day_0017
Я, кажется, закрыл сессию. Сегодня вообще много сделал: написал контрошку по криптографии, потом сгонял до почты и в Долгопу, потому что результаты медосмотра отказались присылать в электронном виде, отнёс их на работу, послушал пару по эконометрике и даже немножко поучаствовал, а ещё сделал домашку по злосчастной крипте и даже отправил до дедлайна. Ежедневные штуки отложил, ибо много всего успеть надо было. Кстати, вчера составил себе финплан на два месяца, но забыл написать об этом в канальчик :)
Сделанное за день:
1. Научная работа: ничего.
2. Планирование: завтра всё ещё нерабочий (вроде как подписываю договор в четверг), поэтому буду сидеть за научкой. Сегодня купил себе немножко ETFов на ИИС, хочу попробовать инвестировать 75% дохода в стабильные активы типа индексов в соотношении 70% на ИИС, 30% на брокерский (чтобы можно было всегда снять на всякий случай) и 25% в нестабильные в соотношении 60% на ИИС, 40% на брокерский счёт, а ещё отдельно откладывать деньги на макбук. Возможно, их тоже лучше инвестировать, или хотя бы перевести в валюту, я пока не решил. Если есть соображения, делитесь в комментах (ну пожалуйста).
3. Пианино и книжки: сегодня ноль.
4. Режим дня: надеюсь, сейчас буду налаживать.
5. Тренировка памяти: отложилась на завтра, надо, видимо, найти менее жрущий время вариант тренировки, или бить тренировки на протяжении дня на кусочки.
26.01.2020г.#day_0017
Я, кажется, закрыл сессию. Сегодня вообще много сделал: написал контрошку по криптографии, потом сгонял до почты и в Долгопу, потому что результаты медосмотра отказались присылать в электронном виде, отнёс их на работу, послушал пару по эконометрике и даже немножко поучаствовал, а ещё сделал домашку по злосчастной крипте и даже отправил до дедлайна. Ежедневные штуки отложил, ибо много всего успеть надо было. Кстати, вчера составил себе финплан на два месяца, но забыл написать об этом в канальчик :)
Сделанное за день:
1. Научная работа: ничего.
2. Планирование: завтра всё ещё нерабочий (вроде как подписываю договор в четверг), поэтому буду сидеть за научкой. Сегодня купил себе немножко ETFов на ИИС, хочу попробовать инвестировать 75% дохода в стабильные активы типа индексов в соотношении 70% на ИИС, 30% на брокерский (чтобы можно было всегда снять на всякий случай) и 25% в нестабильные в соотношении 60% на ИИС, 40% на брокерский счёт, а ещё отдельно откладывать деньги на макбук. Возможно, их тоже лучше инвестировать, или хотя бы перевести в валюту, я пока не решил. Если есть соображения, делитесь в комментах (ну пожалуйста).
3. Пианино и книжки: сегодня ноль.
4. Режим дня: надеюсь, сейчас буду налаживать.
5. Тренировка памяти: отложилась на завтра, надо, видимо, найти менее жрущий время вариант тренировки, или бить тренировки на протяжении дня на кусочки.
Сегодня
Сделанное за день:
1. Научная работа: научился ставить точки на карте (лол), но хз, как их соединять дорогами из гуглкарт, звучит как что-то уже написанное, но я не нашёл.
Ещё пытаюсь распарсить данные из датасета STREETS, хочу в итоге получить такой формат:
2. Планирование: с утра поработаю с памятью, потом сгоняю подпишу договор и потом встречаться с подругой. Надо успеть до пары по метрикам. Вечером опять поботаю научку, а перед ней опять память.
3. Пианино и книжки: поиграл, почитал про центризм. Всегда считал себя праваком, но, кажется, я всё-таки центрист, ну там, малые группы и всё такое.
4. Режим дня: no comments.
5. Тренировка памяти: немножко позапоминал всякое, прогулялся по квартире визуально.
27.01.2020г.
#day_0018Сделанное за день:
1. Научная работа: научился ставить точки на карте (лол), но хз, как их соединять дорогами из гуглкарт, звучит как что-то уже написанное, но я не нашёл.
Ещё пытаюсь распарсить данные из датасета STREETS, хочу в итоге получить такой формат:
| название камеры 1 | название камеры 2 | ...
время | к-во проехавших | к-во проехавших | ...
+10мин | к-во проехавших | к-во проехавших | ...
Там всё изначально в огромном json, поэтому жопа горит в попытках подружить pandas и это говно. Грустно, что авторы статей по датасету не выкладывают весь код, которым они с этим всем работают.2. Планирование: с утра поработаю с памятью, потом сгоняю подпишу договор и потом встречаться с подругой. Надо успеть до пары по метрикам. Вечером опять поботаю научку, а перед ней опять память.
3. Пианино и книжки: поиграл, почитал про центризм. Всегда считал себя праваком, но, кажется, я всё-таки центрист, ну там, малые группы и всё такое.
4. Режим дня: no comments.
5. Тренировка памяти: немножко позапоминал всякое, прогулялся по квартире визуально.
Сегодня
Сегодня я молодец: подписал-таки договор с Конструкторским Бюро (теперь я конструкторб), встретился с подругой и понял, о чём курс по метрикам в Академии Авито. Оказалось, это не совсем про метрики, скорее про кейсы, взаимодействие в команде и питчинг идей. Спикер -- очень крутой и шаристый дядя, судя по первому впечатлению.
Сделанное за день:
1. Научная работа: пока оставил на завтра
2. Планирование: с утра надо будет потренировать память и созвониться по новой работе, спланировать и вписать всё в расписание. Потом надо будет написать заявление на удалёнку, ибо Физтех ВНЕЗАПНО решил, что надо бы увидеть всех очно и понаперезаражать. После буду делать научку, созвонюсь с научруком и запомню всякого. Можно ещё встроить куда-нибудь сюда что-нибудь залипательное, пятница же.
3. Пианино и книжки: поиграл, но ничего не читал.
4. Режим дня: похоже, всё-таки ложиться в 22 сложновато, ибо поздно встаю. Буду пробовать ложиться в полночь.
5. Тренировка памяти: запоминал трудные места в регрессиях.
28.01.2020г.
#day_0019Сегодня я молодец: подписал-таки договор с Конструкторским Бюро (теперь я конструкторб), встретился с подругой и понял, о чём курс по метрикам в Академии Авито. Оказалось, это не совсем про метрики, скорее про кейсы, взаимодействие в команде и питчинг идей. Спикер -- очень крутой и шаристый дядя, судя по первому впечатлению.
Сделанное за день:
1. Научная работа: пока оставил на завтра
2. Планирование: с утра надо будет потренировать память и созвониться по новой работе, спланировать и вписать всё в расписание. Потом надо будет написать заявление на удалёнку, ибо Физтех ВНЕЗАПНО решил, что надо бы увидеть всех очно и понаперезаражать. После буду делать научку, созвонюсь с научруком и запомню всякого. Можно ещё встроить куда-нибудь сюда что-нибудь залипательное, пятница же.
3. Пианино и книжки: поиграл, но ничего не читал.
4. Режим дня: похоже, всё-таки ложиться в 22 сложновато, ибо поздно встаю. Буду пробовать ложиться в полночь.
5. Тренировка памяти: запоминал трудные места в регрессиях.