Сегодня 21
Сегодня я молодец, потому что чётко прописал план по первой части диплома, написал Райгородскому насчёт языка (ребята сказали, что вроде бы можно писать только на русском, вот я и встрепенулся) и чуть переделал все оставшиеся части плана. А ещё сделал саммари по идее PCA (инфу взял из Бишопа, с хабра и из статьи, которая там прикреплена).
Сделанное за день:
1. Научная работа: переформулировал план диплома на английском, задал кучу вопросов в ODS и начал смотреть статьи по Traffic Flows prediction. Ещё доделал-таки план по первой, обзорной, части.
2. Планирование: с утра пойду на медосмотр, потом буду планировать научку.
3. Пианино и книжки: саммари по Эйнштейну отодвигается на послезавтра.
4. Режим дня: антихайп, ложусь в полночь.
5. Тренировка памяти: сегодня запомнил PCA, но не запомнил всего матана за SVD, надо будет завтра перепонять его.
.01.2020г.
#day_0013Сегодня я молодец, потому что чётко прописал план по первой части диплома, написал Райгородскому насчёт языка (ребята сказали, что вроде бы можно писать только на русском, вот я и встрепенулся) и чуть переделал все оставшиеся части плана. А ещё сделал саммари по идее PCA (инфу взял из Бишопа, с хабра и из статьи, которая там прикреплена).
Сделанное за день:
1. Научная работа: переформулировал план диплома на английском, задал кучу вопросов в ODS и начал смотреть статьи по Traffic Flows prediction. Ещё доделал-таки план по первой, обзорной, части.
2. Планирование: с утра пойду на медосмотр, потом буду планировать научку.
3. Пианино и книжки: саммари по Эйнштейну отодвигается на послезавтра.
4. Режим дня: антихайп, ложусь в полночь.
5. Тренировка памяти: сегодня запомнил PCA, но не запомнил всего матана за SVD, надо будет завтра перепонять его.
#diploma
План моего диплома:
1st part: "Low-power object detection methods"
1.1. Object Detection methods in CV
1.1.1. Classic methods
1.1.1.1. Scale Invariant Feature Transformer (SIFT),
1.1.1.2. Speeded Up Robust Features (SURF),
1.1.1.3. Features from Accelerated Segment Test (FAST),
1.1.1.4. Hough transforms,
1.1.1.5. Geometric hashing.
1.1.2. Deep Learning methods
1.1.2.1. CNN's + strides + padding ideas
1.1.2.2. ResNets
1.1.2.3. InceptionNets
1.1.2.4. Deep CNN's
1.1.2.5. Bounding box, anchors ideas
1.1.2.6. YOLO
1.1.2.7. SSD
1.1.2.8. R-CNN
1.2. Low-power CV methods optimization
1.2.1. Why deep learning?
1.2.2. How to choose the right NN
1.2.3. Model compression methods
1.2.3.1. Backbone optimization
1.2.3.2. Pruning
1.2.3.3. Quantization
1.2.3.4. Knowledge distillation
1.3. Work done on outsourcing
1.3.1. YOLO tests
1.3.2. Model pruning
1.3.3. Results
2nd part: "Interaction processes in transport systems modelling"
2.1. A jump from object detection results to predictions (for now it might be a simple algorithm)
2.1.1. Find a dataset (STREETS or Porto)
2.1.2. Make an EDA
2.1.3. Look through the solutions on Kaggle, Google Scholar, OpenDataScience (russian DS community)
2.1.4. Make a simple predicting network with accuracy at least 60%
2.1.5. Get real-time data (generate it???) (*)
2.1.6. Try modelling on real data (*)
2.2. Lean more about Tanka's thesis
2.2.1. Formulate the optimization problem (maybe simple examples)
2.2.2. Replace the calculations by numerical model
2.2.3. Get the model
2.2.4. Potential benefits
2.2.2.1. System's scalability
2.2.2.2. Independence from time and weather impacts
3rd part: work with priority lines, their optimization, autonomous vehicles (local example)
3.1. Paper with Belkina as an Braess paradox example
3.2. Formulate the optimization problem for a local problem
3.3. Get some data and examples for local problem
3.4. Optimize it using different methods
3.5. Compare and interpret them
3.6. Find examples of the optimized models
4th part: local problem -> global problem
План моего диплома:
1st part: "Low-power object detection methods"
1.1. Object Detection methods in CV
1.1.1. Classic methods
1.1.1.1. Scale Invariant Feature Transformer (SIFT),
1.1.1.2. Speeded Up Robust Features (SURF),
1.1.1.3. Features from Accelerated Segment Test (FAST),
1.1.1.4. Hough transforms,
1.1.1.5. Geometric hashing.
1.1.2. Deep Learning methods
1.1.2.1. CNN's + strides + padding ideas
1.1.2.2. ResNets
1.1.2.3. InceptionNets
1.1.2.4. Deep CNN's
1.1.2.5. Bounding box, anchors ideas
1.1.2.6. YOLO
1.1.2.7. SSD
1.1.2.8. R-CNN
1.2. Low-power CV methods optimization
1.2.1. Why deep learning?
1.2.2. How to choose the right NN
1.2.3. Model compression methods
1.2.3.1. Backbone optimization
1.2.3.2. Pruning
1.2.3.3. Quantization
1.2.3.4. Knowledge distillation
1.3. Work done on outsourcing
1.3.1. YOLO tests
1.3.2. Model pruning
1.3.3. Results
2nd part: "Interaction processes in transport systems modelling"
2.1. A jump from object detection results to predictions (for now it might be a simple algorithm)
2.1.1. Find a dataset (STREETS or Porto)
2.1.2. Make an EDA
2.1.3. Look through the solutions on Kaggle, Google Scholar, OpenDataScience (russian DS community)
2.1.4. Make a simple predicting network with accuracy at least 60%
2.1.5. Get real-time data (generate it???) (*)
2.1.6. Try modelling on real data (*)
2.2. Lean more about Tanka's thesis
2.2.1. Formulate the optimization problem (maybe simple examples)
2.2.2. Replace the calculations by numerical model
2.2.3. Get the model
2.2.4. Potential benefits
2.2.2.1. System's scalability
2.2.2.2. Independence from time and weather impacts
3rd part: work with priority lines, their optimization, autonomous vehicles (local example)
3.1. Paper with Belkina as an Braess paradox example
3.2. Formulate the optimization problem for a local problem
3.3. Get some data and examples for local problem
3.4. Optimize it using different methods
3.5. Compare and interpret them
3.6. Find examples of the optimized models
4th part: local problem -> global problem
Сегодня
#day_0014
Прошёл техосмотр моей тушки и нашёл нормальные датасеты по traffic flow. Теперь есть с чем работать.
Сделанное за день:
1. Научная работа: нашёл датасеты, сделал поверхностный EDA. Завтра буду подробней изучать.
2. Планирование: завтра весь день научка и мб фильмец с утра посмотрю. Ещё надо с утра прямо написать отзыв на Эйнштейна, и выписать основные мнемотехники оттуда.
3. Пианино и книжки: поиграл на пианино. Саммари по "Эйнштейн гуляет по Луне": крутая книжка про мнемотехники и систематизацию для тех, кто хочет чуть улучшить память. Некоторые моменты для меня вообще были откровением.
4. Режим дня: ща пойду спать (в 22!).
5. Тренировка памяти: разобрался в том, как SVD заюзать в PCA так, чтобы ускорить алгоритм. Завтра буду запоминать и переделывать образ в памяти, сейчас это кит около зеркала в прихожей и светящаяся магическая руна (матрица ковариации).
21.01.2020г.#day_0014
Прошёл техосмотр моей тушки и нашёл нормальные датасеты по traffic flow. Теперь есть с чем работать.
Сделанное за день:
1. Научная работа: нашёл датасеты, сделал поверхностный EDA. Завтра буду подробней изучать.
2. Планирование: завтра весь день научка и мб фильмец с утра посмотрю. Ещё надо с утра прямо написать отзыв на Эйнштейна, и выписать основные мнемотехники оттуда.
3. Пианино и книжки: поиграл на пианино. Саммари по "Эйнштейн гуляет по Луне": крутая книжка про мнемотехники и систематизацию для тех, кто хочет чуть улучшить память. Некоторые моменты для меня вообще были откровением.
4. Режим дня: ща пойду спать (в 22!).
5. Тренировка памяти: разобрался в том, как SVD заюзать в PCA так, чтобы ускорить алгоритм. Завтра буду запоминать и переделывать образ в памяти, сейчас это кит около зеркала в прихожей и светящаяся магическая руна (матрица ковариации).
Сегодня
#day_0015
Сегодня какая-то обыкновенная пятница. Ничего особенного не произошло, но написал саммари по мнемотехникам и неплохо посидели с научруком в скайпе))
Сделанное за день:
1. Научная работа: НАДО КОДИТЬ (блин), уточнил план и цели моделирования.
2. Планирование: ееееее выходные!!! С утра сяду за неделю Воронцова, потом прогуляюсь виртуально по какому-нибудь дворцу, чтобы его запомнить, после чуть позанимаюсь научкой.
3. Пианино и книжки: играю на пианино вот_прям_щас (да, в 12 ночи, что вы мне сделаете). Книжки -- пока 0.
4. Режим дня: как-то через день ложусь вовремя :(
5. Тренировка памяти: сегодня забил, извинити.
22.01.2020г.#day_0015
Сегодня какая-то обыкновенная пятница. Ничего особенного не произошло, но написал саммари по мнемотехникам и неплохо посидели с научруком в скайпе))
Сделанное за день:
1. Научная работа: НАДО КОДИТЬ (блин), уточнил план и цели моделирования.
2. Планирование: ееееее выходные!!! С утра сяду за неделю Воронцова, потом прогуляюсь виртуально по какому-нибудь дворцу, чтобы его запомнить, после чуть позанимаюсь научкой.
3. Пианино и книжки: играю на пианино вот_прям_щас (да, в 12 ночи, что вы мне сделаете). Книжки -- пока 0.
4. Режим дня: как-то через день ложусь вовремя :(
5. Тренировка памяти: сегодня забил, извинити.
...а у меня благая весть, теперь я знаю,
Кто отрицательный герой в моей судьбе,
Теперь альтернатива есть, я выбираю месть
Самому себе, месть самому себе.
Я буду помнить обо всем, я изучаю
Под микроскопом каждый пройденный этап,
Я нападаю перед сном,
Когда противник слаб.
Кто отрицательный герой в моей судьбе,
Теперь альтернатива есть, я выбираю месть
Самому себе, месть самому себе.
Я буду помнить обо всем, я изучаю
Под микроскопом каждый пройденный этап,
Я нападаю перед сном,
Когда противник слаб.
В эти выходные я тюленил: решил, что раз уж в понедельник начинаются пары в Академии Авито, надо хорошенько потюленить, чтобы потом не тюленить вовсе. А ещё я сходил на огненную хастл-вечеринку, где была куча народу с Физтеха.
Счастлив как слон, потому что не танцевал и не общался с людьми вживую целую вечность!
Счастлив как слон, потому что не танцевал и не общался с людьми вживую целую вечность!
Мем в том, что мою горячо любимую научную руководительницу зовут Татьяна Бабичева, но это не она))
Сегодня
#day_0016
Сделанное за день:
1. Научная работа: почти построил граф камер.
2. Планирование: завтра экзамен по криптографии, надо его сдать, потом получить результаты медосмотра и возможно сходить на почту. После позаниматься научкой и вечером сесть за эконометрику в Академии, далее опять научка и спать.
3. Пианино и книжки: пианино сегодня не затронуто, книги -- начал читать Курпатова. Мотивирует.
4. Режим дня: ну такое(
5. Тренировка памяти: сегодня повторял пройденное, завтра буду ботать новый алгоритм с утра.
25.01.2020г.#day_0016
Сделанное за день:
1. Научная работа: почти построил граф камер.
2. Планирование: завтра экзамен по криптографии, надо его сдать, потом получить результаты медосмотра и возможно сходить на почту. После позаниматься научкой и вечером сесть за эконометрику в Академии, далее опять научка и спать.
3. Пианино и книжки: пианино сегодня не затронуто, книги -- начал читать Курпатова. Мотивирует.
4. Режим дня: ну такое(
5. Тренировка памяти: сегодня повторял пройденное, завтра буду ботать новый алгоритм с утра.
👍1
Сегодня
#day_0017
Я, кажется, закрыл сессию. Сегодня вообще много сделал: написал контрошку по криптографии, потом сгонял до почты и в Долгопу, потому что результаты медосмотра отказались присылать в электронном виде, отнёс их на работу, послушал пару по эконометрике и даже немножко поучаствовал, а ещё сделал домашку по злосчастной крипте и даже отправил до дедлайна. Ежедневные штуки отложил, ибо много всего успеть надо было. Кстати, вчера составил себе финплан на два месяца, но забыл написать об этом в канальчик :)
Сделанное за день:
1. Научная работа: ничего.
2. Планирование: завтра всё ещё нерабочий (вроде как подписываю договор в четверг), поэтому буду сидеть за научкой. Сегодня купил себе немножко ETFов на ИИС, хочу попробовать инвестировать 75% дохода в стабильные активы типа индексов в соотношении 70% на ИИС, 30% на брокерский (чтобы можно было всегда снять на всякий случай) и 25% в нестабильные в соотношении 60% на ИИС, 40% на брокерский счёт, а ещё отдельно откладывать деньги на макбук. Возможно, их тоже лучше инвестировать, или хотя бы перевести в валюту, я пока не решил. Если есть соображения, делитесь в комментах (ну пожалуйста).
3. Пианино и книжки: сегодня ноль.
4. Режим дня: надеюсь, сейчас буду налаживать.
5. Тренировка памяти: отложилась на завтра, надо, видимо, найти менее жрущий время вариант тренировки, или бить тренировки на протяжении дня на кусочки.
26.01.2020г.#day_0017
Я, кажется, закрыл сессию. Сегодня вообще много сделал: написал контрошку по криптографии, потом сгонял до почты и в Долгопу, потому что результаты медосмотра отказались присылать в электронном виде, отнёс их на работу, послушал пару по эконометрике и даже немножко поучаствовал, а ещё сделал домашку по злосчастной крипте и даже отправил до дедлайна. Ежедневные штуки отложил, ибо много всего успеть надо было. Кстати, вчера составил себе финплан на два месяца, но забыл написать об этом в канальчик :)
Сделанное за день:
1. Научная работа: ничего.
2. Планирование: завтра всё ещё нерабочий (вроде как подписываю договор в четверг), поэтому буду сидеть за научкой. Сегодня купил себе немножко ETFов на ИИС, хочу попробовать инвестировать 75% дохода в стабильные активы типа индексов в соотношении 70% на ИИС, 30% на брокерский (чтобы можно было всегда снять на всякий случай) и 25% в нестабильные в соотношении 60% на ИИС, 40% на брокерский счёт, а ещё отдельно откладывать деньги на макбук. Возможно, их тоже лучше инвестировать, или хотя бы перевести в валюту, я пока не решил. Если есть соображения, делитесь в комментах (ну пожалуйста).
3. Пианино и книжки: сегодня ноль.
4. Режим дня: надеюсь, сейчас буду налаживать.
5. Тренировка памяти: отложилась на завтра, надо, видимо, найти менее жрущий время вариант тренировки, или бить тренировки на протяжении дня на кусочки.
Сегодня
Сделанное за день:
1. Научная работа: научился ставить точки на карте (лол), но хз, как их соединять дорогами из гуглкарт, звучит как что-то уже написанное, но я не нашёл.
Ещё пытаюсь распарсить данные из датасета STREETS, хочу в итоге получить такой формат:
2. Планирование: с утра поработаю с памятью, потом сгоняю подпишу договор и потом встречаться с подругой. Надо успеть до пары по метрикам. Вечером опять поботаю научку, а перед ней опять память.
3. Пианино и книжки: поиграл, почитал про центризм. Всегда считал себя праваком, но, кажется, я всё-таки центрист, ну там, малые группы и всё такое.
4. Режим дня: no comments.
5. Тренировка памяти: немножко позапоминал всякое, прогулялся по квартире визуально.
27.01.2020г.
#day_0018Сделанное за день:
1. Научная работа: научился ставить точки на карте (лол), но хз, как их соединять дорогами из гуглкарт, звучит как что-то уже написанное, но я не нашёл.
Ещё пытаюсь распарсить данные из датасета STREETS, хочу в итоге получить такой формат:
| название камеры 1 | название камеры 2 | ...
время | к-во проехавших | к-во проехавших | ...
+10мин | к-во проехавших | к-во проехавших | ...
Там всё изначально в огромном json, поэтому жопа горит в попытках подружить pandas и это говно. Грустно, что авторы статей по датасету не выкладывают весь код, которым они с этим всем работают.2. Планирование: с утра поработаю с памятью, потом сгоняю подпишу договор и потом встречаться с подругой. Надо успеть до пары по метрикам. Вечером опять поботаю научку, а перед ней опять память.
3. Пианино и книжки: поиграл, почитал про центризм. Всегда считал себя праваком, но, кажется, я всё-таки центрист, ну там, малые группы и всё такое.
4. Режим дня: no comments.
5. Тренировка памяти: немножко позапоминал всякое, прогулялся по квартире визуально.
Сегодня
Сегодня я молодец: подписал-таки договор с Конструкторским Бюро (теперь я конструкторб), встретился с подругой и понял, о чём курс по метрикам в Академии Авито. Оказалось, это не совсем про метрики, скорее про кейсы, взаимодействие в команде и питчинг идей. Спикер -- очень крутой и шаристый дядя, судя по первому впечатлению.
Сделанное за день:
1. Научная работа: пока оставил на завтра
2. Планирование: с утра надо будет потренировать память и созвониться по новой работе, спланировать и вписать всё в расписание. Потом надо будет написать заявление на удалёнку, ибо Физтех ВНЕЗАПНО решил, что надо бы увидеть всех очно и понаперезаражать. После буду делать научку, созвонюсь с научруком и запомню всякого. Можно ещё встроить куда-нибудь сюда что-нибудь залипательное, пятница же.
3. Пианино и книжки: поиграл, но ничего не читал.
4. Режим дня: похоже, всё-таки ложиться в 22 сложновато, ибо поздно встаю. Буду пробовать ложиться в полночь.
5. Тренировка памяти: запоминал трудные места в регрессиях.
28.01.2020г.
#day_0019Сегодня я молодец: подписал-таки договор с Конструкторским Бюро (теперь я конструкторб), встретился с подругой и понял, о чём курс по метрикам в Академии Авито. Оказалось, это не совсем про метрики, скорее про кейсы, взаимодействие в команде и питчинг идей. Спикер -- очень крутой и шаристый дядя, судя по первому впечатлению.
Сделанное за день:
1. Научная работа: пока оставил на завтра
2. Планирование: с утра надо будет потренировать память и созвониться по новой работе, спланировать и вписать всё в расписание. Потом надо будет написать заявление на удалёнку, ибо Физтех ВНЕЗАПНО решил, что надо бы увидеть всех очно и понаперезаражать. После буду делать научку, созвонюсь с научруком и запомню всякого. Можно ещё встроить куда-нибудь сюда что-нибудь залипательное, пятница же.
3. Пианино и книжки: поиграл, но ничего не читал.
4. Режим дня: похоже, всё-таки ложиться в 22 сложновато, ибо поздно встаю. Буду пробовать ложиться в полночь.
5. Тренировка памяти: запоминал трудные места в регрессиях.
#useful
Всякие полезности типа того, как +- устроена старая система грейдов аналитиков в Яндексе или новая в Ситимобиле. Я, кстати, не аналитик, а больше машинист-кодер, но хочу хорошо шарить в аналитике, чтобы, возможно, переметнуться через аналитику в менеджмент и не чувствовать себя совсем уж задротом.
Всякие полезности типа того, как +- устроена старая система грейдов аналитиков в Яндексе или новая в Ситимобиле. Я, кстати, не аналитик, а больше машинист-кодер, но хочу хорошо шарить в аналитике, чтобы, возможно, переметнуться через аналитику в менеджмент и не чувствовать себя совсем уж задротом.
Сегодня
Замутил огромное расписание в гуглкалендаре, в которое уместил каким-то невероятным образом работу, научку, ВУЗ и Академию Аналитиков. Обсудили научку с Танкой и созвонился по работе.
Сделанное за день:
1. Научная работа: йей, составил детальный план на эту неделю, осталось составить в общих чертах план на каждую неделю и потихоньку выполнять.
2. Планирование: с утра тренирую память, потом научка: пытаюсь сделать обширный план, расставить себе дедлайны, распарсить данные, сделать заявление на дистанционное обучение и написать это всё в документ, чтобы научрук могла отслеживать состояние дел. После я буду сидеть работать, потому что решил пока работать 6 дней в неделю по 4 часа, потом отдохну, а под конец дня надо будет ещё раз потренить память.
3. Пианино и книжки: поиграл, пока не читал
4. Режим дня: ((
5. Тренировка памяти: сегодня минус
29.01.2020г.
#day_0020Замутил огромное расписание в гуглкалендаре, в которое уместил каким-то невероятным образом работу, научку, ВУЗ и Академию Аналитиков. Обсудили научку с Танкой и созвонился по работе.
Сделанное за день:
1. Научная работа: йей, составил детальный план на эту неделю, осталось составить в общих чертах план на каждую неделю и потихоньку выполнять.
2. Планирование: с утра тренирую память, потом научка: пытаюсь сделать обширный план, расставить себе дедлайны, распарсить данные, сделать заявление на дистанционное обучение и написать это всё в документ, чтобы научрук могла отслеживать состояние дел. После я буду сидеть работать, потому что решил пока работать 6 дней в неделю по 4 часа, потом отдохну, а под конец дня надо будет ещё раз потренить память.
3. Пианино и книжки: поиграл, пока не читал
4. Режим дня: ((
5. Тренировка памяти: сегодня минус