Happy programmer’s day!!! Have a bug-free code and indulgent project managers.

Починаю свій авторський курс по Data Science - основи часових рядів як куратор і лектор. Завтра записуємо вступну лекцію. Курс закладе основи аналізу та прогнозування часових рядів, фундамент на якому будуються вже більш складні та високо рангові задачі часових рядів. Спойлер, оскільки це перший такий курс в Україні, було прийнято рішення робити його базовим. Наступні будуть вже більш продвинуті у яких розглянемо в том числі стохастичні процеси та глибоке навчання, але основи аналізу часових рядів обов‘язикові для подальшої роботи навіть із глибокими моделями і чому - ми розглянемо на курсі.

Starting my very first Data Science - Timeseries Baseline course as a curator and lector. Will be filming our introductory lecture tomorrow - the basics of time series as a curator and lecturer. Tomorrow we will record the introductory lecture. This course will lay foundations for the time series analysis and forecast, the basis on which are built more complex and highly noisy time series problems. Spoiler, this is first such course in Ukraine, so I decided to give baseline of time series analysis and forecasting. In future courses I’m planning to give a full grasp into deep learning for time series and stochastic process modelling. But all this approaches require baseline techniques.

https://prjctr.online/time-series-baseline.html?gclid=Cj0KCQjwssyJBhDXARIsAK98ITTpnHF_TryL6ymWfCW9pgWbKBQ8stnQ5OxtnpLR7Pj4KA9RNA4nR-saAsx5EALw_wcB

Self-learning agents for pair games by Facebook AI https://ai.facebook.com/research/publications/control-strategies-for-physically-simulated-characters-performing-two-player-competitive-sports

Приходьте на вебінар по часовим рядам, що це взагалі таке і чому вони дуже перспективні, а також які задачі можна за їх допомогою вирішувати. Розглянемо крутий кейс як Apple Watch рятує життя https://prjctr.com/events/time-series-next-big-thing.html

📣 youtube запись вебинара @hav4ik https://youtu.be/aU9yEwgrJ54

One of the best lectures I’ve heard

https://youtu.be/RjFA2288AIA крута лекція від Галини Олійник - автора курсу Deep learning for NLP у Проджекторі, а також Senior Data Scientist у Delivery Hero

🦑 Полезные ссылки для старта в Quantum Machine Learning

💡Концепция квантового машинного обучения
🔢 Туториал по quantum neural network (QNN) упрощенного MNIST + colab
🏞 Quantum Convolutional Neural Network: туториал + colab
📰 Paper: Classification with Quantum Neural Networks on Near Term Processors
📄 Paper: TensorFlow Quantum:
A Software Framework for Quantum Machine Learning
📚TensorFlow Quantum TFQ
📼 YouTube: TensorFlow Quantum hybrid quantum-classical machine learning

Time series Classification with CNN on imbalanced classes #imbalance #classification

Time Series baseline approaches & techniques by Jason Brownlee (author of https://machinelearningmastery.com) #book #timeseries

Deep Learning for Time Series by Jason Brownlee - (author of https://machinelearningmastery.com) #deeptimeseries #book

Reainforcement Learning Bible #book #reinforcementlearning

Another excellent blog post series
https://lilianweng.github.io/lil-log/2021/12/05/semi-supervised-learning.html

Wavelets for Computer Vision and Graphics literature https://grail.cs.washington.edu/projects/wavelets/

Grokking: оверфиттинг это ещё не конец (by OpenAI)

Все мы знаем, что если обучающих данных мало, то модель скорее всего заоверфиттится, запомнив весь датасет. Но оказалось, что если в этот момент не останавливать обучение и продолжать его даже при нулевой ошибке на трейне, то через какое-то время нейронка всё-таки научится обобщать.

У OpenAI таким образом удалось обучить небольшой трансформер решать уравнения, которые он никогда не видел! Грубо говоря, модель смогла заполнить пропущенные слоты в таблице умножения. При этом такая супер-обобщающая способность наступала гораздо позднее оверфиттинга, когда большинство из нас уже выкинули бы модель в помойку.

Похоже, что самую важную роль в этом эффекте играет weight decay, благодаря которому модель в конце-концов переходит от простого запоминания обучающих примеров к аналитическому решению задачи. Из интересных наблюдений — при визуализации эмбеддингов видны математические структуры, помогающие находить ответы.

Статья, видео

🎓🔥 OpenAI обучили нейросеть для решения задач олимпиадой математики, способную доказывать теоремы

OpenAI создали нейронный прувер теорем, который научился решать множество сложных задач олимпиадой математики.

Это языковая модель для построения формальных доказательств и утверждений. Формально — GPT-3 с 774M обучаемыми параметрами (36тислойный трансформер).

Обучение происходит по методологии expert iteration: каждый раз, когда находится новое доказательство, оно поступает в датесет новых данных для обучения, что улучшает нейронную сеть и позволяет ей итеративно находить решения для все более и более сложных задач.

📑 paper 📝 blog post

Time Series topic

A Neural Network based Time-Series model, inspired by Facebook Prophet and AR-Net, built on PyTorch. 🧭

paper:
https://www.arxiv-vanity.com/papers/1911.12436/

code: https://github.com/ourownstory/neural_prophet