На данный момент я собираюсь решать на каггле kore (RL) и ещё какую нибудь соревку (пока не определился да и школа пока ещё мешает). Собственно сам вопрос: стоит ли делать посты по ходу того, как я буду решать эти соревки (по типу "сегодня сделал это, получил то"), и если стоит, то насколько часто?

А пока держите ссылочку на новый курс от Hugging Face по RL

Я успешно слил фиола (1939 - (~120) = ~1819) . Поста про глобал не будет( Скажу только что задачи мне оч не понравились). Но будет пост про каггл

Очень "крутой" раунд (это предиктор на вкладке с друзьями)

Сегодня начал смотреть https://www.kaggle.com/competitions/kore-2022/overview. С виду прикольная соревка, кажется есть немало хороших стратегий (ну а что, игра все таки). Но у меня в планах не стратегии ифать, а всякие штуки обучать (и не потому что я ленивый, а потому что хочется сделать нормальное масштабируемое rl-решение).

Кратко правила игры:
Изначально есть верфь, которая может строить и запускать флоты (группы кораблей) по заранее заданным циклическим маршрутам. Корабли могут добывать руду, если попали в клетку с ней, могут сражаться с другими кораблями, если он в соседних клетках. Задача - собрать как можно больше руды или уничтожить врага.

Какие основные проблемы:
1) у нас большое пространство возможных действий из-за маршрутов - их 440 (поле 21х21, следовательно всего 441 клетка, 1 из которых - текущая).
2) у нас есть враг, который будет нам мешать

2я проблема связана с 1й - обе решаются грамотным построением маршрутов. В первом случае надо максимально далеко от врагов по наибольшим скоплениям руды. Во втором наоборот - не проходить через руду, идти максимально близко к врагам. Впринципе это уже выглядит как 2 симметричные стратегии, но я думаю RL сможет понять это сам.

Что я планирую делать:
1) эвристики - рандомизированные взвешенные решения на основе важностей тех или иных клеток (тут еще будет немного алгоритмов)
2) перейти к полностью эвристическому решению (убрать алгоритмы, чтобы код сам решал какие пути ему важнее)
3) обучить какой нибудь alphazero и mlp. Alphazero на принятие решений (в какую клетку лететь и циклически или обратно), mlp на построение путей (можно наверно даже какой нибудь lstm или обычный эвристический алгоритм)
4) Перейти к полностью ИИшному принятию решений и построению путей - пусть alphazero (или иная архитектура) сама выберет маршрут (на самом деле их гораздо больше 400, их 4**20 примерно (раньше мы могли алгоритмически искать эффективный маршрут, теперь нам лень думать и мы хотим заставить думать нейронку), из-за чего будут явные проблемы с обучением, так как в классификатор мы такое не запихнем никак, а рекуррентно строить пути не самая лучшая затея)

Но пока это только планы. По мере реализации вышеописанных пунктов и успехов я буду выкладывать свои ноутбуки на соответствующей вкладке в соревке. (если не залутаю медальку за соревку, то наверняка будут хотя бы медальки за ноутбуки и обсуждения)

Какой же кайфовый вид из качалки отеля ...
С телефона это конечно хуже смотриться, но тоже неплохо

Пост про спорт имеет 14% лайков (относительно просмотров),
пост про каггл имеет 3% лайков.

Это многое говорит об обществе....

Довольно неплохая программа для последнего дня награждения НТО ИИ.
Лекция от Соколова кстати очень актуальна, ведь там будет 25 человек, многие из которых занимаются ds'ом (в том числе нейронками) уже несколько лет

Обязательно задам вопрос Соколову, почему ИИ не даёт бви на ФКН)

Ответ: скоро (в мае) скорее всего на фкн объявят конкурс на набор на бюджет по портфолио (я так понимаю что то вроде гранта на физтех). В следующем году обещает добавить НТО ИИ в список на ФКН