Всем удачи завтра хорошо сдать ЕГЭ по информатике и подтвердить свои дипломы!)

🔥SberDevices подняли бота, в котором можно опробовать YaLM - самую топовую на данный момент языковую модель для русского языка, согласно лб russian super glue

⏳ Коротко о том, как пройдут у меня ближайшие 3 дня)

🎇 Завтра: выпускной (включая вручение аттестата и медали) и возможно результаты ЕГЭ по инфе

🌉Послезавтра: поездка в Питер экскурсия по ИТМО (за один хакатон) и уже наверняка резы ЕГЭ по инфе

🔥Через 2 дня: долгожданный переезд в Москву на всё лето, возможность ходить в офис и посещать различные культурные мероприятия компании)))

Так что в ближайшее время канал оживёт 👌

P.S. А потом все-таки пойдут посты про соревки на каггле и одсе, в этот раз уже точно

Еду в Москву, чтобы оттуда полететь в Питер на экскурсию по ИТМО. Заодно надеюсь сегодня-завтра придут резы инфы и подам доки в СПб ВШЭ 👍

UPD: 90 по инфе: забыл поделить на 2 в 26 и ещё 11 и 13 неправильные. Но главное 75+)

Кажется приемная комиссия вышки по субботам не работает....

А ещё хочу похвастаться: пришла моя первая зарплата!)

✅ Заявка на ПАД питерской вышки подана (бви), надеюсь нигде не ошибся

Жизнь в Москве:

Ожидание:
- ходишь в офис
- ходишь в спортзал
- гуляешь с друзьями
- успеваешь заниматься самообразованием и решать соревки

Реальность:
- сходил в офис
- сходил в спортзал
- умер

Полезный пост с кучей ссылок: 3 реакции и 0 комментариев
Какой-то шитпостинг: 20 реакций и 15 комментариев
Это многое говорит об обществе....

Ладно, а теперь нормальный пост (тоже шитпостинг):
1) сегодня готовил макароны по-флотски и омлет, ничего даже не сгорело
2) мне одобрили заявку в вышку, но в списки еще не занесли
3) а еще был очень продуктивный рабочий день, во время которого я успел часа 2 поспать

💻 Интересный факт (рабочий опыт):

Оказывается сводить задачу multilabel классификации к обычной multiclassification иногда бывает очень полезно и эффективно

Я пока не знаю о чем писать, поэтому держите полезный пост с одного хорошего канала)

#useful

👾 Я вот три тыщи лет не писал и сейчас не собирался, но люди подходят на улицах и просят продолжать блог, эх...

💡 Запилил вам целую статью с описанием и сравнением ⚡️ скорости ⚡️ разных обработчиков табличек с python. Очень-очень старался, потратил на это кучу времени и сил. Тыкать сюда.

⏰ Вечером ждите новый постик про то, как у меня дела!

✅ Аттестат и согласие поданы, теперь осталось ждать приказа о зачислении)

⏳ Анонс:

Внезапно выяснилось, что рассказ о моих задачах в Точке и некоторых основных фишках в моих решениях данных задач не является NDA.

Так что сегодня-завтра будет длиннопост о впечатлениях от работы в Точке, о паре моих задач, а также возможно о чем-нибудь ещё (можете написать тут в комментах что хотели бы узнать)

#стажировка
🔥 Прошло уже больше месяца с начала моей стажировки в Точке на позиции Data Scientist'а, и я готов рассказать о том, каково тут работать, несколько интересные тут задачи и конечно же о своих успехах

💻 Кратко о Точке

Это цифровой банк без физических офисов, ориентированный на предоставление услуг для юридических лиц

👀 Общие впечатления от стажировки

Постоянная связь с ментором, приятная и дружелюбная атмосфера на созвонах и в офисе, отсутствие жестких рамок (главное выполнить задачу), удобные рабочие системы, наличие корпоративных курсов и блогов, приятные офисы (я был только в московском и мне понравилось, а говорят главный офис в екб в разы лучше) - в общем, работать одно удовольствие)

🏆 Теперь о моих задачах и успехах

1) Сначала мне выдали довольно простую но при этом очень интересную задачу - пересмотреть категориальную фичу в одном из сервисов. Тут я опробовал впервые сразу несколько разных штук, которые раньше не трогал - графовые эмбеддинги, эмбеддинги из нейронок и все это с хитрыми преобразованиями - в конечном итоге даже удалось чуть-чуть улучшить результат 0.867->0.869 и самое главное - избавится от даталика (фактически, незаметного переобучения, которое иногда бывает критически важным)

2) Далее мне выдали уже серьезную и важную задачу - разработать модель классификации звонков клиентов, чтобы определить проблемы и выслать клиенту конспекты с решениями его проблем. Сложности были с самого начала - мало размеченных данных, плохое качество фичей и самой разметки (все-таки даже людям иногда сложно определить что же все-таки клиенту надо), крайне несбалансированные классы (были 3 наиболее частые проблемы и еще несколько сотен которые встречались крайне редко, но были не менее важны), а также нередко требовалось сразу несколько конспектов. Сначала я просто пробовал разные методы, затем смотрел разные модели и параметры, пробовал разные методы обработки данных, за счет чего неплохо увеличил метрики бейзлайна:

roc_auc 0.63 -> 0.916
f1_score 0.055 -> 0.44
accuracy 0.223 -> 0.58

Затем я заметил, что обычно некоторые конспекты идут "группами" - например если есть конспект А то почти всегда есть конспект Б - поэтому я просто выделил такие группы и свел multilabel classification к обычной multiclassification, то еще сильнее улучшило метрики:

roc_auc 0.916 -> 0.937
f1_score 0.44 -> 0.532
accuracy 0.58 -> 0.628

Ну и после некоторого тюна параметров удалось сделать модель "уверенней":

accuracy 0.628 -> 0.696
roc_auc 0.937 -> 0.924

Таким образом после некоторых мучений я опробовал кучу методов, узнал несколько хитрых трюков (сведение к multiclassification лишь один из них) и сделал неплохую модель, которую возможно даже выкатят в прод)

⏳Вывод

Несмотря на то, что в вузе обещают очень жесткую учебу и отсутствие времени, я все-таки планирую после лета продолжить работать, но уже 20 часов в неделю а не 40. Все-таки на первое место встанут учеба и попытки не вылететь)

#мем
Когда выдали невнятное ТЗ и ты пытаешься найти выход из ситуации