Dimension AI | Dmitry Sirakov
1.92K subscribers
108 photos
3 videos
1 file
43 links
Рассказываю про NLP и образование.

Ссылка на чат - t.iss.one/dimensionchat
Связь - @Shadekss
Download Telegram
Forwarded from Incognito
👍1
Написал я это ваше авито. Жду приглос на собес, не иначе.
🥰4
Пятнадцатый день симулятора(15/90)

До сих пор болею, тяжко работать. Но все равно я прохожу симулятор в свободное время. Пушо тяяяяянет. Наркотики они такие
Сегодня встал, жестко нарешал ААА(кстати максимально лайтово, я даже не напрягался). Минутка на каждое и все, чилл. Жду приглос на собес, кста

По задачам:
Честно говоря, вообще не хотелось приступать к RECALL @ K. Но пришлось. Как же я не люблю Recall, Precision в 'физическом' понимании. Всегда путаюсь.

ROTATION BUG. Ну простенько. Аугментацию сделать, баг найти, тесты написать, исправить.

А теперь интересное - DECISION TREES. Начал проходить. Сходил в ClickHouse, сам сформировал себе датасет 😎
Теория оч красиво, интересно и познавательно написана. Мне зашла. Вот сейчас пошел пак задач, который мне очень заходит.

Из забавного - ходил в больницу, дали больничный, но перед этим отправили в экстренную. КАКОВО БЫЛО МОЕ УДИВЛЕНИЕ, КОГДА МНЕ ДАЖЕ ТАБЛЕТКИ ВЫДАЛИ ДЛЯ ЛЕЧЕНИЯ!!! БЕСПЛАТНО!!! У меня на Родине такое только во влажных снах снится....

Эх, Москва.
🔥32
Шестнадцатый день.
🔥71
чуть позже напишу отзыв, ибо я чет устав
👍4👎1
ЗАВЕРШАЮЩИЕ МОДУЛИ. Это все было в один день.

Они были самые интересные для меня. Поэтому я не мог оторваться, пока недорешаю их все. Будто на наркотики подсел, но это неважно. Надо было создателям курса писать дисклеймер, мол, вызывает привыкание.

DECISION TREE. Лютейшая база. Когда-то реализовывал на курсе тинька, но это не то. Здесь аккуратно, пошагово, с пояснениями, с красотой. И все в голове встало на свои полочки. Понятно как, понятно почему, понятно зачем. Этого в основном не передать словами. Просто настигнут дзен. Полное понимание происходящего.

QUANTILE T-TEST. Сделал очень быстро. По типу A/B теста. Никогда с ними не работал, в это не лез. Зато познакомился, всопмнил первые степы Анатолия из степика по курсу мат.стата и все. Моя математическая чуйка с прекрасно написанной теории в симуляторе помогла мне разобраться и решить задачу.

YAML CONFIG. Вот здесь пришлось посидеть. С рекурсией у меня беды, пришлось позаморачиваться с базовыми случаями, с логикой работы. А так, когда занимался Transfer Learning в детекции LPD/LPR(Licence Plate Detection and Licence Plate Recognition), где использовал NVIDIA TAO ToolKit, пришлось делать почти то же самое. Но прикольно. Поломала мозги, но мне понравилось.

GRADIENT BOOSTING. Господи, как я рад, что я решил и реализовал полностью с нуля это. Это мегакруто. Когда ты постепенно, в нужном порядке, по степам, реализуешь все. Все так красиво, прозрачно и понятно. Дззззееееенннн. Толк от бекграунда в виде теории был, но он в голове как-то не уложился. А тут все. Дзенннн.

TREE TO SQL. Завершающая. Прекрасная. Сначала дерево в JSON, а затем его в виде запроса в SQL представляем. Как же удобно. Как же приятно.

В задачах DECISION TREE, GRADIENT BOOSTING. Не было датасета, как типа смотрите готовый. Пришлось идти в ClickHouse, самим его вытаскивать, а затем потизоньку обучать. Всегда боялся этого. А сейчас спокойно и непринужденно могу вытаскивать данные, не надо мегасложные запросы с подзапросами, джойнами. Чисто на уровне понимания базовых вещей - достаточно. Пока что.

Ну вот и INTERN модуль позади. Он был для меня очень полезный. КПД чересчур высокий. Очень. Я такого не получал ни с каких курсов.

Все-таки есть простая истина: у кого есть ресурс, тот движется быстрее. Если бы я решился раньше, потратив всего 20к, я бы двигался намного быстрее. Я не жалею потраченных денег. Даже если бы я закончил только этот модуль за 20к, я бы даже, наверное, не обиделся. А так - продолжаем.

Но давайте SUMMARY модуля я сделаю отдельно. Думаю, так будет правильнее и круче.
Это было интересно.
8👍5
38 как-то некрасиво… давайте 40 подписчиков сделаем?
Я передумал. Простите. Давайте 100.
😈9💊4🥰3❤‍🔥1
Вопросы?
Ахаха, на самом деле я очень рад, что чем-то могу помочь)
Частичка чего-то прекрасного
6
SUMMARY
INTERN за 2 недели.

Я стал:
- задумываться о производительности. Мой код стал намного оптимальнее
- обращаться к базам данных. Я писал запросы в БД(ClickHouse, PostgreSQL), причем прикладные к ML: посчитать метрики, собрать свой датасет, сделать визуализацию данных(Redash), строил пробные дэшборды
- писать тесты к коду. Я использую Pytest, это легко и просто, но жесть как полезно
- думать о деньгах, о бизнесе(Assymetric metrics, Quantile loss etc.). У меня ушло ML ради ML. ML должен приносить либо социальную, либо денежную пользу(значимость?). И главное этого достигать.
- писать документацию к функциям(pyment), соблюдать PEP-8 и дружить с pylint. Понял, что дефолтные значение в виде, допустим, словарей - это F. None наше все.
- написал свой первый декоратор(мемоизацию). Я вообще узнал, как оно работает. Крутая вещь. Нужна вещь.

- Я закрыл дыры по деревьям(Desicion Tree, Gradient boosting). Теории явно недостаточно. Нужно самому, ручками, аккуратно это реализовать. Просто было буквально пару моментов, которые разложили все идеально по полочкам.
- Я узнал совершенно новое про json и деревья. Что можно быстро написать удобную вещь. Что можно деревья вообще представить в виде SQL. Я нигде такого не видел/не читал. Нетривиальная вещь.
- Я провел свои первые статистические(Quantile t-test)тесты(A/B практически), основы Bootstrap. Я никогда этого не делал. А знание таких важных вещей - просто круто.
- Я прокачал свою рекурсию. Когда реализуешь деревья, его преобразовая в json, а добьешь все рекурсивной обработкой yaml -> env и env -> yaml, ты познаешь дззззззеееннн.
- У меня был затуп с Recall/Precision. После того, как реализовал Recall@K, Precision@K - ушел затуп. По крайней мере я так почувствовал.

Результат за 2 недели очень неплох. А пока у меня большая нагрузка на работе и учебе(я 2ой курс бакалавриата, сессия)

Я прохожу вот это: https://karpov.courses/simulator-ml.
10🔥9😈3👌1
Пока я не могу проходить симулятор, я смотрю интервью задним фоном.

По-моему очень сильный импакт дает. Интервью построены так, что есть правильные ответы на вопросы и мнение профессионала.

Я раньше читал статьи, мол самые популярные вопросы и бла-бла-бла. Уже тошно, одно и то же. А здесь живое общение, мышление людей. Можно, в общем, перенимать прекрасные качества :D

Ссылочка на плейлист: https://www.youtube.com/playlist?list=PLBRXq5LaddfzDBjg6soIwJJA2klXXs6ni

P.S. Мне реально не платят, это все от души и сугубо мой личный опыт. К тому же, плейлист действительно фришный.

Давайте 50 реакций и сделаю подборку бесплатных хороших(по моему мнению) по мл...
31🔥9👍5😈1
Доброе утро!
👍15😈32