Интересное что-то
517 subscribers
2.71K photos
252 videos
138 files
4.51K links
Материалы и мысли, понадерганные отовсюду
Блог: https://t.iss.one/asisakov_channel
Чат: https://t.iss.one/youknowds_chat
Download Telegram
Forwarded from Sinекура
А в курсе глубокого обучения в прошлый четверг обсуждали механизмы внимания:

СПбГУ — 2025.10.02 — Состязательные примеры и механизмы внимания
(слайды и доска на странице курса)

Начали с состязательных примеров — ну тех самых, которые из панды делают гиббона, рояль или что угодно другое маленьким шумом.

А потом перешли к понятию внимания; это очень интересная штука и с точки зрения нейробиологии (хотя там я мало что понимаю), и, как выясняется, с точки зрения искусственных нейросетей. Начали с первых работ о внимании (Larochelle, Hinton, 2010, например), потом обсудили рекуррентные модели внимания и где там возникает RL, а потом перешли к уже более современным архитектурам: encoder-decoder with attention вроде Show, Attend, and Tell.

В этот раз до self-attention не дошли, но на следующей лекции отступать будет уже некуда, будем о трансформерах говорить.)
Forwarded from Sinекура
Прошедшую в четверг лекцию курса "Глубокое обучение" долго представлять не надо:

СПбГУ — 2025.10.09 — Self-attention и архитектура трансформера
(слайды и доска на странице курса)

Трансформер — буквально самая главная архитектура нейросетей практически с самого своего появления в 2017 году. В Google Scholar у статьи "Attention is All You Need" уже почти двести тысяч цитирований; это не абсолютный рекорд (есть статьи с сотнями тысяч цитирований про стандартные экспериментальные методы, которые везде потом применялись), но наверняка рекорд за прошедшие неполные восемь лет, и влияние трансформеров в 2025 пока не ослабевает.

В лекции я постарался максимально подробно и не торопясь обсудить всё, что можно было обсудить о самовнимании и архитектуре трансформера: от абстрактно-мотивационной идеи self-attention, приходящей из информационного поиска, до токенизации и позиционных вложений. Многое из того, что будет дальше, — это применения и развития идей этой лекции, так что пропускать её стоит только если вы и так уже всё это хорошо знаете.
Forwarded from Sinекура
Начинаю уже запутываться в контенте; столько всего происходит, что даже взятый мной темп по одному посту в день начинает трещать по швам. Тем не менее пока попробую оставаться в этом ритме, и сегодня выберу доклад, публикации которого жду не только я, но и его автор, Александр Панов:

Семинар Markov Lab — 2025.10.08 — AI Scientist
(Слайды на странице семинара)

Александр дал обзор того, как сейчас работают AI-системы, помогающие в научных исследованиях, рассказал о том, что об этом думает его лаборатория в AIRI и в каком направлении она работает. Главная мысль, которую он проводил (насколько я понял), была в том, что успешный AI scientist должен быть в каком-то смысле embodied, то есть должен получить другие модальности непосредственного опыта, не только токены текста и картинок/видео.

Как мне кажется, весьма интересной была и дискуссия после доклада. Мои читатели знают, что AI scientist'ы разного рода — это моя любимая тема, и в этом отношении я настроен очень... хм, хотел сказать "оптимистично", но не уверен, что это правильное слово.) В общем, верю я в AI scientist'ов, и даже в то, что для существенной трансформации всего научного поиска новых мегапрорывов до "AI-Эйнштейнов" совершенно не требуется; на днях выложу ещё один свой недавний доклад об этом, кстати.

Так что поспорили мы знатно; надеюсь, разошлись всё-таки друзьями. :)
HF_ULTRASCALE_PLAYBOOK.pdf
10.6 MB
HF книжка по megatron, fsdp и прочему для обучения реально больших моделей
Forwarded from Yandex for Teamleads
☕️ SCARF — фреймворк, который поможет новому руководителю меньше нервничать

Допустим, вы поменяли работу: перешли в другую компанию на руководящую должность или получили новую роль на старом месте. Теперь у вас в подчинении команда со своей историей. У каждого своя жизнь, свои переживания, задачи и вопросы. Одни присматриваются к вам с любопытством, другие — со скепсисом, и все ждут от вас действий. Раньше на вопрос «Что делать?» вам помогал ответить руководитель, а теперь решения должны принимать вы.

При этом любые изменения будут приносить стресс как вам, так и команде. Вопрос в том, как минимизировать количество этого стресса. Сделать это можно с помощью фреймворка SCARF. Он позволит оценить, как ваши решения влияют на пять ключевых социальных аспектов в команде: статус, ясность, автономность, принадлежность и честность.

👳‍♂️ Подробности — в карточках.

➡️ Про этот и два других фреймворка управления командами рассказал Иван Пузыревский, СТО Yandex Cloud, на конференции Dream → Teamlead.

📺 Запись выступления можно посмотреть на ютубе и в VK Видео.

Подписывайтесь:
💬 @Yandex4Teamleads
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Dataism
❗️ Анатомия лжи на собеседованиях

Говорят, что врать не хорошо, но я твердо убеждена (жизненный жопыт знаете ли), что иногда НУЖНО, особенно на собесах.
Конечно, еще все зависит от того, в какой позиции находишься: в слабой или сильной.

Кто точно в слабой позиции?
- джуны с маленьким опытом работы
- кого сократили
- у кого маленькая зарплата и он ищет как ее апнуть
- тот, кто хочет прокачаться в чем-то

То есть любая нужда (опыт/деньги/ипотека и тд), которая толкает на поиск работы, приводит тебя в слабую позицию.
В противном случае, поздравляю, ты выиграл эту жизнь и можешь позволить себе не прогибаться под изменчивый мир и врать нет смысла, потому что ты хочешь реально найти место по душе.

Основная же задача человека в слабой позиции - устроиться на приемлемую работу.
В совсем редфлажные компании, конечно, не стоит идти, но есть средние компании и задачи, с которыми вполне справлялся бы, но можешь получить реджект по всякой ерунде.
И вот чтобы избежать этого, нужно врать, но врать правильно.

Вообще, есть два стула места, где ты можешь соврать:
1) в своем опыте
2) в своей мотивации


Еще нужно учитывать в какой момент происходит вранье (разница в степени наглости вранья):
1) на этапе созвона с рекрутером
2) на техническом/поведенческом этапе
3) выкатка оффера (но эта тема для отдельного поста, сконцентируемся на первых двух)


На этапе созвона с рекрутером:
Цель простая - сконвертироваться в техническое собеседование и тут все средства хороши.

На все пункты по стеку говорим уверенное да, 100500/10, профи, гранд-мастер и тд.
Нет опыта работы с Tableau? Пофиг, говори, что есть, просто перед выходом на работу разберешься.
Раньше действовало негласное правило, что если твое резюме на 60-70% совпадает с описанием вакансии, то все ок, тебя все равно рассмотрят.
Сейчас оно больше не работает.
Должен быть 100% мэтч, если не хочешь услышать «ой, а мы ищем спеца с Tableau, другие биайки нам не подходят».
И ты ж не докажешь этому рекрутеру, что его Tableau изучается за 2 недели спокойно.

Это именно ТЫ инициировал какое-то новшество, это именно ТЫ переделал процесс и тд и тп.
Говорим только хорошее о своих прошлых работодателях

На техническом этапе:

Отвечай за все, что ты написал в резюме. И в особенности за цифры.
Да, они обязательно должны быть в CV, если их якобы нет (хотя в реальности это точно не так), то грамотно натяни сову на глобус и будь готов ответить за каждую фразу в резюме.

Не давай характеристику своим навыкам/опыту!
Четко и уверенно говорим: да, работал с инструментом/проводил эксперименты и тд.
Без всяких «небольшой/мало/редко» и тд.
Это работа нанимающего проверить твой уровень знаний на собесе.

Не говори про негативные моменты в работе.
Если ты скажешь, что ненавидишь говнопроцессы (а в каждой 1ой компании именно они родимые), то ты сразу получишь минус.

Отдельно вынесу пункт про мотивацию.
Про это у тебя будут спрашивать на всех этапах.
Мой совет: НИКОГДА НЕ ГОВОРИ О СВОИХ ИСТИННЫХ НАМЕРЕНИЯХ.
Лучше отвечай общей фразой «про новые возможности/проекты и мырмырмыр».
Не говори, что хочешь в чем-то прокачаться на новом месте, ну, например в а/б тестах или получить больше опыта в e-comm сфере.
Тогда у нанимающих сразу две опции:
- отказать, потому что у тебя мало опыта в проведении тестов (хотя на собесе ты все четко ответил и знаешь процесс от и до)
- отказать, потому что у компании нет таких задач и они за вас решили, что вам будет скучно у них
Вспоминаем, что находимся в слабой позиции и как бы хочется все же получить эту работу, а уже потом на месте разобраться нравится/не нравится.

А еще, если нанимающий и рекрутер заливают вам в уши, что их компания рада предоставить возможность прокачаться в чем-то, то не верьте, это уже ложь с их стороны.
99% компаний хотят готового специалиста, никакого поля для развития большинство из них не предоставляет.

Вот такая анатомия.

А что бы вы добавили/убрали из советов?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM