На прошлой неделе был на CytoData 2023.
Погода, конечно, не очень, в Сегеде в тот момент было +24 а в Хельсинки я приехал к мерзнущим чайкам в +4.

Проводить CytoData начали в 2016 и носило это скорее формат хакатона, в последующие годы сделали еще симпозиум и воркшопы и посвящено все это image-based profiling, ну
и смежным темам, например сегментированию клеток. Один год проводят в США, другой в Европе.

Первый день были воркшопы один проводила Recursion, второй ThinkCyte. Тут произошла заминка, почти все пошли на воркшоп Recursion, он был в основном зале, а ThinkCyte были в
какой-то другой аудитории и параллельно, мне так кажется что не все поняли что эти воркшопы были параллельно, а не последовательно. Я был на Recursion, рассказывали про анализ данных датасета JUMP (его очень маленькой части), еще рассказывали про "proximity bias" (нокауты генов из одного плеча хромосомы могут быть фенотипически похожи, даже если не должны) отсюда.
Потом была панель и доклад Berend Snijder про их последние работы и как анализ изображений помогает в раковой терапии.

Второй день — симпозиум, была пара докладов про multiplexed imaging, были доклады про софт и инфраструктуру, ну и конечно про профайлинг.
Я рассказывал про нашу статью с DINO. Мои коллеги из лабы привозили постеры, например про (мис)интерпретацию метрик в сегментировании. У меня тоже был постер про нашу статью принятую с NeurIPS 2023, первый автор к сожалению не смогла приехать, но она рассказывала про мою статью в США на другой конференции (SBI2), так и покрываем все локации.

Третий и четвертый день — хакатон, данные, конечно изображения: 6 каналов DAPI и маркеры cancer-associated фибробластов.
Задачи такие:
- Exploratory data analysis
- Предсказать Fuhrman grading
- Как локация влияет на предсказание и исследовать структуру ткани

Во второй задаче затащили ребята, которые зарядили AutoML (но я, к сожалению, не помню на каких фичах).
Мы в этой задаче взяли просто фичи ImageNet (каждый кусок изображения отдельно, потом агрегировали), потом смотрели какие каналы дают больше информации и сделали Random Forest, этого было достаточно для второго места.
Но мы выиграли в третьей задаче, так что ок.

Кормили вкусно, это важно.
В Венгрии большая проблема с рыбой, с морепродуктами еще хуже, тут хоть дали рыбы поесть.

Программа - можно просто посмотреть авторов и нагуглить что они делают.
Еще есть GitHub-страница со статьями и ресурсами, обновляется не очень часто, но вдруг кому интересно.

Ну еще хорошая новость, упомянутая выше принятая статья NeurIPS 2023 теперь в открытом доступе.

Вернулся из отпуска, 11 дней — 7 городов.

Осень в Германии совершенно прекрасная, красно-желтые деревья, особенно хороши долины.
Обычно люди едут в больше города, тут же удалось посетить hidden-gems вроде Альтены с её средневековым замком и Хаттингена с его характерным центром.
Из большого были только в Кельне, но мне он показался даже менее интересным, возможно из-за недостатка времени.

Нидерланды получилось посмотреть довольно разнообразно, тут есть и разнообразный Амстердам и мрачный Роттердам, довольно сильно похожий по ощущениям на Бостон и совсем небольшой (как Сегед), но активный Неймеген.

Про транспорт, Deutsche Bahn и правда не очень, но нам везло и больше чем на 30 минут поезда не опаздывали. Зато там есть билет за 50 евро в месяц, с которым можно ездить
практически на всем, кроме поездов дальнего следования и окупается он моментально. FlixBus оказался гораздо хуже, за 5-и (!) часовое ожидание мне дали просто скидку,
пассажир поезда в правовом плане защищен гораздо лучше, чем пассажир автобуса.

Evolutionary design of explainable algorithms for biomedical image segmentation
Интересная работа про сегментирование без использования deep learning. Вместо него используется подбор из библиотеки функций и их параметров генетическим алгоритмом и пост-процессинг watershed-ом.
Для обучения достаточно нескольких изображений. Метод, впрочем, не выглядит стабильным, т.е. разница между худшей моделью и лучше очень большая (см. Figure 2 A,B).
Еще наша метрик-police обнаружила что в статье с этим не очень, используется очень странное определение Average Precision, да и еще только с одним IoU порогом в 0.5.

CEO Recursion (Крис Гибсон) рассказывает что они собираются отказаться от Cell Painting в пользу brightfield. Вообще считается что в brightfield изображениях информации меньше, но Крис уверяет что после тюна данных и вычислительных методов, разницы (почти) нет. Brightfield при этом дешевле и получать изображения живых клеток в нескольких временных точек. C этим + данными транскриптомики они собираются тренировать каузальные модели. Почитайте.

Re: We have reached an agreement in principle for Sam ...

The media and the VCs are treating Sam like some hero and savior of AI. I’m not getting it. What has he done in life and/or AI to deserve so much respect and admiration? Why don’t top researchers and scientists get equivalent (if not more) respect, admiration and support? It looks like one should strive to become product manager, not an engineer or a scientist.

eclectic29, 4 hours ago

Мне этот пост напоминает другую классическую пасту (тоже с YC).

I don't think CS is a high social status field at all. You're deluding yourselves. Outside of our peers also in the industry nobody cares that you're a staff engineer at Google. Absolutely nobody. They'll assume you're doing IT work like the characters in the IT Crowd if they even bother to think about it at all and haven't already walked away.
Here's a concrete example to make it really obvious.

How many computer scientists are there in the Lords in the UK? I'm not sure there's any. There are nearly 800 lawyers, doctors, religious ministers, biologists, physicist, mathematicians, philosophers, business people, politicians, authors, composers. A computer scientist who defines the field for half a century is lucky to get knight bachelor.

Look at similar establishment institutions elsewhere. Are there any computer scientists in the Senate in the US? Are computer scientists often invited to lead major public bodies? How many computer scientists become deans of universities compared to other fields?

The social status of computer scientists is zero.

A knowledge-guided pre-training framework for improving molecular representation learning

Еще один метод для получения представлений молекул. Используют self-supervised трансформер для графов, в процессе обучения часть графа скрывается чтобы модель обучилась предсказать эту скрытую часть. В помощь интегрируются другие дескрипторы из RDKit.

Код и модель есть, может кто-то и захочет поиграть, как раз до конца кэгла пара дней есть.

Курс по системной биологии от NIH:
* Курс из 2 частей онлайн и оффлайн (в Калифорнии), допускаются студенты, постдоки, профессора независимо от гражданства. Онлайн часть курса это подготовка к оффлайну, но можно пройти только ее.
* Онлайн часть будет проходить с 20 февраля до 1 марта
* Оффлайн будет проходить с 4 по 15 марта
Все здесь на сайте.

Сегодня к нам приезжали нобелевские лауреаты по физиологии и медицине 2013 года: Рэнди Шекман и Томас Зюдхорф. В Венгрии есть программа для талантливых студентов и школьников и время от времени крупные ученые приглашаются чтобы вдохновить юные таланты на душеспасительные занятия наукой, ну а сегодня все они вместе пришли к нам чтобы посмотреть на лаборатории и послушать о ресерче. Думается, что для студентов, что для биологов Томаса, Рэнди и других ученых мой рассказ про deep learning и профайлинг был немного абстрактным 🥲, к счастью никто не успел уснуть, так как времени было мало (как всегда и бывает во время таких визитов).

Очень хороший блогпост. Автор этого блога еще известен вот этим текстом.

"In fact, you start doing science—or any serious intellectual work—by imitation, by going through the motions, not seeing the point of the rituals. Gradually you come to understand something of how and why they work. (If you are smart and lucky; many people never do.) Gradually, you find yourself doing the real thing. At some point, you can improvise, step into the unknown, and create your own methods.
In other words, you can only begin your career as a scientist by doing cargo-cult science. Eventually—if you are smart and lucky—you can upgrade. But almost all scientists get stuck at the cargo cult stage; and almost all supposed science is cargo culting. [...]

Honesty comes out of curiosity, mostly, I think. If you really do want to know, there’s much less motivation to promote a wrong answer—arrived at either through deliberate fraud or sloppy, inadequately-controlled experimentation."

Из текста о том, что повторяя научно-методические шаги/получая гранты/etc, но без любопытства, честности и смелости — науку не построишь, только еённый симулякр.

Мой первый полушаг в ML получился довольно курьезным.

В 2015 году я только переехал в Москву, чтобы начать магистратуру и сразу стал мониторить какие интересные IT мероприятия можно посетить.
Мне повезло, немного погодя осенью Яндекс проводил Data Analysis ночь. Ни про анализ данных, ни про ML я тогда вообще ничего не знал (да и магистратура у меня была не про анализ данных), но мне показалось это хорошей возможностью
а) что-то таки узнать про ML б) с кем-то занетворкаться в) сходить еще раз в офис Яндекса.
Data-ночь тогда делилась, ЕМНИП, на 2 потока: вечер для новичков (я был там) и ночь для более продвинутых.
В потоке для новичков сначала рассказывали базовые лекции, а потом был мини-хакатон, кстати нашел даже репу от этого.
Я не очень понимал что я делаю и сделал какие-то совершенно рандомные изменения в коде (вроде просто менял гиперпараметры без особого понимания что происходит).
И вот, конец хакатона. Я обнаруживаю что каким-то образом оказался на 3 месте. Награждение, выходят первые два места, они рассказывают про какие-то трюки, которые они применили, организаторы да-да, круто, у нас тут интеллектуальное мероприятие про дата саенс!

3 место, выхожу.
- Что вы сделали, чтобы достичь такого результата?
- Эээ, я просто менял код, я честно не знаю как это вышло.

Вижу у организаторов вытягиваются лица в покерфейс, они явно не ожидали что их дата саенс мероприятие запорят таким способом.

Ну ладно, похлопаем!

Призовую футболку я так ни разу и не надел.

Не знаю как вы, а я очень не люблю когда меня отсекают от железа разными абстрактными надстройками, очередями и уж тем более, я терпеть не могу AWS. Что может быть лучше, чем зайти на свой любимый сервер через Bitvise SSH (рекомендую для виндоюзеров), сделать nvidia-smi и htop и потом шарахнуть на эту всю красоту какой-нибудь недопиленный скрипт обучения, так чтобы RAM ушла в красную зону, а GPU делают BRRRR и ты онлайн наблюдаешь как они нагреваются ?

Вопрос это, конечно, культурный и зависит от того как и когда вы начинали работать с компьютерами. По молодости, я всегда любил ковырять именной свой комп, ну там накатить на него локальный сервер World of Warcraft или Lineage 2 ну и просто запускать код. Это характерно скорее для людей, кто успел застать хотя бы нулевые. Сейчас такие эксперименты на своих машинах уже не очень популярны и их стало сложнее делать, потому что производители операционных систем тоже только и делают, что пытаются отодвинуть нас от возможностей компьютера 🍎.

Когда я пришел на первую кодерскую работу, мой мозг довольно заметно сопротивлялся идее что надо что-то запускать на серверах, а не локально. Дело, как вы понимаете, абсолютно не в технической сложности (ее нет), а просто вот такой странный психологический барьер. На той же работе мне показали Docker, но дело не дошло я просто уволился раньше.

Есть конечно люди (как правило без CS\IT-бэкгрануда), которые пришли на работу или в лабу, им сразу вот AWS или рабочий кластер, вот примеры, они радостно этому обучаются и им ок и проще, потому что им не надо взаимодействовать с железом, не надо настраивать, сисадмин кластера и job scheduler сделает все за них. У этого подхода в научной среде есть 2 очевидных плюса: 1) Проще научить человека делать один скрипт с набором команд или даже Docker-контейнер, чем обучать его пользоваться компьютером, да и сломать может. 2) Воспроизводимость. Если есть один настроенный контейнер с пайплайном, сделать все эксперименты, а потом можно опубликовать что отсечет проблемы с кривыми средами у юзеров.

В лабах я всегда работал напрямую, без очередей (slurm\condor) и без Docker-a, но сейчас появилась задача и сервер где сразу надо использовать и очередь и Docker, с непривычки you feel overwhelmed и по-первой тратишь кучу времени на настройку даже простых пайплайнов и там встречаются довольно неожиданные подводные камни, если сравнивать с тем, как бы ты это делал на "живой" ОС. В такие моменты кажется что сделать все напрямую даже на более слабой машине быстрее.

Old man yells at cloud.

Если вы занимаетесь древними геномами и имеете возможность поехать в Европу, в сентябре EMBL делает симпозиум по этой теме и до 18 июня можно сабмитнуть свой абстракт.

Состав спикеров\организаторов там мощный.

https://www.embl.org/about/info/course-and-conference-office/events/ees24-09/

PhD студенты делают что угодно, лишь бы не то, на что дают деньги. Вот, например, пытаются отрисовать Doom с помощью бактерий кишечной палочки. FPS явно не устроит современного игрока, отрисовка одного кадра занимает примерно 8.5 часов.

PS увидел сегодня это в канале "Айти Тудей", но новости уже как минимум месяц.
Оригинальное видео.

В пятницу в лабе мы делали внутренний семинар про DL-методы анализа изображений H&E окрашенных образцов ткани (их используют для диагностики рака). Со своей стороны, я решил рассказать немного про self-supervised learning и несколько статей которые тренируют DINO и DINOv2 на открытых (TCGA\Camelyon) и закрытых данных. Оказалось, что примерно в одно время разные компании (Paige+Microsoft и Aignostics+разные места в Германии; обе команды назвали свои модели в честь Рудольфа Вирхова) и лабы (Faisal Mahmood) выпустили первые версии препринтов тренировки DINOv2. Среди них выделяется компания Owkin, которая натренировала iBOT (идейный предшественник DINOv2) и выпустила все в открытый доступ (но они использовали только открытые данные).

Я хотел написать посты про некоторые статьи, но лучше поделюсь своими слайдами, потому что статьи про модели довольно похожи. На слайде 20 есть таблица из статьи про модель Virchow, где я пометил какие модели есть в открытом доступе.

На этой неделе гостил в Helmholtz AI в Мюнхене, разговаривал c несколькими PI и студентами, которые занимаются ML для анализа изображений
гистологии и Cell Painting, показывали друг другу свой ресерч. К выходу готовится очень много интересных работ (которые я, конечно же, пошарю тут как только они будут в паблике).

Сам кампус находится в изолированном районе, где рядом нет ни метро, ни S-Bahn и состоит из 2-х или 3-х этажных домиков, в этот момент я почему-то вспомнил про Лос-Аламос.

У нас вышла статья!
Натренировали модельку на разных Cell Painting данных (тогда еще JUMP датасета еще не было),
поговорили про батч-эффекты.
Вообще, как препринт она висела уже полтора года, рецензенты попросили сделать кучу всего,
а мы добивали другую большую статью, еще очень долго заняло окончательное форматирование,
куча каких-то форм (еще больше, чем в прошлый раз), в итоге прошло целых 2 (!) месяца.

scPerturb: harmonized single-cell perturbation data

Авторы проделали большую ассенизаторскую работу: собрали 44 датасета с данными транскриптомики, протеомики и эпигеномики (данные scRNA-seq, CITE-seq и scATAC-seq).
Датасеты в основном с CRISPR-пертурбациями, но есть и лекарства, все они были опубликованы с 2016 по 2023.
С этим всем есть проблема - нет стандарта, а как сравнивать пертурбации из разных источников данных?
Кроме прочего, источники данных очень разнятся по качеству (UMI и количество генов на клетку).

Авторы предлагают Е-distance (тут потонула шутка про Е баллы, извините), метрика более известная в физике как energy distance.

Перед подсчетом E-distance, авторы делают PCA (что ведет к нестабильному поведению при малом количестве данных).
По результатам анализа данных и тестов на робастность, авторы рекомендуют в эксперименте 200–500 клеток на пертурбацию и в среднем 1,000 UMIs на клетку, чтобы была возможность надежнее различать эффект пертурбаций.

Все выходные данные доступны: https://projects.sanderlab.org/scperturb/