Техножрица 👩‍💻👩‍🏫👩‍🔧
14K subscribers
1.44K photos
66 videos
28 files
766 links
Люблю высокие технологии и кушать.

Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Download Telegram
Спасибо DALL∙E за картинку

#генерация
😁5215🕊7👍6👎3🔥3🥰3😢3🤡1
Судя по географическому положению мой съемной квартиры, у меня скоро могут быть проблемы с интернетом 😎
Постарайтесь хорошо себя вести в комментариях и не баловаться, пока меня не будет 🫡
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🫡7610🤯4🤡3😁2👍1
Малкадор Сигиллит провел переговоры с примархом Сынов Вагнера Иосифом Луперкалем.

Выработан выгодный и приемлемый вариант развязки ситуации, с гарантиями безопасности для бывших Лунных Волков. Переговоры Малкадора и Хоруса длились в течение всей осады Терры.

Астропаты Империума передают, что Хорус принял предложение Малкадора об остановке движения легионов предателей и о шагах по деэскалации.

«Мы разворачиваем астартес и уходим в обратном направлении в Око Ужаса», — сообщил первый капитан Сынов Вагнера Абаддон Разоритель.
🔥50😁9🫡75👍4🤡4❤‍🔥2👎2🤩1🤪1💊1
Forwarded from epsilon correct
Про grid search и тюнинг алгоритмов

При создании новых алгоритов почти всегда приходится искать, какие параметры дадут лучшее качество на разных задачах. Почему-то многие коллеги для этого используют grid search (поиска по заданной сетке). Коллег я потихоньку разубеждаю спорами на бонус (~100$), а вам придётся просто поверить на слово и прочитать пост. ⌨️

Поиск по сетке – особенно плохая идея для новых алгоритмов, потому что интуиции для выбора корректной сетки на них почти нет. Картинка из старой статьи Бенджио, на мой взгляд, отлично иллюстрирует проблему поиска по сетке: мы тратим d^k чтобы посмотреть на d значений для каждого из k параметров. При случайном поиске же для d^k поисков мы отсмотрим d^k значений для каждого из k параметров.

У меня в практике было несколько случаев, когда случайный поиск находил неожиданные значения для гиперпараметров, которые никто бы не попробовал добавлять в сетку. Так, в статье про кластеризацию графов именно случайный поиск позволил мне понять, что в методе конкурентов всю работу делает регуляризатор вместо собственно целевой функции. А наша статья про бенчмаркинг графовых нейросетей GraphWorld – это вообще ода случайному поиску – там мы его используем буквально для всего. 🤴

Надо заметить, что для более ресурсозатратных поисков стоит смотреть в сторону околоэволюционных алгоритмов – Vizier от гугла или Nevergrad от меты. Последний я успешно использовал для генерации цветовых палитр с учётом особенностей цветового восприятия и дальтонизма.

Всем успешного поиска! 😏
Please open Telegram to view this post
VIEW IN TELEGRAM
👍298
Мои любимые YouTube каналы по темам.
Часть I, образовательные:

1. Математика (каналы перечислены в порядке от простого к сложному):

a) https://www.youtube.com/@3blue1brown (англ.) - 3blue1brown - максимально качественный канал. Есть объяснения отдельных концепций, разборы задач, плейлисты с теорией по мат.анализу, лин.алгебре и др. Подавляющее большинство видео требуют для понимания лишь знаний школьной математики, но есть и посложнее, рассчитанные больше на студентов.
b) https://www.youtube.com/@numberphile (англ.) - канал с огромным количеством очень разнородных видео по математике. Большинство видео являют собой объяснения различных концепций; некоторые больше похожи на интервью. Уровень сложности видео также разнороден, для понимания некоторых видео достаточно школьной математики, некоторые рассчитаны на студентов.
c) https://www.youtube.com/@MichaelPennMath (англ.) - канал преподавателя математики, в котором изначально разбирались решения сложных задач по математическому анализу для студентов колледжа, а затем появился более широкий спектр тем. Большинство видео по-прежнему рассчитано на студентов.
d) https://www.youtube.com/@RichardSouthwell (англ.) - у этого автора я смотрю в основном видео про теорию категорий. Можно сказать, что видео рассчитаны на студентов, но могут быть довольно сложны для них.
e) https://www.youtube.com/@aatrn1 (англ.) - канал с докладами и объяснениями по различным темам и задачам из прикладной (вычислительной) алгебраической топологии и геометрии. Часть видео будет понятна студентам, часть - только специалистам.

2. Машинное обучение (также от простого к сложному):

a) https://www.youtube.com/@TwoMinutePapers (англ.) - канал с демонстрациями к различным статьям по глубокому обучению. Объяснения самих алгоритмов даются простыми словами, без особых технических деталей, поэтому будут понятны широкому кругу зрителей.
b) https://www.youtube.com/@YannicKilcher (англ.) - канал с более подробными разъяснениями научных статей. Для понимания многих таких разъяснений требуются знания основ Deep Learning и большая внимательность, так как статьи часто бывают сложные. Есть и просто новостные видеоролики, рассчитанные на широкий круг зрителей.
c) https://www.youtube.com/@mohitiyyer9667 (англ.) - на этом канале я смотрела цикл лекций по Advanced Natural Language Processing. Для понимания этих лекций требуется знание основ Deep Learning.
d) https://www.youtube.com/@user-th3jq9rw7b (рус.) - канал Школы Анализа Данных. На нем я в основном смотрела лекции Воронцова, но канал содержит и множество других лекций и роликов. Рассчитаны лекции в основном на сильных студентов, не боящихся математики.

#рекомендации
🔥5110👍4🤡3🤯1
Часть II, развлекательные:

3. Несложные научно-популярные:

a) https://www.youtube.com/@MIHAILLIDIN (рус.) - видео с критическими разборами деятельности различных сект, оккультных течений и около-оккультных инфобизов. Иногда встречаются чуть более серьезные ролики - например, касающиеся темы религиоведения.
b) https://www.youtube.com/@poetische (рус.) - канал филолога с разбором различных тем, касающихся художественной литературы, жизни классиков, иногда затрагиваются темы из лингвистики. Разбираются различные связанные с этим фейки.

4. Про компьютерные игры и пародии на них:

а) https://www.youtube.com/@buldjat (рус.) - разнообразные видео с рассказами и обзорами на игры - при чем не только новые, но и старые; также ролики с объяснениями разных терминов и явлений, связанных с миром гейминга. Например, отсюда я узнала, что такое чизинг в играх.
b) https://www.youtube.com/@strannoemestechko (рус.) - зарисовки, в которых актеры отыгрывают нелепые ситуации, возникающие в играх наподобие ведьмака и скайрима, баги, пародируют поведение NPC и т.д. Видео являют собой перевод с англоязычного канала https://www.youtube.com/@VivaLaDirtLeague
c) https://youtube.com/@KommanderKarl (англ.) - то же, что и в предыдущем случае, но актер один и больше сосредоточен на изображении отдельных аспектов: его любимые темы - жизнь NPC и анимации перезарядки.

5. Мультипликации:

a) https://youtube.com/@ToBinge (англ.) - отсюда мне больше всего нравятся сюжеты про фонд SCP на минималках под названием Pandora's cubicle. Часть мультиков также посвящена персонажам из игры overwatch, но их я не понимаю.
b) https://youtube.com/@oopsoopsism (рус.) - ШКЯ - соединение "жизненных" сюжетов из повседневной жизни на постсоветском пространстве и юмора абсурда. И все это с абсолютно уникальным визуальным стилем. Эти мультфильмы, кстати, делает автор старого мемного видео про Скайп (и на канале оно тоже есть).
c) https://youtube.com/@LavaLamp (рус.) - то же самое, но ещё более укуренное и безумное. Ряд мультфильмов связаны общим сюжетом - так сказать, мультсериал.

6. Про книги и инфобизов:

a) https://youtube.com/@UncleShurik (рус.) - очень много роликов про хорошие и про плохие книги, а также про приключения незадачливых инфобизов, попадающих в разные переделки или просто делающих смешные и нелепые вещи. Каждый раз проигрываю с этих роликов.
b) https://youtube.com/@denis_chuzhoy (рус.) - с этого канала мне тоже наиболее интересны обзоры плохих книг, поэтому поместила в эту категорию. На самом деле большую часть канала занимают стендапы автора, но их я смотрю редко, так как не являюсь поклонницей жанра.

Делитесь своими любимыми каналами в комментариях.

#рекомендации
👍28🔥52🤡1
Курьеры регулярно кладут мне в почтовый ящик идиотскую газету "Про здоровье". В итоге я не выдержала и сделала по мотивам этой газеты такие же идиотские мемы.
🔥61😁42👍5👏3🥴3❤‍🔥2🤡2🥰1🤔1
Ох с какими шикарными конференцией и семинаром я познакомилась благодаря вот этому посту в одном из моих любимых пабликов: https://t.iss.one/rlabrats/3340
В посте рассказывается про конференцию Российской Академии Наук по т.н. "алгебраической биологии" (не путать с алгебраической топологией) с просто-таки поразительной программой - что ни доклад, то открытие... особенно мне понравилось название "фрактальный рак". Я думаю, это словосочетание нужно было вынести в название самой конференции, очень уж оно хорошо ей подходит.

Пошерстив комментарии к посту, я узнала еще и о семинаре на ту же тему, отчасти с теми же персонажами.
Вот сам семинар: https://www.youtube.com/@user-xg7cs6ge8m
А вот один из докладов на этом семинаре, очень показательный:
https://youtu.be/lo126T_to38?t=374
Доклад ведет высокопоставленный доктор физ.-мат. наук, получивший множество наград, главный редактор научного журнала, председатель ученых советов и т.д.: https://ru.wikipedia.org/wiki/%D0%9F%D0%B5%D1%82%D1%83%D1%85%D0%BE%D0%B2,_%D0%A1%D0%B5%D1%80%D0%B3%D0%B5%D0%B9_%D0%92%D0%B0%D0%BB%D0%B5%D0%BD%D1%82%D0%B8%D0%BD%D0%BE%D0%B2%D0%B8%D1%87
И что же мы видим в этом докладе?
Если перейти по ссылке на YouTube на момент 6:14, то откроется самая мякотка доклада - "гиперболический закон", с помощью которого автор обосновывает связь генома всего живого с гармоническими числами...
Конечно же, я не смогла пройти мимо. Я немедленно воспроизвела результат автора в простом советском копеечном Google Colab, даже не пользуясь никакой базой ДНК, а просто сгенерировав "нуклеотиды" случайным образом. Вот этот результат:
https://colab.research.google.com/drive/1yJAfG1Hcd3CNX8iKfu8mbXXNnnBYjB5D?usp=sharing
Быстро выяснилось, что его "гиперболический закон" никак не относится к свойствам живых организмов, а является лишь следствием простой математической статистики и комбинаторики.

Вы спросите меня: но может быть, доктор наук просто ошибся? Не заметил, что его "гиперболический закон" выводится из таких простых посылок? Может быть, потом он исправился и после доклада больше не упоминал данного результата? Нельзя же человека обижать за простую ошибку.
Но нет.
Это не простая ошибка.
На этой "ошибке" была построена целая псевдонаучная теория о связи генома с "гармониками" и музыкой, которую доктор продолжает развивать в своих дальнейших работах. См. например следующую работу с его официального сайта:
https://petoukhov.com/%D0%9F%D0%95%D0%A2%D0%A3%D0%A5%D0%9E%D0%92%20%D0%96%D0%A3%D0%A0%D0%9D%D0%90%D0%9B%20%D0%9C%D0%95%D0%A2%D0%90%D0%A4%D0%98%D0%97%D0%98%D0%9A%D0%90%202021.pdf
Я уже молчу про то, что кроме "гиперболического закона" в его работах есть и множество других утверждений, еще хуже обоснованных и имеющих лишь внешний вид наукообразия, но на самом деле наукой не являющихся.
Вначале я хотела прислать ему лично Google Colab с экспериментом и объяснением, которые показывают, что его выводы неверны, но посмотрев на благоухающий псевдонаучный цветник в остальных его работах, я засомневалась.

#научная_поллюция
🔥43🤯123👍3😢3🥰2🤮1🙈1
Вопрос к читателю: посмотрел(а) Google Collab с объяснением из предыдущего поста?
Anonymous Poll
24%
Да
24%
Нет, но собираюсь
52%
Нет и не собираюсь
🦄111
Еще немного про концепцию "генетической музыки", разработанной тем же самым Петуховым С.В. и его товарищами Кобляковым А.А. и Степаняном И.В. в работе https://www.elibrary.ru/item.asp?id=41421485 (см. также рис. 1 в следующем посте), а затем исполняемой на конференции про фрактальный рак: https://t.iss.one/rlabrats/3340 .

Главная идея работы заключается буквально в следующем.
Авторы отмечают, что соединение нуклеотидов А и Т в ДНК имеет две водородные связи, а соединение нуклеотидов C и G - три. Поэтому они рассматривают сначала символьную матрицу:
((C, T),
.(A, G)),
а потом числовую:
((3, 2)
.(2, 3)),
в которой каждый нуклеотид заменяется на число связей, которые он образует со своим напарником.

Затем они совершают над второй, числовой матрицей ряд преобразований (извлечение корней, возведение в тензорные степени и так далее). То, что получается в результате данных преобразований они называют "семейством генетических матриц" и вводят на основе чисел, которые они получают в этих матрицах, музыкальный строй, очень похожий на пифагорейский. Далее, вся музыка, исполняемая в этом музыкальном строе как раз и называется "генетической музыкой".
Т.е. буквально вся связь с генетикой, которая здесь есть - это использование квадратной матрицы (3, 2, 2, 3) и все. Дальше идет полет фантазии с кучей никак не обоснованных математических преобразований, мудрыми цитатами математиков, а также отсылками к учению пифагорейцев. Никаких теорем не доказано, никаких опытов не поставлено - даже критиковать дальше уже нечего.
В общем, вся работа - просто один большой фанфик с пейрингом Пифагора и маленькой квадратной матрицы.

Это то же самое, как если бы я взяла свой фанфик по вахе, где сравнивала пространство эмбеддингов с варпом ( https://t.iss.one/tech_priestess/426 , https://t.iss.one/tech_priestess/427 ) и начала бы делать вид, что это не художественное сравнение, придуманное ради развлечения, а настоящая научная теория. 🤡
Главная разница между нами в том, что мой фанфик по вахе имеет хоть какую-то художественную ценность, а их фанфики по Пифагору - просто духота. 🤡
А, ну еще и в том, что я потратила на свой фанфик час, и мне даже в голову не пришло отправлять его в научный журнал, а на написание скучных фанфиков по генетическим матрицам уходят годы, ими засоряется научная литература, да ещё и при этом тратятся человеческие и финансовые ресурсы (вполне возможно, что на это даже идет часть налогов читателей).

А итоговой вердикт таков: этот лор нужно существенно переработать, результат отправить в журнал "мир фантастики", а научные журналы и конференции оставить в покое.

#научная_поллюция
Please open Telegram to view this post
VIEW IN TELEGRAM
14😁10👍8💩1
Из текста работы:

"В настоящее время в ЦИМТе и сотрудничающих организациях разрабатываются усовершенствованные компьютерные интерфейсы для композиторов, желающих создавать произведения в генетических строях; нарабатывается библиотека музыкальных произведений в них; создаются новые музыкальные инструменты под генетические строи (клавишные синтезаторы, гитары и др.); анализируются проблемы многомерности музыкального творчества и возможности ее математического моделирования на основе многомерных чисел и матричных операторов [25-28]; ведётся обучение желающих приобщиться к работам по генетической музыке; совместно с медиками и психологами исследуются вопросы применения генетической музыки в музыкальной терапии и методиках раскрытия скрытых способностей и потенций у людей, и так далее."

#научная_поллюция
🤡29👏4🤮2🔥1💩1🫡1
26🤡11🙏6🦄5🤔2🖕1
Forwarded from New Yorko Times (Yury Kashnitsky)
Как появился attention
#coolstorybob #ml

Причины, по которым я порой смотрю доклады крутых чуваков даже на уже известные темы – это, во-первых, посмотреть, как люди презентуют, во-вторых, можно услышать всякие байки. И вообще эрудированных людей приятно слушать.

В этом вводном видео про трансформеры Andrej Karpathy упоминает статью 2015 года ”Neural Machine Translation by Jointly Learning to Align and Translate”, с которой все началось, и рассказывает про свою переписку с Dzmitry Bahdanau – первым автором. Дима написал Андрею длинный имейл с предысторией того, как он пришел к идее attention (вот этот момент в видео Karpathy). Про bottleneck между энкодером и декодером уже все знали, было много не самых удачных экспериментов. Потом Dzmitry задумался, а как же он сам переводит с одного языка на другой, и понял, что он постоянно прыгает взглядом между source-языком и target-языком. То есть чтоб произвести очередное слово в переводе (или понять, почему именно это слово стоит в готовом переводе), надо посмотреть на несколько слов в исходном предложении. Так Dzmitry смоделировал soft search через softmax – и это заработало прям с первой попытки. Что было дальше, вы знаете.

Кстати, сам термин “attention” предложил Bengio в одной из финальных правок статьи. Кто знает, как взлетела бы идея, если б не крутое запоминающееся название. Вот она мудрость отцов. Так и представляю: «так, Дима, покажи, что там навертел. О, так это ж Внимание!»
🔥34👍7❤‍🔥3😁2🤡1
Forwarded from Aspiring Data Science (Anatoly Alekseev)
#ml #fun

Ахаха, вот это я понимаю, серьёзный подход к менторству. Аж прослезился!
🤣29👍7🤡43
17😁13🔥5💩3👏1😭1
Очень интересное видео мне подсказал YouTube:
https://www.youtube.com/watch?v=DWzXF9B68nQ -
"Заполнение водой кривых, заполняющих пространство".

Конечно же, те кривые, которые автор видео распечатал на 3D принтере, не заполняют пространство в строгом смысле (т.к. кривую, заполняющую пространство в строгом смысле, физически невозможно смастерить из реальных материалов). Более правильно было бы сказать, что то, что называется "кривой Пеано" в видео является частью последовательности кривых, таких, что предел этой последовательности равен кривой Пеано. То же верно для кривой Госпера, также рассмотренной автором. Впрочем, это становится понятно, если внимательно посмотреть само видео и пройти по ссылкам в его описании (которые, в том числе, ведут на каналы 3blue1brown и Numberphile с обстоятельными объяснениями). Мне, кстати, в целом нравится, как основательно этот автор подходит к своим видео, сразу видно, что вкладывает в них много труда.

Также надо отметить, что кривая Пеано и другие кривые, заполняющие пространство, являются очень интересными математическими объектами по следующим причинам:
- Они являются фракталами с целой размерностью (см. также пост https://t.iss.one/tech_priestess/703 про то, как мои коллеги и я применили концепцию дробной фрактальной размерности для детекции текстов, сгенерированных ChatGPT);
- Их существование тесно связано с тем фактом, что мощность множества точек и на прямой, и на плоскости (и в пространстве), одинаковая;
- Эти кривые при том являются еще и непрерывными.

Концепция мощности множеств занимала меня еще с первого курса университета. Грубо говоря, мощность бесконечного множества точек - это математическое выражение того, насколько "большая" или, может быть, "плотная" бесконечность точек содержится в этом множестве. Так, мощность множества точек с целыми координатами на прямой меньше, чем мощность всех точек на ней же, потому что мы не можем ввести взаимно однозначного соответствия между точками с целыми координатами и всеми точками (это следует из диагонального аргумента Кантора).
А вот мощность множества точек на прямой и на плоскости одинаковая, и существование кривой Пеано можно использовать для одного из вариантов доказательства этого утверждения.

В самом деле, с одной стороны, точек на прямой не может быть больше, чем на плоскости, так как прямая вкладывается в плоскость. С другой стороны, точек на прямой не может быть меньше, чем точек внутри квадрата конечного размера (это показывается как раз тем, что мы можем заполнить квадрат этой прямой, свернув ее в кривую Пеано). С третьей стороны, количество точек внутри квадрата такое же, как на плоскости (это можно проверить, построив взаимно однозначное отображение из квадрата в плоскость).
Правда, математически строгое определение того, что такое кривая Пеано и почему она заполняет внутренность квадрата, занимает девять страниц: https://www.mathnet.ru/links/9fd2a041ca6c655dc7aeeeaa8051c7fa/mp700.pdf , и чтобы мои рассуждения выше стали настоящим доказательством, их нужно дополнить этим строгим определением, отчего получается очень длинно. Кроме того, из-за того, что кривая Пеано задает однозначное, но не взаимооднозначное соответствие, и не со всей плоскостью сразу, а с внутренностью квадратика, у нас получилось доказательство в три шага, а не в один.
Поэтому в курсах мат.анализа равномощность множества точек на прямой и на плоскости доказывают намного проще и короче, построив непосредственное взаимооднозначное соответствие. 😅

#математика
🔥16👍53🤯21