Истории (не)успеха (ИИ)ЕИ
419 subscribers
158 photos
87 videos
2 files
227 links
Просто о математике, нейросетях, программировании, спорте, политике, культуре. Общение, контакты, международные онлайн дискуссии/лекции в формате лайвстрим, встречи на спорт в Мюнхене.
Download Telegram
Истории (не)успеха (ИИ)ЕИ pinned «🎙️ СТРИМ / ДИСКУССИЯ — это воскресенье! 📅 Когда: 🕐 Воскресенье, 13:00 по Центральноевропейскому времени 🕑 (14:00 по Москве) 📌 Формат: Неформальная дискуссия об искусственных и естественных нейросетях — от больших языковых моделей до нейрофизиологии мозга.…»
🧠 Как впихнуть нейросеть в тостер — квантизация

Короче, нейросети огромные, а памяти мало, грустно.

Чтобы всё это хоть как-то работало на обычных устройствах, придумали квантизацию — берём большие весёлые 32-битные числа и сжимаем их до унылых 4-8 бит.

Типа была модель на стероидах — стала на диете. Если подходить к этому с умом, то работает почти так же, зато влезает в память.

📚 Классный визуальный гайд по теме — прям с картинками и всё понятно:
👉 https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization


#LLM #Transformer #Quantization #Efficiency
1👍1
История науки по-пацански. Выпуск 6: как срач привел к появлению науки. Часть вторая

Итак, в прошлой части мы рассказали вам о том, как давным давно, в одной научной галактике три ученых придумали клеточную теорию, а потом другой итальянец - как увидеть нейроны в микроскоп и нарисовал их красивые картинки.

Казалось бы, ура! Все увидят - есть ли отдельные клетки в мозге, или это все единая сеть, как в 1871 году, за два года до черной реакции Гольджи сформулировал Йозеф фон Герлах, все танцуют и ждут 30 лет Нобелевской премии - а что, динамит шесть лет как запатентован - его создатель как пить дать денег отслюнявит.

Но случилось другое. Да, Камилло Гольджи, придумавший метод, подхватил теорию Герлаха и чисто авторитетно сформулировал: чуваки, мамой клянусь, никаких анастомозов (разрывов) между отдельными нейронами я тута не вижу. А вот и фоточки в инстаграмме. Сам нарисовал, глядючи в микроскоп.

Но нашелся другой товарищ, не менее горячий, чем итальянец Гольджи - испанец Сантьяго Рамон и Кахаль. То ли у него зрение было получше, то ли рисовал он получше - но он сказал - туфта эти голимые итальянские картинки, смотрите мои - да нет, не на купюры с Альфонсом XII, а на вот это. И правда, рисовал Кахаль лучше, хотя и использовал метод Гольджи и популяризировал его метод.

Но нейробиологи (хотя и нейронаук тогда не было) сразу поделились на две партии - одна за нейроны (даже слово такое придумали - чтобы как-то называть гипотетические пока клетки в мозге), одна - за сеть. Во главе каждой - красавец-ученый, которые только помидорами друг в друга не кидались. На стороне Кахаля людей больше - даже юный Фрейд нейроны зарисовывал, хотя потом увидел все эти страсти, подумал «а пошло оно все на х… черт, а это идея для стартапа» и ушел в коучи, и будущий нобелевский лауреат Фритьоф Нансен, который был учеником Гольджи, но сначала выбрал правильную сторону истории, а потом и вовсе удрал в Арктику. Но фанатов Гольджи тоже хватало - в том числе наш Александр Догель.

Прав оказался Кахаль. В самом конце XIX века Чарльз Шеррингтон окончательно показал наличие тех самых анастомозов - разрывов/соединений между нейронами - и даже слово придумал специальное - синапс. Чтобы потом слышащие слово «соединение» не путали его с воинскими частями.

И что, думаете помогло? Срач между лидерами продолжился до такой степени, что весь ученый люд решил: хватит. В 1906 году в Стокгольме сказали: чуваки, остановитесь. Вот тебе Нобелевская премия, вот - тебе. Благо Нобель разрешил ее разделять между двумя или тремя товарищами. Вот, пригодилось. Правда, товарищи продолжили клеймить друг друга - даже в своих нобелевских лекциях. А нейронауки ждал очередной срач. Какой? Это уже другая история.

На рисунках: Камилло Гольджи, его рисунок гиппокампа, Саньяго Рамон-и-Кахаль и его зарисовка
😁2
Опрос ко Дню Космонавтики 😂 Кто был на Луне?
Anonymous Poll
50%
Незнайка
50%
Американцы
🧠 Как привлечь $88M под ИИ? Легко. Учимся у продвинутых коллег.

Стартап Nate привлёк десятки миллионов долларов инвестиций на развитие своего ИИ, который оказался сотней филиппинцев 🙂

Компания делала приложение, которое позволяет покупать товары на любом сайте без регистрации. Вы просто скидываете в Nate ссылку на вещь, а «ИИ» уже оформляет заказ с учётом вашего адреса и платёжной информации.

На деле же ссылку на товар просто кидали филиппинцу, который руками оформлял заказ и отправлял обратно подробности клиенту.

Nate даже покупали ИИ-технологии и нанимали классных разработчиков, но в ходе расследования от Минюста США установилиуровень автоматизации сервиса составляет 0% 🌻

#AI #Startup #Business
😁2🐳2
стрим запущен, присоединяйтесь
Live stream finished (2 hours)
Live stream finished (20 seconds)
Сегодня на неформальном стриме "за нейросети" обсудили интерпретируемость искусственных и естественных нейросетей, а также сходства и различия между мозгом и ИИ.

🔥Огромное спасибо Никите @Sauforn(Hidden Heuristic) за подробный и увлекательный рассказ о современных подходах и актуальных темах в нейронауке и машинном обучении 🔥

Cсылки на статьи затронутыe на стриме:

🤔 Интерпретируемость:

Интерпретируемость в трансформерах 

Как трансформеры моделируют геометрию состояния убеждений 

🧠⚡️🤖 Мозг vs ИИ:

Backpropagation algorithm и мозг мышек 🐀
Предиктивное кодирование 
Reinforcement Learning vs Human Brain 
Моделирование нейроподобных процессов в ИИ 

В следующие дни я подробнее разберу отдельные темы, затронутые Никитой.
Пока перевариваю полученную информацию 🤯

💥 Друзья, настоятельно рекомендую заглянуть 👉 Hidden Heuristic

П.С. Я, дурында такая, не нажал кнопочку "Записать" и стрим, естественно, не записался. Но, я думаю, что мы повторим!

#AI #Transformers #Interpretability #Brain #Biology
👍2🔥1
А вы доверяете вашим партнёрам? A доверяете ChatGPT?

#НастроениеВоскресенья #ЧерныйЮмор 👇👇👇
Forwarded from FightSpace
This media is not supported in your browser
VIEW IN TELEGRAM
Все-таки хорошо, что это Павел Мамаев мячом по голове доверчивой жены промахнулся, а не Александр Волков хайкиком
🤣1
🚀🇩🇪 А как тебе такое, Илон Маск?

Пропустил как-то эту новость, но, фигасе, наш мюнхенский и аугсбургский стартапы запускают ракеты! 🤯 Разрабатывают и запускают рекетоносители для вывода спутников на орбиту.

Ну как запускают... запускают — и тут же ловят. В море. По системе «Поймал — не считается». 💥

Стартап Isar Aerospace, основанный семью студентами ТУ Мюнхен, недавно протестировал свою «Spectrum». Ракета стартовала, сказала: «Я полетела!» — и через 30 секунд решила: «А ну его, этот космос!» — и грациозно нырнула в Атлантику. Миссия выполнена: опыт получен, ракета — нет. 😎

А вот Rocket Factory Augsburg заявляет: «Мы — железные! Мы сделаем ракету дешёво и сердито!» И вроде уже почти стартуют. Но пока государство смотрит на это как на кружок авиамоделизма: «Молодцы, детки, развлекайтесь!» 💶🚫

Между тем в Европе понемногу осознают: доступ в космос — это не только про селфи на Луне, это про безопасность, технологии, независимость. А пока мы тут размышляем, как запустить спутник, Украина воюет при помощи Starlink от Маска.

Так что, Илон, берегись — немецкие ракеты уже почти готовы. Ну... почти. Ну, хотя бы не взорвались. Ну, ладно, в следующий раз точно полетит! 📉📊🌊

Видео запуска ракеты

🛠️ И да, если что — это был тестовый запуск, алё! Стартап на семи студентах! Не SpaceX, а TUM на колёсиках.

СМИ уже стонут: «Ой, Европа опять ни на что не способна, ракета плюхнулась». Ага, плюхнулась — в рамках плана, между прочим. Никто и не ожидал, что она сразу улетит в Альфа Центавра и будет слать открытки.

Главное — опыт, данные, и то, что такие стартапы вообще появились. Это не провал, это прогресс. Очень хорошо. Очень.


#АКакТебеТакоеИлонМаск #StartUp #Aerospace #Munich #Bavaria
🔥1🆒1
Телеграм говорит, что 20% процентов подписчиков этого канала с premium-аккаунтами и могут пробустить этот канал по ссылке:

https://t.iss.one/boost/easy_about_complex

Бустьте на здоровье )
15 апреля 1707 г. родился Леонард Эйлер. Один из величайших математиков в истории. Имя Эйлера упоминается во всех разделах современной математики: теории чисел, топологии, алгебраической геометрии, комбинаторике, теории графов, анализе, теории обыкновенных дифференциальных уравнений и динамических систем, гидродинамике, механике, теории упругости и проч. Он автор многих понятий, которые по тем или иным причинам связывают с именами других учёных; вот лишь два примера: дзета-функция Римана, гипергеометрический ряд Гаусса — это изобретения Эйлера.
С именем Эйлера связано первое использование обозначения f(x) для функции, буквы i для выражения мнимой единицы, греческой буквы Σ для записи суммы, греческой буквы Δ для обозначения конечных разностей, строчных букв для обозначения сторон треугольника при представлении углов заглавными буквами. Он дал текущее определение константы e, основания натурального логарифма, ныне известного как число Эйлера. Благодаря ему стало общеупотребимым обозначение числа π.
Эйлер считается едва ли не самым плодовитым математиком. По различным оценкам ему принадлежит более 800 названий научных работ, статей, книг, при этом прижизненных публикаций около 500; издание и переиздание его опубликованных и неопубликованных работ растянулось на столетия и далеко до своего завершения; полное собрание сочинений рассчитано более чем на 70 томов. Его рукописи хранятся в Библиотеке РАН в Санкт-Петербурге.
Покоится учёный в Лазаревском некрополе Александро-Невской Лавры СПб.
👍1
Media is too big
VIEW IN TELEGRAM
📜Интересная статья от Григория Сапунова про интерпретируемость языковых моделей/нейросетей.

Содержит ссылки на другие интересные работы и идеи/подходы/примеры.

И Colab Notebook к статье.

Сохраню здесь чтобы не потерять.

Пока у меня не получилось механистически объяснить/интерпретировать, что делают отдельные головы внимания на различных слоях в сравнительно маленьких моделях BERT. Попробую теперь еще подходы из developmental interpretability - в отличии от mechanistic interpretability здесь фокус на том, как меняются структуры в модели по мере ее обучения.

P.S. А на анимации к посту просто 96 разноцветных нитей прикреплены снаружи к неподвижной раме, а внутри — к шару. Шар постоянно вращается в одном направлении, но нити никогда не запутываются. Они возвращаются к исходной конфигурации, когда шар поворачивается на 720 градусов.

#Interpretability #MechInterp #DevInterp #PureMath
🔥2
Как связан рынок ИИ с Трампом, пошлинами и торговой войной с Китаем - часть 1.

Если вы в последние дни хоть краем уха следили за экономикой и листали новости, вы точно слышали что-то про «Трампа, пошлины» и что рынок рухнул. Сегодня поговорим о том, как эта история связана с рынком ИИ и чего стоит ожидать.

📌 TL;DR:
2 апреля Трамп объявил о новом пакете пошлин — как части стратегии по изменению мировых торговых правил. После протестов со стороны BigTech пошлины на техпродукты, такие как смартфоны и чипы, временно отложили. Но Трамп подчеркнул, что это лишь пауза — исключений не будет.

Что это значит для ИИ:
— Серверы и AI-сервисы могут подорожать
— Нехватка серверов для обучения моделей никуда не денется
— Рынок станет ещё более волатильным, особенно акции техкомпаний

📥📥📥
Давайте копнем поглубже и начнем с базы: что такое пошлины и как они работают?
Пошлины — это допналоги, которые государство взимает с импортных товаров. Кто платит? Сначала импортёры ещё в порту платят денежку государству, а потом перекладывают расходы уже на потребителя - не особо всё-таки хочется уменьшать свои маржи.

В теории пошлины защищают локальных производителей: импорт становится дороже, и люди чаще покупают местные товары. Логично, звучит даже неплохо.
Но на практике всё часто наоборот:
из-за снижения конкуренции растут и цены на местные товары. Пошлины подталкивают инфляцию, душат бизнес и могут усугубить экономический кризис — сокращая торговлю и увеличивая издержки.

Что произошло на рынке:
Фондовый рынок США упал на 9% всего за два дня после первых новостей о пошлинах и ответных мерах.
Apple, Microsoft, Amazon, Alphabet, Meta, Nvidia и Tesla — та самая «Великолепная семёрка» — потеряли более $1 трлн на Уолл-стрит всего за день.
Особенно больно это потенциально бьёт по Apple, учитывая её огромную зависимость от производства в Китае. Айфон так может подорожать в 2–3 раза.

Если пошлины такие вредные, зачем Трамп за них топит?
Вопрос по делу. Большинство экономистов уже трубят тревогу как перед Армагеддоном. Ларри Саммерс, бывший министр финансов, назвал пошлинную политику «худшей экономической ошибкой со времён Второй мировой». Тогда, увы, нахрена это всё?
Если вкратце, цель Трампа:
— вернуть рабочие места в промышленности,
— сократить зависимость от Китая, особенно в сфере чипов и полупроводников.

Пошлины — это попытка остановить рост Китая и его (цитата) «нечестные торговые трюки»: демпинг, кража технологий, принудительные трансферы. Китай за 20 лет стал главным экспортером мира, и США решили – хватит. Пошлины должны защитить американские заводы, сократить зависимость от Китая и вернуть контроль над мировой торговлей.

Отсрочка пошлин на тех продукты, как подчеркивает Трамп, всего лишь отсрочка. Трамп требует развивать промышленность, включая робототехнику и физический ИИ.
А вот тут США пока отстают по всем направлениям: энергия, ресурсы, экспертиза, строительство заводов, само производство.

Короче, план — to bring it home, но сказать, что это непросто — ничего не сказать.
Фабрики – это до хрена времени и до хрена денег. Завод Apple в Китае в 2010 стоил $1,5 млрд. Сейчас — в два-три раза дороже.
А автоматизация ещё и добавляет затрат.

А теперь вернёмся к ИИ

Продолжение в следующем посте… ▶️

#анализ #AIрынок
@ainastia
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2