Истории (не)успеха (ИИ)ЕИ
417 subscribers
158 photos
88 videos
2 files
228 links
Просто о математике, нейросетях, программировании, спорте, политике, культуре. Общение, контакты, международные онлайн дискуссии/лекции в формате лайвстрим, встречи на спорт в Мюнхене.
Download Telegram
Dmytro
🧠 Как думают машины? В поисках нейролингвистических инвариантов. Эксперимент с омонимами. Я уже не раз жаловался в этом чате, что машинное обучение и нейросети меня откровенно раздражают своей неточностью и непрозрачностью миллиардов нейронных связей. Но…
Следующий забег на эти темы будет именно с позиций списка Сводеша. Как я уже вверху показывал с кодом, что нейросеть разводит слово "лук" в предложении "Я купил лук на рынке" и "Рыцарь натянул лук и выпустил стрелу" и тут, внимание (!!!), можно сказать "ну естественно, разные же слова вокруг стоят". Так вот нет совсем. Если дать модели два других предложения "Я купил лук на рынке" и "Урожай лука в этом году был высок" и "Василий пожарил картошку с луком", то модель на средних слоях нейросети развела слово "лук", а на более глубоких слоях свела снова - и там, и там имеется в виду лук как плод и пища. И крошечные по современным меркам языковые модели это понимают прекрасно и говорят, да, это именно этот лук! А вот в предложении про рыцаря с луком даже модель с всего 1 миллардом нейронных связей скажет: не-не, это не тот лук, это другой, это что-то там с тетевой и стрелами, а не то, на чём Василий пожарил картошку или что продаётся на рынке.

И обучая свои сравнительно маленькие нейросетки мне нужны бенчмарки, насколько хорошо я могу их потом верифицировать, поэтому кроме пары дюжин экспериментов с омонимами нужны более солидные бенчмарки и как раз мне пока видится таким бенчмарком именно родственность языков. Тут, конечно, искусство ставить эксперименты....
Интересное мнение, которому уже 49 лет. Согласны или нет? Изменилось ли что-нибудь за почти пол века?

👇👇👇

#AI #Literature #LimitsOfAI #AGI
Основоположник отечественной школы искусственного интеллекта Дмитрий Поспелов об ограниченности ИИ:

...Пишутся расска­зы, стихи, что называется, по алгоритму "как у такого-то"... Но в искусстве этому есть имя — эпигонство. Творчество же предполагает но­вые мысли и образы. Оно тем и отличается от эпигонства, что его источник — жизнь, а не описание жизни

Возьмите пушкинское "Я вас любил...". Что здесь программировать? Стихотвор­ное изложение цепи "любил... страдал ... разлю­бил... будь счастлива"? Получится банальщина.
У Пушкина ведь говорят не только слова. Такое мо­жет написать лишь человек, который действительно лю­бит сильно и самоотреченно

Любовь и ЭВМ — вещи далекие

Эту мысль впервые высказал американский кибернетик Хьюберт Дрейфус: "Мышление без физическо­го тела, находящегося в фи­зическом мире, невозмож­но"

И это один из аргументов против воз­можности создания полноценного ИИ, поскольку машинная программа "живет" не в физическом мире, а в ми­ре символов. Отсутствие физического тела ведет к тому, что ма­шина "ничего не хочет". Она не знает ни любви, ни голода, ни усталости, ни по­требности в комфорте

Ну, а так как никаких потребностей у машины пока нет, то она и не в состоянии сама выбирать цели своего пове­дения и, стало быть, без по­нуждения человеком остает­ся мертвой грудой метал­ла...

ИИ будет возможен, если машина сумеет са­ма осуществить весь мыслительный процесс, начиная от выбора задачи. Пока же за нее решает программист

И даже если мы сымити­руем в машине челове­ческие потребности и чувст­ва, это не будет гаран­тией того, что она сможет создать второе "Я вас лю­бил". Может быть, она со­здаст что-то не менее вели­кое, но... для себе подоб­ных

Представляете, картина — машина-чита­тель вводит в себя стихи машины-поэта и от наслаж­дения меняет ток в питаю­щем трансформаторе. Но мы-то будем подходить к ней с нашими мерками! Она должна будет отражать не свои, а наши чувства, а для этого мало имитировать че­ловека, — надо быть чело­веком


Из интервью "Литературной газете" 28 апреля 1976 года
Друзья, позвольте вас попросить поучаствовать в небольшом анонимном опросе. 👇👇👇 Выбирать можно несколько пунктов!

Заранее огромное спасибо! ❤️
Как вы относитесь к развитию ИИ, больших языковых моделей, нейросетей? Это эволюционный прорыв, временный хайп или, может быть, угроза? Выбирать можно несколько вариантов! Свои варианты в комментарии
Anonymous Poll
3%
Ерунда это все. Хайп, который скоро лопнет
24%
Полезная технология, но сильно переоценена. Пока ничего революционного
32%
Это мощный инструмент, но он не заменит человека. Всегда нужен оператор
9%
ИИ только копирует, но не творит. Он никогда не станет гениальным
4%
Креативные профессии в безопасности. Нейросеть - не художник и не писатель
38%
ИИ изменит нашу жизнь как письменность, книгопечатание, паровые машины и электричество.Это новая эра
22%
Он нас заменит. ИИ оставит миллионы людей без работы
16%
Он нас превзойдет. Вопрос времени и ИИ станет умнее нас
6%
Нас ждет техно-утопия! ИИ будет работать, а мы отдыхать
9%
Нас ждет темно-апокалипсис…Готовлю бункер, кто со мной?
Истории (не)успеха (ИИ)ЕИ pinned «Как вы относитесь к развитию ИИ, больших языковых моделей, нейросетей? Это эволюционный прорыв, временный хайп или, может быть, угроза? Выбирать можно несколько вариантов! Свои варианты в комментарии»
Немного айтишного юмора 😛

#НастроениеВоскресеньяСреды
This media is not supported in your browser
VIEW IN TELEGRAM
В «Гарри Поттере» давно показали лайфхаки по возвращению удалёнщиков в офис.

Пожалуйста, не показывайте это начальникам.

@dnevteh
🤣2😁1
«Another roof, another proof (Ещё одна крыша — ещё одно доказательство)»

26 марта 1913 г. родился Пал Эрдёш, один из самых плодовитых математиков и авторов математических гипотез 20 в. Он считал, что математика — это социальная деятельность, и вёл кочевой образ жизни с единственной целью — писать математические статьи вместе с другими математиками. Эрдёш посвящал математике всё своё свободное время, даже в преклонном возрасте.
Умер от сердечного приступа на математической конференции в 1996 г. в Варшаве (в кармане у него был билет на самолёт до Вильнюса, где должна была состояться его следующая конференция), почти в полном соответствии со своим пожеланием. Однажды он сказал: «Я хочу читать лекцию, заканчивая важное доказательство на доске, когда кто-то из аудитории выкрикнет: “А как насчёт общего случая?” Я повернусь к аудитории и улыбнусь: “Это я оставлю следующему поколению”, — а потом упаду в обморок».
Всю свою жизнь Эрдёш вёл жизнь «странствующего математика»: он путешествовал между научными конференциями и домами коллег по всему миру, появлялся на пороге со словами «мой мозг открыт» и оставался на время, необходимое для совместной подготовки нескольких статей, чтобы уехать дальше ещё через несколько дней. Щедро делился с окружающими своими математическими идеями и сам легко откликался на чужие идеи. Большинство статей написал с соавторами, общее количество которых было более 1500. Традиционно в математике совместная статья является скорее исключением, чем правилом, в связи с чем этот феномен породил шуточный наукометрический показатель «число Эрдёша» (длина кратчайшего пути от автора до Эрдёша по совместным публикациям).
Эрдёш считал, что постановка математических задач так же важна, как и их решение. Он часто публиковал новые задачи и предлагал денежные награды за их решение. За свою жизнь он предложил награды за сотни придуманных им же задач. Величина призов варьировалась от $25 до нескольких тысяч, в зависимости от того, как он оценивал сложность задачи.
В настоящее время за решение задачи из Списка Эрдёша также можно получить премию из фонда Эрдёша, руководимого калифорнийским математиком Р. Грэхемом.
👍3
👆👆👆Сколько рукопожатий до Эрдёша?

В честь Эрдёша даже придумали особый «математический рейтинг» – число Эрдёша.

📌 У самого Эрдёша оно 0,
📌 У его соавторов – 1,
📌 У их соавторов – 2,
📌 И так далее…

А вот у моей скромной персоны 😂 какое число Эрдёша, как думаете? 🤔 Делитесь предположениями в комментариях!

И если знаете своё число – тоже пишите! 🔢🎂
Возвращаясь к моему любимому виду спорта - ну разве не красавчик Юрий? 😊
Forwarded from FightSpace
Media is too big
VIEW IN TELEGRAM
Юрий Яковлевич Арбачаков — первый советский и российский боксер, ставший чемпионом мира среди профессионалов.

Юра, мы не все про...ли!
Актуально для любой страны на сегодняшний день? Или есть страны-исключения? 😁
Новости из мира большой ИИ-политики, но мы, обычные люди, не забываем принять участие в ИИ-опросе: тЫц
Большие ИИ-батальоны – новая стратегия Китая в борьбе с США.
Китай использует слом вычислительной парадигмы ИИ DeepSeek’ом для выхода вперед в ИИ-гонке.
Китай нашел очередной сверхэффективный контрприем против удушающего захвата экспортных ограничений США на микросхемы для ИИ.

Прошлогодние итоги торгово-технологической войны Китая и США за лидерство в ИИ показали, что «отставание Китая с мая ‘23 по октябрь ‘24 сократилось в 30 раз». И тем не менее, чтобы от сокращения отставания перейти к лидерству в ИИ-гонке, Китай мог рассчитывать лишь чудо. Ибо почуявшие на затылке дыхание Китайских конкурентов, лидирующие в гонке OpenAI, Google и Anthropic в конце 2024 взвинтили темп разработок новых моделей, а Белый дом еще сильнее стал душить Китай экспортными ограничениями.

Но чудо все-таки случилось. Им стал революционный прорыв китайских моделей компании DeepSeek. Этот прорыв кардинально изменил основу основ ИИ-гонки - требования к вычислительной мощности для ИИ-систем: прежняя парадигма «основанная на обучении» сменилась на парадигму «основанную на выводе».
• В прежней парадигме соотношение вычислительных ресурсов на этапе обучения модели и на этапе вывода (инференс) было от 70/30 до 80/20
• А в новой – DeepSeek установил планку соотношения вычислительных ресурсов на 25/75) – т.е. основные ресурсы требовались уде при ответах на запросы пользователей.
Еще более важно (и в этом то и состоял главный прорыв DeepSeek’а для Китая) – что в «эпоху вывода» также меняются требования к архитектуре вычислительных кластеров: вместо гонки за кластеры стоимостью в сотни миллиардов к распределенной архитектуре.

Новый отчет Qbit AI показывает, как это выглядит на практике (см. рис.).
Поставщики периферийных облачных вычислений, такие как PPIO, запускают ИИ-сервисы через распределенные сети, используя более 3900 узлов в 1200 городах Китая общей вычислительной мощностью более 1000 петафлопс.
И при этом Qbit сообщает, что во время китайского Нового года "PPIO достигла 99,9% доступности своих услуг To-Business DeepSeek… В настоящее время среднесуточное потребление токенов платформы PPIO превысило 130 миллиардов."

Таким образом, по состоянию на март 2025:
OpenAI ежесуточно обрабатывает около 1 трлн токенов, используя вычислительную мощность ~2000–4000 петафлопс
• Baidu также ежесуточно обрабатывает около 1 трлн токенов, но использует лишь 1500–2300 петафлопс


Для сравнения, оценки аналогичных показателей для самых продвинутых российских моделей:
Яндекс (YaLM) ежесуточно обрабатывает около ~5 млрд токенов, используя вычислительную мощность ~1-3 петафлопс
• Сбер (GigaChat) ~5+ млрд токенов, используя ~1-5 петафлопс


N.B. С учетом внушительных экосистем Сбера и Яндекса и распространение их ИИ-сервисов для корпоративных заказчиков, указанные цифры могут возрасти на порядок. Но и эти цифры будут на примерно на 2 порядка меньше, чем у ведущих компаний США и Китая.

Резюме:
Новая стратегия больших батальонов распределенных вычислений, несомненно, на руку Китаю.
Однако, полемизируя с идеологией, выраженной в любимой Наполеоном фразе "Бог всегда на стороне больших батальонов", Вольтер сказал - "Бог не на стороне больших батальонов, а на стороне лучших стрелков".
А стрелки, надо признать, у США все же лучше.

#Китай #США #ИИгонка
🔥 Стрим по программированию на следующих выходных (5.04 или 6.04)! 🔥

Темы открыты для обсуждения! Вот варианты, что можно разобрать:

1️⃣ Большие языковые модели и трансформеры – поделюсь, что уже понял и как с ними работать. архитектуры, эмбеддинги, сэлф-аттэншин с нуля на питоне. @phconductor, интересно?
2️⃣ Моя основная работа – сейчас погружаюсь в новые темы Kafka, Flink - можно обсудить вместе и сделать какой-нибудь пример. @spearhead_one, тебе интересно?
3️⃣ Для начинающих и тех, кто вообще ни разу не программировал – разберём, что такое программирование, как вариант предлагаю на примере автоматических тестов для веб-приложений и электроники. @все и @Arha_0?

Если интересно – пишите в комменты или в ЛС, договоримся о времени! 🚀

@все, @vierten, @niko_gur, @im115599, @karpolan что думаете?
начнём с какой-нибудь одной темы, а если понравится, то повторим. предлагайте свои темы также!
27 марта 1857 г. родился Карл Пирсон, британский математик, основатель современной статистики. Разработал теорию корреляции, критерии согласия, алгоритмы принятия решений и оценки параметров. С его именем связаны такие широко используемые термины и методы, как: гистограмма, стандартное отклонение, коэффициент асимметрии, коэффициенты корреляции и ковариации, метод моментов, критерий хи-квадрат, множественная регрессия. Методы Пирсона имеют предельно общий характер и применяются практически во всех естественных науках.

При этом Пирсон был одним из главных теоретиков расизма, основоположником биометрики, проповедником социального дарвинизма и евгеники.
Понятие евгеники ввёл антрополог Фрэнсис Гальтон, понимая под ним «науку, занимающуюся всеми факторами, улучшающими врождённые качества расы». Пирсон повернул евгенику в русло патриотизма. По его мнению, задача евгеники — заниматься не отдельными людьми, а целыми нациями. Государство имеет право определять, кто может иметь детей, а кто нет.
Пирсон рассматривал войну против «низших рас» как логическое следствие теории эволюции. «Мой взгляд — и я думаю, его можно назвать научным взглядом на нацию, — писал он, — это взгляд на организованное целое, поддерживаемое на высоком уровне внутренней эффективности за счёт обеспечения того, чтобы его численность в основном набиралась из лучших кадров, и поддерживаемое на высоком уровне внешней эффективности за счёт конкуренции, главным образом путем войны с низшими расами». «Право жить ещё не означает право каждого на продолжение своего рода. Снижается качество естественного отбора, и это значит, что выживает всё больше слабых и никчёмных. А мы должны повышать стандарт происхождения, умственный и физический».

В общем, увы, очень большой математик не обязательно является очень большим человеком…
👍2
🔥 Стрим по программированию на следующих выходных (5.04 или 6.04)! 🔥

Темы открыты для обсуждения! Вот варианты, что можно разобрать:

1️⃣ Большие языковые модели и трансформеры – поделюсь, что уже понял и как с ними работать. архитектуры, эмбеддинги, сэлф-аттэншин с нуля на питоне. @phconductor, интересно?
2️⃣ Моя основная работа – сейчас погружаюсь в новые темы Kafka, Flink - можно обсудить вместе и сделать какой-нибудь пример. @spearhead_one, тебе интересно?
3️⃣ Для начинающих и тех, кто вообще ни разу не программировал – разберём, что такое программирование, как вариант предлагаю на примере автоматических тестов для веб-приложений и электроники. @все и @Arha_0?

Если интересно – пишите в комменты или в ЛС, договоримся о времени! 🚀

@все, @vierten, @niko_gur, @im115599, @karpolan что думаете?
начнём с какой-нибудь одной темы, а если понравится, то повторим. предлагайте свои темы также!
Forwarded from FightSpace
Алекс Волкановски оценивает шансы в потенциальном поединке чемпиона UFC в легком весе Ислама Махачева и Ильи Топурии, который недавно объявил о переходе в этот вес:
This media is not supported in your browser
VIEW IN TELEGRAM