Forwarded from Истории (не)успеха (ИИ)ЕИ (Dmytro)
🎙️ СТРИМ / ДИСКУССИЯ — это воскресенье!
📅 Когда:
🕐 Воскресенье, 13:00 по Центральноевропейскому времени
🕑 (14:00 по Москве)
📌 Формат:
Неформальная дискуссия об искусственных и естественных нейросетях — от больших языковых моделей до нейрофизиологии мозга. Всё зависит от того, кто придёт и какие темы захочет поднять.
💡 Планирую короткое вводное (буквально на 10–20 минут):
- как работают большие языковые модели (LLM),
- что такое эмбеддинги и механизмы самовнимания,
- интерпретируемость в нейросетях.
Дальнейшие темы, которые мы попробуем обсудить или хотя бы затронуть совместно с нейробиологами и специалистами по ИИ (в разумных временных рамках на стрим) 🧠⚡️🤖
Нейроны: биология vs кремний.
Сравним, как кодируется и обрабатывается информация в мозге и в искусственных нейросетях (ИНС). Так ли важно точное моделирование биологических нейронов?
Алгоритмы обучения: от синапса до сети.
Как мозг учится на уровне связей (Хебб, STDP) и как это соотносится с Backpropagation? Заглянем в биоправдоподобные подходы вроде Predictive Coding и Energy-Based Models.
Мозг vs ИИ: общая картина. Разберем ключевые различия: скорость обучения, память (привет, гиппокамп!), катастрофическое забывание и архитектура сетей.
Модели, вдохновленные мозгом.
От классики CNN до современных Трансформеров и Reinforcement Learning – как ИИ "подсматривает" за природой?
На пути к AGI.
Какие вызовы стоят перед созданием ИИ уровня мозга? Роль Meta-Learning, World Models, иерархического RL и online-обучения.
Сознание у ИИ?
Самый сложный вопрос: может ли ИИ, особенно LLM, обрести сознание? Поговорим об аргументах, ограничениях и философии.
Ожидаемый уровень аудитории:
от специалистов до всех интересующихся. Разговор будет идти на уровне общих неформальных идей.
🎥 Трансляци в канале, вверху будет кнопочка "Присоединиться к стриму"
📣 Приходи с вопросами, мыслями и интересом — будем думать вслух!
📅 Когда:
🕐 Воскресенье, 13:00 по Центральноевропейскому времени
🕑 (14:00 по Москве)
📌 Формат:
Неформальная дискуссия об искусственных и естественных нейросетях — от больших языковых моделей до нейрофизиологии мозга. Всё зависит от того, кто придёт и какие темы захочет поднять.
💡 Планирую короткое вводное (буквально на 10–20 минут):
- как работают большие языковые модели (LLM),
- что такое эмбеддинги и механизмы самовнимания,
- интерпретируемость в нейросетях.
Дальнейшие темы, которые мы попробуем обсудить или хотя бы затронуть совместно с нейробиологами и специалистами по ИИ (в разумных временных рамках на стрим) 🧠⚡️🤖
Нейроны: биология vs кремний.
Сравним, как кодируется и обрабатывается информация в мозге и в искусственных нейросетях (ИНС). Так ли важно точное моделирование биологических нейронов?
Алгоритмы обучения: от синапса до сети.
Как мозг учится на уровне связей (Хебб, STDP) и как это соотносится с Backpropagation? Заглянем в биоправдоподобные подходы вроде Predictive Coding и Energy-Based Models.
Мозг vs ИИ: общая картина. Разберем ключевые различия: скорость обучения, память (привет, гиппокамп!), катастрофическое забывание и архитектура сетей.
Модели, вдохновленные мозгом.
От классики CNN до современных Трансформеров и Reinforcement Learning – как ИИ "подсматривает" за природой?
На пути к AGI.
Какие вызовы стоят перед созданием ИИ уровня мозга? Роль Meta-Learning, World Models, иерархического RL и online-обучения.
Сознание у ИИ?
Самый сложный вопрос: может ли ИИ, особенно LLM, обрести сознание? Поговорим об аргументах, ограничениях и философии.
Ожидаемый уровень аудитории:
от специалистов до всех интересующихся. Разговор будет идти на уровне общих неформальных идей.
🎥 Трансляци в канале, вверху будет кнопочка "Присоединиться к стриму"
📣 Приходи с вопросами, мыслями и интересом — будем думать вслух!
Telegram
Истории (не)успеха (ИИ)ЕИ
Просто о математике, нейросетях, программировании, спорте, политике, культуре. Общение, контакты, международные онлайн дискуссии/лекции в формате лайвстрим, встречи на спорт в Мюнхене.
Истории (не)успеха (ИИ)ЕИ pinned «🎙️ СТРИМ / ДИСКУССИЯ — это воскресенье! 📅 Когда: 🕐 Воскресенье, 13:00 по Центральноевропейскому времени 🕑 (14:00 по Москве) 📌 Формат: Неформальная дискуссия об искусственных и естественных нейросетях — от больших языковых моделей до нейрофизиологии мозга.…»
🧠 Как впихнуть нейросеть в тостер — квантизация
Короче, нейросети огромные, а памяти мало, грустно.
Чтобы всё это хоть как-то работало на обычных устройствах, придумали квантизацию — берём большие весёлые 32-битные числа и сжимаем их до унылых 4-8 бит.
Типа была модель на стероидах — стала на диете. Если подходить к этому с умом, то работает почти так же, зато влезает в память.
📚 Классный визуальный гайд по теме — прям с картинками и всё понятно:
👉 https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization
#LLM #Transformer #Quantization #Efficiency
Короче, нейросети огромные, а памяти мало, грустно.
Чтобы всё это хоть как-то работало на обычных устройствах, придумали квантизацию — берём большие весёлые 32-битные числа и сжимаем их до унылых 4-8 бит.
Типа была модель на стероидах — стала на диете. Если подходить к этому с умом, то работает почти так же, зато влезает в память.
📚 Классный визуальный гайд по теме — прям с картинками и всё понятно:
👉 https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization
#LLM #Transformer #Quantization #Efficiency
❤1👍1
Forwarded from История науки по-пацански
История науки по-пацански. Выпуск 6: как срач привел к появлению науки. Часть вторая
Итак, в прошлой части мы рассказали вам о том, как давным давно, в одной научной галактике три ученых придумали клеточную теорию, а потом другой итальянец - как увидеть нейроны в микроскоп и нарисовал их красивые картинки.
Казалось бы, ура! Все увидят - есть ли отдельные клетки в мозге, или это все единая сеть, как в 1871 году, за два года до черной реакции Гольджи сформулировал Йозеф фон Герлах, все танцуют и ждут 30 лет Нобелевской премии - а что, динамит шесть лет как запатентован - его создатель как пить дать денег отслюнявит.
Но случилось другое. Да, Камилло Гольджи, придумавший метод, подхватил теорию Герлаха и чисто авторитетно сформулировал: чуваки, мамой клянусь, никаких анастомозов (разрывов) между отдельными нейронами я тута не вижу. А вот и фоточки в инстаграмме. Сам нарисовал, глядючи в микроскоп.
Но нашелся другой товарищ, не менее горячий, чем итальянец Гольджи - испанец Сантьяго Рамон и Кахаль. То ли у него зрение было получше, то ли рисовал он получше - но он сказал - туфта эти голимые итальянские картинки, смотрите мои - да нет, не на купюры с Альфонсом XII, а на вот это. И правда, рисовал Кахаль лучше, хотя и использовал метод Гольджи и популяризировал его метод.
Но нейробиологи (хотя и нейронаук тогда не было) сразу поделились на две партии - одна за нейроны (даже слово такое придумали - чтобы как-то называть гипотетические пока клетки в мозге), одна - за сеть. Во главе каждой - красавец-ученый, которые только помидорами друг в друга не кидались. На стороне Кахаля людей больше - даже юный Фрейд нейроны зарисовывал, хотя потом увидел все эти страсти, подумал «а пошло оно все на х… черт, а это идея для стартапа» и ушел в коучи, и будущий нобелевский лауреат Фритьоф Нансен, который был учеником Гольджи, но сначала выбрал правильную сторону истории, а потом и вовсе удрал в Арктику. Но фанатов Гольджи тоже хватало - в том числе наш Александр Догель.
Прав оказался Кахаль. В самом конце XIX века Чарльз Шеррингтон окончательно показал наличие тех самых анастомозов - разрывов/соединений между нейронами - и даже слово придумал специальное - синапс. Чтобы потом слышащие слово «соединение» не путали его с воинскими частями.
И что, думаете помогло? Срач между лидерами продолжился до такой степени, что весь ученый люд решил: хватит. В 1906 году в Стокгольме сказали: чуваки, остановитесь. Вот тебе Нобелевская премия, вот - тебе. Благо Нобель разрешил ее разделять между двумя или тремя товарищами. Вот, пригодилось. Правда, товарищи продолжили клеймить друг друга - даже в своих нобелевских лекциях. А нейронауки ждал очередной срач. Какой? Это уже другая история.
На рисунках: Камилло Гольджи, его рисунок гиппокампа, Саньяго Рамон-и-Кахаль и его зарисовка
Итак, в прошлой части мы рассказали вам о том, как давным давно, в одной научной галактике три ученых придумали клеточную теорию, а потом другой итальянец - как увидеть нейроны в микроскоп и нарисовал их красивые картинки.
Казалось бы, ура! Все увидят - есть ли отдельные клетки в мозге, или это все единая сеть, как в 1871 году, за два года до черной реакции Гольджи сформулировал Йозеф фон Герлах, все танцуют и ждут 30 лет Нобелевской премии - а что, динамит шесть лет как запатентован - его создатель как пить дать денег отслюнявит.
Но случилось другое. Да, Камилло Гольджи, придумавший метод, подхватил теорию Герлаха и чисто авторитетно сформулировал: чуваки, мамой клянусь, никаких анастомозов (разрывов) между отдельными нейронами я тута не вижу. А вот и фоточки в инстаграмме. Сам нарисовал, глядючи в микроскоп.
Но нашелся другой товарищ, не менее горячий, чем итальянец Гольджи - испанец Сантьяго Рамон и Кахаль. То ли у него зрение было получше, то ли рисовал он получше - но он сказал - туфта эти голимые итальянские картинки, смотрите мои - да нет, не на купюры с Альфонсом XII, а на вот это. И правда, рисовал Кахаль лучше, хотя и использовал метод Гольджи и популяризировал его метод.
Но нейробиологи (хотя и нейронаук тогда не было) сразу поделились на две партии - одна за нейроны (даже слово такое придумали - чтобы как-то называть гипотетические пока клетки в мозге), одна - за сеть. Во главе каждой - красавец-ученый, которые только помидорами друг в друга не кидались. На стороне Кахаля людей больше - даже юный Фрейд нейроны зарисовывал, хотя потом увидел все эти страсти, подумал «а пошло оно все на х… черт, а это идея для стартапа» и ушел в коучи, и будущий нобелевский лауреат Фритьоф Нансен, который был учеником Гольджи, но сначала выбрал правильную сторону истории, а потом и вовсе удрал в Арктику. Но фанатов Гольджи тоже хватало - в том числе наш Александр Догель.
Прав оказался Кахаль. В самом конце XIX века Чарльз Шеррингтон окончательно показал наличие тех самых анастомозов - разрывов/соединений между нейронами - и даже слово придумал специальное - синапс. Чтобы потом слышащие слово «соединение» не путали его с воинскими частями.
И что, думаете помогло? Срач между лидерами продолжился до такой степени, что весь ученый люд решил: хватит. В 1906 году в Стокгольме сказали: чуваки, остановитесь. Вот тебе Нобелевская премия, вот - тебе. Благо Нобель разрешил ее разделять между двумя или тремя товарищами. Вот, пригодилось. Правда, товарищи продолжили клеймить друг друга - даже в своих нобелевских лекциях. А нейронауки ждал очередной срач. Какой? Это уже другая история.
На рисунках: Камилло Гольджи, его рисунок гиппокампа, Саньяго Рамон-и-Кахаль и его зарисовка
😁2
🧠✨ Как привлечь $88M под ИИ? Легко. Учимся у продвинутых коллег.
Стартап Nate привлёк десятки миллионов долларов инвестиций на развитие своего ИИ, который оказался сотней филиппинцев 🙂
Компания делала приложение, которое позволяет покупать товары на любом сайте без регистрации. Вы просто скидываете в Nate ссылку на вещь, а «ИИ» уже оформляет заказ с учётом вашего адреса и платёжной информации.
На деле же ссылку на товар просто кидали филиппинцу, который руками оформлял заказ и отправлял обратно подробности клиенту.
Nate даже покупали ИИ-технологии и нанимали классных разработчиков, но в ходе расследования от Минюста США установили — уровень автоматизации сервиса составляет 0% 🌻
#AI #Startup #Business
Стартап Nate привлёк десятки миллионов долларов инвестиций на развитие своего ИИ, который оказался сотней филиппинцев 🙂
Компания делала приложение, которое позволяет покупать товары на любом сайте без регистрации. Вы просто скидываете в Nate ссылку на вещь, а «ИИ» уже оформляет заказ с учётом вашего адреса и платёжной информации.
На деле же ссылку на товар просто кидали филиппинцу, который руками оформлял заказ и отправлял обратно подробности клиенту.
Nate даже покупали ИИ-технологии и нанимали классных разработчиков, но в ходе расследования от Минюста США установили — уровень автоматизации сервиса составляет 0% 🌻
#AI #Startup #Business
😁2🐳2
Сегодня на неформальном стриме "за нейросети" обсудили интерпретируемость искусственных и естественных нейросетей, а также сходства и различия между мозгом и ИИ.
🔥Огромное спасибо Никите @Sauforn(Hidden Heuristic) за подробный и увлекательный рассказ о современных подходах и актуальных темах в нейронауке и машинном обучении 🔥
Cсылки на статьи затронутыe на стриме:
🤔 Интерпретируемость:
Интерпретируемость в трансформерах
Как трансформеры моделируют геометрию состояния убеждений
🧠⚡️🤖 Мозг vs ИИ:
Backpropagation algorithm и мозг мышек 🐀
Предиктивное кодирование
Reinforcement Learning vs Human Brain
Моделирование нейроподобных процессов в ИИ
В следующие дни я подробнее разберу отдельные темы, затронутые Никитой.
Пока перевариваю полученную информацию 🤯
💥 Друзья, настоятельно рекомендую заглянуть 👉 Hidden Heuristic
П.С. Я, дурында такая, не нажал кнопочку "Записать" и стрим, естественно, не записался. Но, я думаю, что мы повторим!
#AI #Transformers #Interpretability #Brain #Biology
🔥Огромное спасибо Никите @Sauforn(Hidden Heuristic) за подробный и увлекательный рассказ о современных подходах и актуальных темах в нейронауке и машинном обучении 🔥
Cсылки на статьи затронутыe на стриме:
🤔 Интерпретируемость:
Интерпретируемость в трансформерах
Как трансформеры моделируют геометрию состояния убеждений
🧠⚡️🤖 Мозг vs ИИ:
Backpropagation algorithm и мозг мышек 🐀
Предиктивное кодирование
Reinforcement Learning vs Human Brain
Моделирование нейроподобных процессов в ИИ
В следующие дни я подробнее разберу отдельные темы, затронутые Никитой.
Пока перевариваю полученную информацию 🤯
💥 Друзья, настоятельно рекомендую заглянуть 👉 Hidden Heuristic
П.С. Я, дурында такая, не нажал кнопочку "Записать" и стрим, естественно, не записался. Но, я думаю, что мы повторим!
#AI #Transformers #Interpretability #Brain #Biology
👍2🔥1