Пятничное чтиво, приуроченное к выходу GPT-4.
"Поэты сорганизовали несколько митингов протеста и потребовали опечатать машину, но никто, кроме них, не обращал внимания на феномен. Редакции газет были даже довольны, поскольку Электрувер, писавший под несколькими тысячами псевдонимов сразу, представлял готовую поэму заданных размеров на любой случай, и эта поэзия, хоть и на заказ, была такого качества, что читатели раскупали газеты нарасхват, а улицы так и пестрели лицами, полными неземного блаженства, мелькали бессознательные улыбки и слышались тихие всхлипывания. Стихи Электрувера знали все; воздух сотрясали хитроумнейшие рифмы, а наиболее впечатлительные натуры, потрясенные специально сконструированными метафорами или ассонансами, даже падали в обморок; но и к этому был подготовлен титан вдохновения: он сразу же вырабатывал соответствующее количество отрезвляющих сонетов."
Если вы это не читали, то вам срочно сюда:
www.booksite.ru
_______
Источник | #gonzo_ML
Этот пост как и другие в этом канале публикуются с задержкой.
Без задержек и рекламы материалы доступны в платной части канала
"Поэты сорганизовали несколько митингов протеста и потребовали опечатать машину, но никто, кроме них, не обращал внимания на феномен. Редакции газет были даже довольны, поскольку Электрувер, писавший под несколькими тысячами псевдонимов сразу, представлял готовую поэму заданных размеров на любой случай, и эта поэзия, хоть и на заказ, была такого качества, что читатели раскупали газеты нарасхват, а улицы так и пестрели лицами, полными неземного блаженства, мелькали бессознательные улыбки и слышались тихие всхлипывания. Стихи Электрувера знали все; воздух сотрясали хитроумнейшие рифмы, а наиболее впечатлительные натуры, потрясенные специально сконструированными метафорами или ассонансами, даже падали в обморок; но и к этому был подготовлен титан вдохновения: он сразу же вырабатывал соответствующее количество отрезвляющих сонетов."
Если вы это не читали, то вам срочно сюда:
www.booksite.ru
_______
Источник | #gonzo_ML
Этот пост как и другие в этом канале публикуются с задержкой.
Без задержек и рекламы материалы доступны в платной части канала
www.booksite.ru
Станислав Лем. Путешествие первое А, или Электрувер Трурля
Читать книи Станислава Лема
👍6🤔1
Superconducting supercomputers
В свежем IEEE Spectrum статья про сверхпроводящие компьютеры (spectrum.ieee.org) и целый стек, разрабатываемый сейчас международной организацией Imec (www.imec-int.com) со штаб-квартирой в Бельгии.
На фоне разговоров про триллионные кластеры с масштабами энергопотребления уровня 20% общего производства энергии США на один такой кластер (situational-awareness.ai) и энергию как одно из главных бутылочных горлышек таких затей (situational-awareness.ai), и даже на фоне более ранних прогнозов из 2015-го про вычисления вообще, где говорилось что к 2040-му требуемая для вычислений энергия превзойдёт мировое производство оной (www.semiconductors.org, Figure A8) если продолжать использовать типовые мейнстримовые вычислительные системы, все эти движения выглядят очень актуальными.
Imec разрабатывает решения сразу на всех уровнях стека, от материалов для сверхпроводящего железа, через новые схемотехнические решения для организации логических схем и памяти к архитектурным решениям на уровне совмещения с классической DRAM памятью.
Новые схемы основаны на использовании эффекта Джозефсона в устройствах под названием переход Джозефсона (Josephson junction, JJ, www.scientificamerican.com). В них два слоя сверхпроводника разделены тонким слоем диэлектрика, через который туннелирует ток до тех пор, пока этот ток не превышает критическое значение. При превышении критического тока, в переходе возникает импульс напряжения, запускающий ток, который дальше будет течь по сверхпроводящему контуру с JJ бесконечно. На этих контурах можно построить логические элементы (ток течёт -- 1, не течёт -- 0) и память (два связанных контура, если ток в левом -- хранится 1, если ток в правом, а в левом нет -- 0).
Предложенная авторами плата под названием superconductor processing unit (SPU) содержит сверхпроводящие логические контуры и статическую память (SRAM) на JJ, охлаждённую жидким гелием до 4K, также через стеклянный изолятор на схеме есть классические не-сверхпроводящие CMOS DRAM охлаждённые до 77K и далее ведущие наружу в комнатной теплоты мир коннекторы.
Смоделирована система со ста такими платами, размером порядка обувной коробки (20x20x12 см), которая может выдавать 20 exaflops (10^18) в bf16 и потреблять всего 500 киловатт. У топового суперкомпьютера Frontier что-то типа чуть больше 1 экзафлопса, но правда это fp64, а не bf16. И энергопотребление в сотню раз выше. У DGX H100 с 8 GPU заявлено 32 petaflops в fp8, и соответственно 16 petaflops в bf16, то есть 20 exaflops потребует 10000 карт H100. Впечатляет в общем.
Да, требуется энергия на охлаждение, но начиная с некоторого масштаба (в районе десятка петафлопс) она уже полностью отбивается и сверхпроводящий суперкомпьютер обгоняет классический на GPU.
Из дополнительных интересных бонусов может быть более лёгкая интеграция с квантовыми компьютерами, которые требуют похожего охлаждения, а также с термодинамическими компьютерами типа как у Extropic, тоже использующими JJ (https://t.iss.one/gonzo_ML/2688).
Это потенциально очень интересное развитие. Может и не нужны будут гига-датацентры размером с футбольные поля с атомными электростанциями под боком, а будет свой маленький сверхпроводящий суперкомпьютер на районе? Со своим районным AI.
_______
Источник | #gonzo_ML
@F_S_C_P
-------
поддержи канал
-------
В свежем IEEE Spectrum статья про сверхпроводящие компьютеры (spectrum.ieee.org) и целый стек, разрабатываемый сейчас международной организацией Imec (www.imec-int.com) со штаб-квартирой в Бельгии.
На фоне разговоров про триллионные кластеры с масштабами энергопотребления уровня 20% общего производства энергии США на один такой кластер (situational-awareness.ai) и энергию как одно из главных бутылочных горлышек таких затей (situational-awareness.ai), и даже на фоне более ранних прогнозов из 2015-го про вычисления вообще, где говорилось что к 2040-му требуемая для вычислений энергия превзойдёт мировое производство оной (www.semiconductors.org, Figure A8) если продолжать использовать типовые мейнстримовые вычислительные системы, все эти движения выглядят очень актуальными.
Imec разрабатывает решения сразу на всех уровнях стека, от материалов для сверхпроводящего железа, через новые схемотехнические решения для организации логических схем и памяти к архитектурным решениям на уровне совмещения с классической DRAM памятью.
Новые схемы основаны на использовании эффекта Джозефсона в устройствах под названием переход Джозефсона (Josephson junction, JJ, www.scientificamerican.com). В них два слоя сверхпроводника разделены тонким слоем диэлектрика, через который туннелирует ток до тех пор, пока этот ток не превышает критическое значение. При превышении критического тока, в переходе возникает импульс напряжения, запускающий ток, который дальше будет течь по сверхпроводящему контуру с JJ бесконечно. На этих контурах можно построить логические элементы (ток течёт -- 1, не течёт -- 0) и память (два связанных контура, если ток в левом -- хранится 1, если ток в правом, а в левом нет -- 0).
Предложенная авторами плата под названием superconductor processing unit (SPU) содержит сверхпроводящие логические контуры и статическую память (SRAM) на JJ, охлаждённую жидким гелием до 4K, также через стеклянный изолятор на схеме есть классические не-сверхпроводящие CMOS DRAM охлаждённые до 77K и далее ведущие наружу в комнатной теплоты мир коннекторы.
Смоделирована система со ста такими платами, размером порядка обувной коробки (20x20x12 см), которая может выдавать 20 exaflops (10^18) в bf16 и потреблять всего 500 киловатт. У топового суперкомпьютера Frontier что-то типа чуть больше 1 экзафлопса, но правда это fp64, а не bf16. И энергопотребление в сотню раз выше. У DGX H100 с 8 GPU заявлено 32 petaflops в fp8, и соответственно 16 petaflops в bf16, то есть 20 exaflops потребует 10000 карт H100. Впечатляет в общем.
Да, требуется энергия на охлаждение, но начиная с некоторого масштаба (в районе десятка петафлопс) она уже полностью отбивается и сверхпроводящий суперкомпьютер обгоняет классический на GPU.
Из дополнительных интересных бонусов может быть более лёгкая интеграция с квантовыми компьютерами, которые требуют похожего охлаждения, а также с термодинамическими компьютерами типа как у Extropic, тоже использующими JJ (https://t.iss.one/gonzo_ML/2688).
Это потенциально очень интересное развитие. Может и не нужны будут гига-датацентры размером с футбольные поля с атомными электростанциями под боком, а будет свой маленький сверхпроводящий суперкомпьютер на районе? Со своим районным AI.
_______
Источник | #gonzo_ML
@F_S_C_P
-------
поддержи канал
-------
IEEE Spectrum
How to Put a Data Center in a Shoebox
Imec’s plan to use superconductors to shrink computers
👍4🤔1