Открытое RISC-V ядро Sargantana, разработанное инженерами из группы Laboratory for Open Computer Architecture (LOCA) при Barcelona Supercomputing Center (BSC), получило масштабное обновление:

🎉 RISC-V Vector Extension (RVV) версии 1.0 (пока без поддержки инструкций с конфигурации длины вектора, для LMUL > 1 и без векторных инструкций для работы с плавающей точкой).

Подробнее ознакомиться с обновлением можно в исходниках проекта:

Исходный код ядра Sargantana
Исходный код VPU

Basilisk: A 34 mm² End-to-End Open-Source
64-bit Linux-Capable RISC-V SoC in 130nm BiCMOS

Linux-Capable процессор полностью спроектированный при помощи открытых EDA инструментов.

Для верификации, вероятно, всё ещё применялись коммерческие инструменты, однако маршрут от RTL до GDSII полностью построен на инструментах с открытым исходным кодом.

Результаты синтеза, техпроцесс IHP130:

At the nominal 1.2 V
voltage, Basilisk reaches a clock frequency of up to 62 MHz.
At 1.64 V, we reach Basilisk’s peak frequency of 102 MHz.

Из интересного — можно посмотреть ASIC-оптимизированную имплементацию Fused multiply-add модуля, написанного не через "+" и "*", а через CSA tree. Так что если есть желание покопаться в low-level bit-hacking и посмотреть, что же такое Wallace tree, Booth encoding, Sklansky parallel-prefix adder — welcome.

Сложно переоценить влияние компании Intel на современную полупроводниковую индустрию и подходы, которые сегодня применяются в дизайн-центрах по всему миру. Многие из этих подходов были впервые внедрены именно в Intel. Одной из таких важных концепций является «War Room».

Цена ошибки при выпуске микросхем крайне высока, но не менее критичен и срыв сроков. Очерёдность tape-out (финальной передачи дизайна микросхемы на производство) планируется не только условиями контракта, но и загруженностью фабрики. Поэтому перенести дату производства, если не невозможно, то крайне сложно.

В процессе подготовки микросхемы задействованы команды логического проектирования, верификации и физического дизайна. И чем ближе дата того самого RTL freeze (момента, после которого описание аппаратуры нельзя изменять), тем выше накал страстей при взаимодействии этих команд. В определённый момент уже нет возможности вносить исправления в чип, так как команде физического дизайнга необходимо иметь стабильное и неизменяемое описание аппаратуры.

Именно на этом этапе возникают критически важные вопросы: какой баг является действительно важным и требует немедленного исправления, и как его устранение повлияет на график подготовки продукта к выпуску? Для быстрого анализа таких ситуаций и оперативного принятия решений вводится понятие War Room.

Специалисты в полупроводниковой отрасли, знакомые с терминами tape-out и RTL freeze, отлично понимают важность и необходимость такого подхода.

Подробнее о применении концепции War Room и других интересных аспектах разработки процессоров можно прочитать в книге «The Pentium Chronicles».

мы?

А чтобы не скучали, вот вам пейпер на 40 страниц с исчерпывающим обзором современных подходов к проектированию систолических массивов.

A Survey of Design and Optimization for Systolic Array-based DNN Accelerators

Эту недельку придется потерпеть вам душные посты про матрицы, флоты, dot product и fma.
Но обещаю потом все лето не душнить про computer arithmetic (нет🗿)

Одна из задач при проектировании нейроускорителя — реализация вычислительного тракта для операций с плавающей точкой. Классический скалярный 4–5 стадийный FMA здесь не подходит: требуется параллельное перемножение большого количества пар операндов с последующим сложением в общий аккумулятор.

Для этого применяется техника поздней нормализации и перевода чисел с плавающей точкой в fixed-point представление, что позволяет выполнять точное накопление без промежуточного округления.

В этом посте найдете ссылки на статьи, подробно раскрывающие, как и почему NPU отклоняются от стандарта IEEE-754, как обрабатываются NaN и бесконечности, и как определяется ширина fixed-point представления для различных форматов чисел с плавающей точкой.

1. Exact Dot Product Accumulate Operators
for 8-bit Floating-Point Deep Learning
2. Experimental Analysis of Matrix Multiplication Functional Units
3. Modified Fused Multiply and Add for exact low precision product accumulation

MXDOTP: A RISC-V ISA Extension for Enabling Microscaling (MX) Floating-Point Dot Products

В этой статье представлена реализация dot product с аппаратной поддержкой формата Microscaling (MX) — нового стандартизованного формата, сочетающего простоту реализации для 8-битных чисел и расширенный динамический диапазон благодаря использованию scale-факторов (общих экспонент для блоков элементов, не путать с блочными флотами!).

MXDOTP — это расширение ISA для RISC-V, интегрированное в ядро Snitch. Оно позволяет выполнять dot product между двумя 8-элементными FP8-векторами с накоплением в FP32 и применением двух независимых scale-факторов. Для обхода ограничения на количество портов чтения регистрового файла используется механизм Stream Semantic Registers (SSR), что позволяет эффективно подавать четыре операнда за такт. SSR — особенность ядра Snitch, позволяющая передавать потоковые данные напрямую в вычислительные блоки без участия регистрового файла и LSU. Это компромисс между дополнительной сложностью в программной поддержке и выигрышем в доступности данных при минимальной площади.

Исходный код MXDOTP доступен на GitHub репозитории проекта.

Эмуляцию формата MX можно выполнить с помощью MX PyTorch Emulation Library от Microsoft.

Подробнее с форматом можно ознакомиться в спецификации формата или в обзорной статье Николаса Бруни.

p.s. Очень здорово оформлена самая статья. Работа выполнена в рамках европейского проекта NeuroSoC, финансируемого по линии Horizon Europe (Grant Agreement №101070634). По ссылке можно изучить детали проекта: участников, цели, бюджеты, отчётность, документацию и сроки:
https://cordis.europa.eu/project/id/101070634

Смотрите, что мне принесла лента LinkedIn.

Книга посвящена изучению процесса проектирования интегральных схем с использованием open-source инструментов OpenLane и Caravel. В ней описывается полный путь от уровня Register Transfer Level (RTL) до финального представления чипа в формате GDSII.

Книга (судя по описанию и оглавлению) объясняет весь процесс tape-out, делая его понятным и доступным для студентов, исследователей и инженеров.

Ссылка на книгу

Вышла новая книга по архитектуре процессорных систем от моих друзей и коллег из МИЭТ и BSC, которых вы можете знать по YouTube-каналу digital_machines и одноимённому курсу на GitHub!

Это пособие идеально подойдет тем, кто хочет освоить полный стек проектирования процессорных систем, включая аппаратную и программную составляющие.

Книга: «Архитектуры процессорных систем. Практический курс» (ISBN: 978-5-94836-714-9).

Codasip, европейский дизайн-центр процессоров на базе архитектуры RISC-V, объявил о начале процесса продажи компании.

Поводом послужил интерес потенциальных покупателей, проявленный во время недавнего инвестиционного раунда.

Codasip has been awarded several grants and equity funding from various bodies of the European Union (EU) and national authorities totaling over €119 million, most of which is still to be received by the company in due course. In addition, the company estimates the follow-on phases of the grants will total a further €210 million for a total of €329 million, and the company is part of new consortiums and projects that can bring in an additional €51 million or more in future financing

Engineers create first AI model specialized for chip design language

Не опять, а снова новости о «первой» модели, обученной специально для проектирования чипов.

На мой взгляд, главная проблема генерации Verilog-кода с помощью ИИ в том, что для обучения таких моделей слишком мало качественных материалов. На GitHub в целом мало примеров на Verilog/SystemVerilog, а годных и полезных из них ещё меньше. Учебники по Verilog (читай по цифровому дизайну) редко обновляются, и практически нет по-настоящему сильных книг по микроархитектуре, которые подробно разбирали бы сложные вопросы проектирования, анализа таймингов, площади конечного устройства.

The final combined corpus of textbook-extracted and GitHub code comprises 400 MB of text. The care taken in chunking and reconstructing intact blocks improves integrity of examples for the LLMs to learn prototypical Verilog structures effectively.

Вероятно, крупные компании вроде Nvidia или ARM могут себе позволить тренировать модели на огромных внутренних базах кода и получать от этого реальную пользу, но перспективы моделей, обученных на открытых данных, выглядят сомнительно.

In their evaluation, the fine-tuned CodeGen-16B achieved a 41.9% rate of functionally correct code versus 35.4% for the commercial code-davinci-002 model.

Итог, разработчики "первой" модели для проектирования чипов достигли результата всего лишь в 41%, при этом сравнивая свою модель с коммерческой моделью двухлетней давности («code-davinci-002» от OpenAI, выпущенной примерно в 2022 году).

Подробнее про специфику сравнения LLM для Hardware кодогенераторов - Revisiting VerilogEval: A Year of Improvements in Large-Language Models for Hardware Code Generation

AI Startup Esperanto Winds Down Silicon Business

Стартап Esperanto, разработчик энергоэффективных чипов на базе RISC-V для дата-центров, начал процесс закрытия бизнеса, сообщает EE Times. Компания уже свернула европейские подразделения, включая крупную команду в Испании, и сократила 90% штата в штаб-квартире в Калифорнии. Основатель и CEO Арт Свифт сообщил, что команда столкнулась с агрессивным переманиванием сотрудников - технологические гиганты предлагали зарплаты в 2–4 раза выше, чем могла позволить себе небольшая компания, что фактически «уничтожило» инженерный коллектив.

Помимо кадровых потерь, Esperanto столкнулась с техническими трудностями. Компания сделала ставку на кастомные векторные расширения RISC-V (первый чип был выпущен до ратификации векторного расширения и это было вынужденной альтернативой), отступив от стандарта, что осложнило портирование и поддержку ПО - особенно с учётом сложности масштабируемой архитектуры на 1000 ядер. Несмотря на успешный запуск чипа, способного запускать LLM-модели до 13B при потреблении около 25 Вт, интерес рынка оказался ограниченным: заказчиков мало волновала энергоэффективность.

За инженеров команды Esperanto можно не переживать - в LinkedIn постоянно появляются новости об их переходе в другие компании: как в новые стартапы и дизайн-центры с фокусом на RISC-V, так и в индустриальных гигантов вроде Tesla.

Ознакомиться с продуктом и архитектурной концепцией чипа от Esperanto можно в докладе основателя компании Дейва Дитцела:

https://riscv.epcc.ed.ac.uk/assets/files/sc24/Ditzel.pdf

Классный материал по ко-симуляции процессорного ядра с программной моделью Spike.
Типовая задача для любого дизайн-центра, занимающегося разработкой RISC-V IP-ядер.

Большое спасибо Сергею за проделанную работу и вклад в развитие открытых образовательных материалов!