SK Hynix представила гибридную архитектуру памяти, в которой используются HBM и HBF
В высокоскоростной флэш-памяти (High-bandwidth flash, HBF) используется несколько слоев кристаллов NAND, каждый из которых состоит из сотен слоев трехмерных ячеек NAND, что позволяет создать беспрецедентно большой объем памяти, но при этом сопряжено с серьезными инженерными трудностями. В то время как HBM состоит из нескольких чипов DRAM для увеличения пропускной способности памяти, в HBF используются трехмерные массивы NAND для значительного повышения производительности параллельных операций ввода-вывода.
Прежде всего, в ней, как и в концепции HBM, реализовано вертикальное размещение нескольких чипов флэш-памяти NAND высокой плотности. Это сокращает внутренние пути передачи данных в устройстве памяти, повышает плотность интеграции и обеспечивает высокую пропускную способность.
Второй и более важный аспект технологии HBF связан с параллельной субмассивной архитектурой, которая делит основную структуру флэш-памяти на большое количество субмассивов, которые могут работать независимо друг от друга и параллельно. Таким образом, в отличие от традиционной флэш-памяти NAND, где количество каналов для одновременного чтения и записи данных ограничено, каждый субмассив имеет собственные независимые каналы чтения/записи.
Это делает HBF высокопроизводительным решением для хранения данных при выполнении задач, требующих большого количества операций чтения, таких как логический вывод. Однако, несмотря на то, что HBF поддерживает неограниченное количество циклов чтения, количество циклов записи ограничено примерно 100 000. Это, в свою очередь, требует оптимизации программного обеспечения для ИИ под операции с большим количеством операций чтения.
Таким образом, несмотря на то, что HBF не обеспечивает сверхнизкую задержку и экстремальную скорость записи, как HBM, он обладает гораздо большей емкостью при гораздо более низкой стоимости. Кроме того, по сравнению с традиционными твердотельными накопителями (SSD), HBF обеспечивает на несколько порядков более высокую пропускную способность для устройств, которым требуется быстрый доступ к большим объемам данных.
Другими словами, HBF — это не замена HBM, а мощное дополнение, призванное устранить разрыв между вычислительными мощностями и памятью, широко известный как «стена памяти». HBF решает проблему памяти для искусственного интеллекта с другой стороны, объединяя флэш-память NAND для достижения пропускной способности, сравнимой с DRAM, в одном стеке.
В представленной SK Hynix гибридной архитектуре памяти, восемь стеков HBM3E объединены с восемью стеками HBF и новейшим графическим процессором Nvidia Blackwell (B200). Тесты на симуляторе показали, что производительность на ватт увеличилась в 2,69 раза по сравнению с системами, использующими только HBM.
В сочетании с HBM технология HBF позволяет подключать терабайты памяти к ускорителям искусственного интеллекта. Но несмотря на то, что HBF обещает невероятную производительность, она сопряжена с невероятными сложностями. Особенно сложной будет часть, связанная с межкомпонентными соединениями. Помимо ограничений по износостойкости при записи, существуют такие проблемы, как ограничения блочной адресации NAND.
Однако, несмотря на значительный скептицизм, эта технология памяти, основанная на гетерогенных стеках, быстро набирает популярность благодаря своей пригодности для логического вывода в искусственном интеллекте. Пропускная способность HBF может превышать 1638 ГБ/с, что является значительным скачком по сравнению с твердотельными накопителями. Ожидается, что объем памяти достигнет 512 ГБ, что больше, чем 64 ГБ у HBM4.
Сообщение SK Hynix представила гибридную архитектуру памяти, в которой используются HBM и HBF появились сначала на Время электроники.