По прогнозам Bloomberg Intelligence (BI), спрос на генеративный искусственный интеллект (ИИ) приведет к десятикратному увеличению потребления электроэнергии дата-центрами к 2030 году. Водопотребление ЦОД также существенно вырастет, поскольку H2O нужна для охлаждения серверов. По данным исследовательского центра Pew Research Center и Калифорнийского университета в Риверсайде, чат-бот ChatGPT от OpenAI, использующий языковую модель GPT-4, выпущенную в марте 2023 года, для написания среднего электронного письма на 100 слов использует от 0,23 до 1,4 литра воды.
Чтобы снизить нагрузку на центральные электросети и генерирующие мощности, а также замедлить рост водопотребления, требуется внедрение более современных и эффективных систем охлаждения серверов. Почему? Именно они расходуют 30-50% электричества, подаваемого в современные серверные фермы, и всю воду, направляемую в дата-центры. Охлаждению серверов посвящен этот дайджест.
Компания Munters, занимающаяся теплохладотехникой, и поставщик систем жидкостного охлаждения серверов путем размещения теплообменников непосредственно на микрочипе ZutaCore объединили усилия. Партнеры интегрируют свои предложения в одну систему.
Комбинированная система включает продукт Hypercool компании ZutaCore, удаляющий тепло от графических ускорителей внутри серверов, а также решение SyCool компании Munter, удаляющее тепло за пределы дата-центра. В результате получилась двухконтурная система, которая может функционировать без циркуляции воды. Система занимает мало места, требует гораздо меньше электроэнергии, чем многие аналоги, а также позволяет использовать механизм рекуперации тепла.
Американское общество инженеров по отоплению, холодильной технике и кондиционированию воздуха (англ.: American Society of Heating, Refrigerating & Air Conditioning Engineers; ASHRAE) опубликовало новые рекомендации по теме проектирования, развертывания и эксплуатации систем жидкостного охлаждения в ЦОД. Цель – помочь операторам серверных ферм справиться с проблемами, связанными с современными микрочипами повышенной мощности.
Как следует из названия документа “Технический бюллетень ASHRAE TC 9.9 — Жидкостное охлаждение: руководство по отказоустойчивости при развертывании охлаждающих пластин” ( ASHRAE TC 9.9 Technical Bulletin – Liquid Cooling: Resiliency Guidance for Cold Plate Deployments), он посвящен охлаждающим пластинам. Такие устройства применяются для оптимизации температурного режима мощных графических процессоров и других компонентов, используемых для обслуживания ресурсоемких задач вроде обучения искусственного интеллекта.
В рекомендациях указаны 2 основные проблемы, вызванные развертыванием в ЦОД все более мощного оборудования. Это дросселирование или снижение производительности вычислительной инфраструктуры из-за колебаний температуры внутри IT-компонентов, а также повышение вероятности повреждения оборудования из-за резких скачков температуры. Для смягчения негативных последствий этих проблем и профилактики аварий ASHRAE предлагает ряд технических и эксплуатационных рекомендаций.
В частности, предлагается внедрить системы контроля качества и фильтрации охлаждающей жидкости. Почему? Ее загрязнение может оказать неблагоприятное воздействие на систему охлаждения в целом, что приведет к снижению эффективности и/или увеличению потребления электроэнергии.
Компания Airedale by Modine, специализирующаяся на жидкостном охлаждении серверов, выпустила блок распределения хладагента (CDU) для обслуживания IT-нагрузки мощностью 1 МВт. Блок CDU является ключевым компонентом систем жидкостного охлаждения в дата-центре, изолируя жидкость от IT-оборудования и распределяя хладагент в ту часть сервера/стойки, где он необходим.
Новый продукт будет производиться в США и Европе. Он позиционируется как идеальное решение как для колокейшн-провайдеров, так и для владельцев гипермасштабных дата-центров, которым нужно управлять тепловыми нагрузками IT-систем с высокой плотностью мощности компонентов.
Благодаря модульной архитектуре можно объединить в единую сеть до 8 новых CDU. Устройство может эксплуатироваться в тандеме с водой в температурных диапазонах W2 и W3 (по классификации ASHRAE). В частности, возможна работа при температурах подачи до 30 ° C (86 ° F) во вторичном водяном контуре и 26 ° C (79 ° F) в первичном контуре.
Предусмотрено резервирование насосов по схеме N+1. Интегрированные компоненты CDU могут взаимодействовать с системой управления зданием благодаря поддержке распространенных протоколов передачи данных.
Ранее в этом году компания Modine, владелец Airedale, приобрела активы стартапа TMGcore, разрабатывавшего однофазное и двухфазное иммерсионное охлаждение для вычислительных систем с высокой плотностью мощности компонентов.
Компания LiquidStack, входящая в число лидеров мирового рынка систем жидкостного охлаждения ЦОД, объявила о получении инвестиций в размере $20 млн от Tiger Global. В результате общий объем привлеченного извне капитала достиг $35 млн. Вендор будет использовать эти средства для расширения производственной базы, разработки новых и улучшения существующих продуктов из категории прямоконтактного и иммерсионного охлаждения, а также расширения маркетинговых и научно-исследовательских инициатив.
Компания LiquidStack уже предлагает комплексный ассортимент энергоэффективных решений для жидкостного охлаждения, включая универсальный блок распределения охлаждающей жидкости CDW-1MW с охлаждающей способностью 1350 кВт, который прошел испытания при полной нагрузке и сертифицирован ETL, CSA и CE. Компания также предлагает решения для микро-ЦОД с высокой плотностью размещения компонентов, включая MicroModular и MacroModular с поддержкой жидкостного охлаждения IT-нагрузки на уровне 250 кВт и 1,5 МВт в небольшом модульном контейнере и полноценном транспортном контейнере, соответственно.
Все продукты LiquidStack разрабатываются и производятся на современном заводе в Кэрролтоне, штат Техас (США). Эта производственная площадка открылась в марте 2024 года. Вендор представлен на мировом рынке с 2012 года, предлагая передовые системы жидкостного охлаждения для высокомасштабируемых и экологически безопасных гипермасштабных, колокейшн, корпоративных, гибридных и периферийных ЦОД.
Чтобы сразу расставить все точки над “i”, напомним, что в апреле 2023 года корпорация Intel отказалась от бизнеса по производству серверов и компонентов для них Data Center Solutions Group (DSG). Соответствующее подразделение было продано компании MiTAC. Последняя теперь выпускает продукты под брендом Intel DSG, используемые в серверах MiTAC. Один из таких продуктов – блок питания MiTAC Intel DSG Denali Pass 3000W с безвентиляторным жидкостным охлаждением.
Устройство мощностью 3000 Вт имеет сертификат 80Plus Titanium. Но гораздо интереснее механизм удаления излишков тепла. На задней стороне можно увидеть сплошную лицевую панель. Большинство серверных блоков питания имеют вентиляторы, которые протягивают воздух через стойки и удалят его во внешнюю среду машзала.
Здесь этот путь заблокирован листовым металлом. Вместо него устройство имеет входные и выходные разъёмы для жидкостного охлаждения. Упразднение вентилятора удаляет из уравнения движущуюся часть, которая может выйти из строя и потребляет дополнительную электроэнергию. Такой подход также полезен при эксплуатации блока питания в тандеме с сервером с очень высоким уровнем жидкостного охлаждения.
Инженеры корпорации Meta (Facebook) рассказали о позитивном опыте использования машинного обучения для охлаждения серверов в своих ЦОД. В статье, опубликованной в официальном блоге корпорации, отмечается, что для этой цели команда инженеров применяла обучение с подкреплением. Это разновидность машинного обучения, основанная на имитации метода проб и ошибок, который люди используют для достижения своих целей.
Большинство ЦОД Meta используют наружный воздух и системы испарительного охлаждения для поддержания желаемых условий окружающей среды машзалах (диапазон температур от 18°C до 30°C). С 2021 года корпорация использует ИИ для оптимизации количества подаваемого воздуха в дата-центры для целей охлаждения. Используя обучение с подкреплением на основе симуляции, удалось сократить потребление электроэнергии нагнетающими вентиляторами в среднем на 20%, а потребление воды — на 4% при различных погодных условиях.
Механизм обучения с подкреплением функционирует как программный агент, который определяет, какое действие предпринять при том или ином состоянии системы на основе некоторой модели и постоянно получает обратную связь от среды в виде вознаграждения. В конце концов, агент получает лучшую модель для достижения оптимального вознаграждения.
Применение обучения с подкреплением может привести к различным рискам в ЦОД, включая нарушение требований к качеству обслуживанию и даже тепловые риски. Чтобы решить эту проблему, инженеры Meta использовали автономный симулятор. Агент работает в смоделированной среде, определяя параметры, которые дают наилучшее вознаграждение, чтобы сформировать новый набор обучающих данных для обновления параметризованной модели.
Физический симулятор позволяет обучать ИИ с применением всех возможных сценариев, а не только тех, которые присутствуют в собранных ранее статистических данных. Это повышает надежность и позволяет быстро развертывать механизм управления на основе ИИ в недавно введенных в эксплуатацию дата-центрах.
Французский независимый орган по сертификации Eurovent Certification, базирующийся в Париже, обнаружил значительные расхождения (до 31%) между заявленными производителями характеристиками и фактическими результатами испытаний несертифицированных охладителей на базе натурального хладагента CO2. Отклонения между заявленной и ожидаемой производительностью обнаружены во всех диапазонах мощности 48 несертифицированных продуктов.
Используя данные из техпаспортов в качестве отправной точки, исследователи оценили реальную эффективность охладителей при нескольких сценариях эксплуатации. Продукция была выбрана из ассортимента несертифицированных производителей, работающих на европейском рынке. Тестировались решения с диапазоном мощности от ≤50 кВт до >250 кВт. Наименьшее обнаруженное отклонение составило 12%. В среднем по всем 48 продуктам показатель составил 23%.
В Европе наблюдается резкий рост использования холодильных систем на основе CO2. И хотя проблема недостаточной производительности характерна не только для охладителей на основе CO2, Eurovent Certification утверждает, что нынешняя технология менее зрелая, чем заменяемые ею аналоги на основе гидрофторуглеродов (ГФУ).
Компания Gates Industrial Corporation plc (Gates) улучшила ассортимент решений для охлаждения дата-центров, выпустив новый шланг для транспортировки охлаждающей жидкости Data Master Data Center Cooling Hose. Этот инновационный продукт был разработан с прицелом на повышенную гибкость и компактную конструкцию, упрощая прокладку каналов для хладагента даже внутри дата-центров с ограниченной площадью.
При его разработке компания внедрила последние достижения в области материаловедения, терморегулирования и транспортировки жидкостей. Будучи членом Open Compute Project (OCP), компания Gates адаптировала продукт под открытые спецификации OCP.
В компании заявляют, что шланг соответствует основным отраслевым требованиям, включая стандарты огнестойкости UL94V-0 и VW-1. Продукт изготовлен из композитных материалов, обеспечивающих чистоту во всей системе. Ожидается, что Data Master Data Center Cooling Hose поступит в продажу уже к началу 2025 года.
Компания впервые вышла на рынок центров обработки данных в начале 2024 года в партнерстве с CoolIT Systems. Основанная в 1911 году как производитель шин и резины, компания Gates, базирующаяся в Колорадо (США), в настоящее время разрабатывает решения для жидкостного охлаждения, используя богатый опыт в сфере управления тепловыми режимами.
Ее партнер CoolIT проектирует, конструирует и производит передовые решения для жидкостного охлаждения серверов в ЦОД и настольных компьютеров, включая продукты на базе технологии прямоконтактного жидкостного охлаждения с раздельным потоком. В 2023 году компания была приобретена консорциумом KKR и Mubadala.
Использование пропана в холодильной технике для ЦОД пока не получило широкого распространения. Но на фоне отказа от неэкологичных решений на основе гидрофторуглеродов этой технологии уделяется все больше внимания. В этом контексте операторов ЦОД может заинтересовать новый продукт Senseair.
Шведский поставщик сенсоров представил новый газовый датчик Sunlight R290. В основе устройства лежат технология недисперсионного инфракрасного излучения (Non-Dispersive Infrared; NDIR), предполагающая применение светодиодных источников света и фотодиодных датчиков.
Система Sunlight R290, как сообщается, будет отличаться высокой точностью измерений и широким рабочим диапазоном (диапазон рабочих температур от -40°С до 70°С, относительная влажность от 0 до 95%), а также минимальным выделением тепла, компактностью упаковки и низким энергопотреблением. Начало поставок Sunlight R290 запланировано на осень 2024 года.
Компания Senseair утверждает, что благодаря методу NDIR на обнаружение газа в меньшей степени влияют вибрации или помехи. Это обеспечивает надежные и достоверные измерения, соответствующие строгим требованиям к обнаружению утечек стандарта безопасности IEC 60335-2-40 для электрических тепловых насосов и кондиционеров.
Датчик имеет срок службы более 15 лет и оснащен автоматическим алгоритмом коррекции. Это позволяет использовать его без технического обслуживания в течение длительных периодов времени. Sunlight R290 имеет размеры 34 мм x 21 мм x 12 мм. Потребляемая мощность – 94 мкА.
Японская компания Hitachi Johnson Controls Air Conditioning дополнила линейку Matrix Advance. В нее включен новый винтовой чиллер с воздушным охлаждением, работающим на гидрофторуглеродном хладагенте с низким потенциалом глобального потепления (ПГП). Речь о веществе R1234yf.
Благодаря модульной архитектуре, устройство может поддерживать мощность, эквивалентную 960 л.с., путем объединения шести моделей. Компания Hitachi Johnson Controls ранее применяла R1234yf в винтовых чиллерах с водяным охлаждением.
Компания Gudeng Precision Industrial Co объявила, что совместно с Giga Computing Co разрабатывает систему охлаждения высокопроизводительных серверов, используемых при обучении искусственного интеллекта. Цель – помочь корпоративным клиентам сократить потребление электроэнергии.
Известно, что в разработке находится двухфазная система жидкостного охлаждения нового поколения. Информация о ней была озвучена на пресс-конференции в Тайбэе. Компания Gudeng владеет 20-процентной долей в Giga Computing, которая уже поставляет однофазные системы жидкостного охлаждения. Партнеры отмечают, что двухфазные системы иммерсионного охлаждения используют электроэнергию более эффективно, чем однофазные модели. И все больше клиентов переходят на такие системы для обслуживания ИИ-серверов.
