В условиях быстрого развития цифровой экономики спрос на вычислительную мощность в центрах обработки данных растет в геометрической прогрессии, а узкие места традиционных серверов с воздушным-охлаждением тепла становятся все более заметными в сценариях с высокой-плотностью вычислений. Технология жидкостного охлаждения стала важным направлением развития решений для охлаждения центров обработки данных с более высокой эффективностью рассеивания тепла и низким энергопотреблением. В базовой архитектуре серверов с жидкостным охлаждением решающее значение имеют платы межсоединений высокой-плотности. Они не только выполняют эффективные задачи по передаче сигналов и мощности, но также работают вместе с системой жидкостного охлаждения, обеспечивая стабильную работу и повышение производительности серверов.
1. Межблочная плата высокой плотности: «соединительное ядро» серверов с жидкостным охлаждением.
Основным требованием к серверам с жидкостным охлаждением является достижение более высокой плотности вычислительной мощности в ограниченном пространстве, что предъявляет строгие требования к интеграции и эффективности подключения внутренних компонентов. Плата межсоединений высокой-плотности серверов с жидкостным охлаждением служит связующим звеном между различными основными компонентами сервера, такими как ЦП, графический процессор, память, модули хранения и модули охлаждения с жидкостным охлаждением. Его основная ценность заключается в преодолении пространственных ограничений традиционных методов межсоединений за счет оптимизированной конструкции проводки и компактной структурной компоновки, что позволяет достичь целей передачи: «малый объем, высокая пропускная способность и низкие потери».
По сравнению с компонентами межсоединения традиционных серверов, плата межсоединений высокой-плотности, предназначенная для серверов с жидкостным охлаждением, имеет особенно заметное преимущество в плане «плотности». С одной стороны, он может интегрировать больше сигнальных интерфейсов и каналов питания на единицу площади, например, единая соединительная плата, которая может одновременно поддерживать взаимодействие сигналов между несколькими высокопроизводительными-процессорами, а также точное распределение нескольких источников питания, избегая избыточности соединений, вызванной разбросом компонентов; С другой стороны, расстояние межсоединения короче, что может эффективно уменьшить задержку и затухание во время передачи сигнала, обеспечивая стабильную «гарантию сигнала» для высокоскоростных-вычислений серверов. В системах жидкостного охлаждения соединительная плата также должна быть пространственно совместима с охлаждающими компонентами, такими как охлаждающие пластины и трубопроводы. Необходимо обеспечить, чтобы он не препятствовал пути циркуляции охлаждающей жидкости, а также способствовать рассеиванию тепла за счет разумной компоновки, чтобы избежать влияния локального накопления тепла на производительность трансмиссии.
2. Ключевая особенность: «жесткие возможности», адаптированные к сценариям жидкостного охлаждения.
Рабочая среда серверов с жидкостным охлаждением существенно отличается от традиционных серверов с воздушным-охлаждением, поскольку они длительное время находятся в тесном контакте с охлаждающей жидкостью и должны выдерживать температурное давление, вызванное более высокой плотностью вычислительной мощности. Таким образом, межсетевая плата высокой-плотности серверов с жидкостным охлаждением имеет ряд ключевых характеристик, подходящих для сценариев жидкостного охлаждения:
Во-первых, он обладает превосходной термостойкостью и изоляционными характеристиками. При работе серверов с жидкостным охлаждением температура в отдельных зонах может достигать высокого уровня, а наличие охлаждающей жидкости предъявляет более высокие требования к изоляции межблочных плат. В соединительных платах высокой плотности для серверов с жидкостным охлаждением обычно используются высокопроизводительные-подложки и изоляционные покрытия, которые могут поддерживать стабильную физическую структуру и электрические характеристики в условиях высоких температур, а также эффективно изолировать охлаждающую жидкость от внутренних цепей, избегая таких угроз безопасности, как короткие замыкания.
Во-вторых, высокая надежность и антивибрационная способность. Работа водяных насосов и ежедневное обслуживание серверов в системах жидкостного охлаждения могут вызывать определенные вибрации, а плата межсоединений, как основной соединительный компонент, напрямую влияет на общую работу сервера с точки зрения стабильности соединения. Этот тип межблочной платы благодаря оптимизированной технологии упаковки и конструкции усиления может эффективно противостоять воздействию вибрации, обеспечивать прочность интерфейсных соединений и снижать риск плохого контакта и других неисправностей, вызванных вибрацией.
Кроме того, возможность эффективного отвода тепла также является одной из его важных характеристик. Хотя системы жидкостного охлаждения играют важную роль в рассеивании тепла, сами межсетевые платы-плотности также генерируют определенное количество тепла при передаче сигналов и электричества. В некоторых межплатных платах с высокой-плотностью соединений для серверов с жидкостным охлаждением используются специальные конструктивные решения, такие как зарезервированные каналы рассеивания тепла и материалы с хорошей теплопроводностью, для передачи выделяемого ими тепла в систему жидкостного охлаждения, что еще больше повышает общую эффективность рассеивания тепла серверов.
3. Сценарий применения: поддержка повышения потребности в вычислительной мощности в нескольких областях.
С быстрым развитием таких технологий, как 5G, искусственный интеллект, большие данные и облачные вычисления, спрос на вычислительные мощности в различных отраслях постоянно растет. Серверы с жидкостным охлаждением широко используются в различных сценариях с высокой плотностью вычислений, и межсетевая плата высокой-плотности серверов с жидкостным охлаждением, являющаяся основным компонентом серверов с жидкостным охлаждением, также играет важную роль в этих сценариях.
В сценариях обучения и вывода искусственного интеллекта серверы ИИ обычно оснащены несколькими высокопроизводительными-графическими процессорами с чрезвычайно высокой плотностью вычислительной мощности и срочными требованиями к охлаждению. Платы межсоединений высокой плотности могут обеспечивать высокоскоростное-соединение сигналов между несколькими графическими процессорами, центральными процессорами и памятью, поддерживая миллиарды вычислительных задач в секунду. В то же время они работают вместе с системами жидкостного охлаждения, чтобы гарантировать работу графических процессоров в стабильной температурной среде, избегая снижения вычислительной мощности или повреждения оборудования, вызванного высокими температурами.
В сценариях центров обработки данных облачных вычислений крупномасштабные-кластеры серверов требуют эффективного планирования ресурсов и возможностей передачи данных. Серверы с жидкостным охлаждением стали важным выбором для центров обработки данных облачных вычислений благодаря их преимуществам в низком энергопотреблении и высокой эффективности рассеивания тепла. Плата межсоединений высокой-плотности отвечает за соединение внутренних компонентов сервера с внешними сетями и устройствами хранения данных. Благодаря высокой пропускной способности и низкой задержке передачи он повышает общую эффективность работы центра обработки данных и удовлетворяет потребности в быстрой обработке и передаче больших объемов данных в сценариях облачных вычислений.
В сценариях высокопроизводительных вычислений, таких как прогнозирование погоды, аэрокосмическое моделирование, биофармацевтика и т. д., серверам необходимы мощные возможности параллельных вычислений, а плотность вычислительной мощности одного сервера намного превышает плотность обычных сценариев. Платы межсоединений высокой плотности могут обеспечить эффективную поддержку межсоединений для нескольких процессоров, плат ускорения и других компонентов серверов HPC, обеспечивая совместную работу между компонентами и адаптируясь к требованиям к рассеиванию тепла систем жидкостного охлаждения, обеспечивая гарантии стабильной работы высокопроизводительных вычислительных задач.
4. Меры предосторожности при отборе проб: ключевые шаги для обеспечения эффективности и адаптируемости продукта.
Выборка межсетевых плат высокой-плотности для серверов с жидкостным охлаждением — это основной этап перехода от проектирования к массовому производству, от которого напрямую зависит, сможет ли продукт адаптироваться к сценариям жидкостного охлаждения и соответствовать требованиям к производительности. В процессе отбора проб важно уделять пристальное внимание следующим мерам предосторожности, чтобы избежать потенциальных производственных рисков или несоблюдения требований-производительности, вызванных упущенными из виду деталями:
(1) Перед отбором проб: уточните требования и выбор материала.
Перед выборкой необходимо полностью согласовать требования с командой разработчиков и нижестоящими поставщиками серверов, особенно в отношении особых требований сценариев жидкостного охлаждения. С одной стороны, необходимо уточнить показатели электрических характеристик межплатной платы, такие как полоса пропускания передачи, порог затухания сигнала, точность распределения мощности и т. д., чтобы гарантировать, что выбранные продукты могут соответствовать требованиям передачи вычислительной мощности сервера; С другой стороны, необходимо сосредоточиться на подтверждении требований к адаптации к окружающей среде в средах с жидкостным охлаждением, таких как диапазон рабочих температур, совместимость охлаждающей жидкости, уровень защиты от вибрации и т. д., чтобы избежать отклонений при отборе проб, вызванных неясными требованиями.
Выбор материала является основой успешного отбора проб, и приоритет следует отдавать адаптации к характеристикам сценариев жидкостного охлаждения. Подложку следует выбирать из материалов, устойчивых к высоким температурам и с низкими диэлектрическими потерями, чтобы обеспечить стабильные электрические характеристики даже в высокотемпературной среде серверов с жидкостным охлаждением; Изоляционное покрытие должно быть устойчиво к коррозии охлаждающей жидкости и иметь высокую прочность изоляции, чтобы предотвратить проникновение охлаждающей жидкости и возникновение коротких замыканий в цепи; В областях, где требуется дополнительный отвод тепла, для повышения эффективности теплопередачи можно использовать металлические подложки или теплопроводящие клеи с высокой теплопроводностью. При этом материалы должны соответствовать отраслевым экологическим стандартам, чтобы не влиять на внутреннюю среду сервера из-за выделения вредных веществ.
(2) Процесс отбора проб: строгий контроль процесса и точности размеров.
Управление процессом напрямую определяет стабильность работы межплатных плат, поэтому особое внимание следует уделять-плотности проводов, процессам сверления и пайки. При использовании проводки высокой-плотности ширина и расстояние между линиями должны строго соответствовать проектным требованиям, чтобы избежать недостаточной пропускной способности по току из-за тонкой ширины линии или перекрестных помех сигнала, вызванных близким расстоянием между линиями; В процессе сверления необходимо строго контролировать допуск отверстия и точность положения отверстия, особенно для позиционирующих отверстий, которые соединены с компонентами с жидкостным охлаждением, чтобы предотвратить невозможность точной сборки соединительной платы с холодной пластиной и трубопроводами из-за отклонения положения отверстия; Для процесса сварки требуется-технология сварки, не содержащая свинца, а температуру и время сварки необходимо регулировать в зависимости от типа компонента, чтобы избежать повреждения подложки или компонента из-за высокой температуры. В то же время убедитесь, что паяные соединения заполнены и не содержат виртуальной пайки, а также повысьте надежность соединения.
Точность размеров является ключом к адаптации межблочных плат к пространству серверов с жидкостным охлаждением, поэтому требуется строгий контроль габаритных размеров и местных конструктивных допусков. Из-за компактного внутреннего пространства сервера с жидкостным охлаждением необходимо убедиться, что размер соединительной платы соответствует пространству для установки, чтобы избежать сбоев при установке или расшатывания, вызванных неправильным размером; Для частей интерфейса, которые взаимодействуют с другими компонентами, такими как слоты ЦП и интерфейсы памяти, необходимо убедиться, что размер интерфейса и установочный зазор компонентов соответствуют стандартам, чтобы предотвратить плохой контакт или трудности установки, вызванные проблемами зазора. Кроме того, необходимо проверить плоскостность соединительной платы, чтобы избежать неправильного соединения с компонентами с жидкостным охлаждением из-за деформации, которая может повлиять на эффект рассеивания тепла.
(3) После отбора проб: комплексное тестирование и проверка сценария.
После завершения выборки необходимо провести комплексное тестирование производительности и проверку сценария, чтобы убедиться, что продукт соответствует требованиям. Тестирование электрических характеристик должно охватывать целостность сигнала, целостность питания и характеристики изоляции: тестирование целостности сигнала может измерять потери при передаче и обратные потери с помощью сетевого анализатора, чтобы гарантировать, что затухание сигнала соответствует требованиям в пределах проектной полосы пропускания; Тестирование целостности электропитания требует измерения пульсаций напряжения и шума для обеспечения стабильного распределения мощности; Проверка характеристик изоляции требует подачи номинального напряжения через тестер напряжения для проверки сопротивления изоляции и значений выдерживаемого напряжения, чтобы предотвратить повреждение изоляции.
Тестирование на адаптацию к окружающей среде требует моделирования реального рабочего сценария серверов с жидкостным охлаждением, включая испытания на старение при высоких-температурах, испытания погружением в охлаждающую жидкость и испытания на вибрацию. Испытание на старение при высоких температурах позволяет непрерывно тестировать соединительную плату в условиях высокой-температуры и высокой влажности, наблюдать за изменениями ее электрических характеристик и проверять ее способность выдерживать высокие температуры и высокую влажность; Испытание на погружение в охлаждающую жидкость требует погружения межблочной платы в обычно используемую охлаждающую жидкость для серверов и после непрерывных испытаний проверки внешнего вида и характеристик изоляции на предмет отсутствия коррозии или проникновения; Испытание на вибрацию должно проводиться в соответствии со стандартами уровня вибрации сервера. После испытания проверьте, не ослабли ли паяные соединения и интерфейсы, и проверьте антивибрационную способность.
Кроме того, необходимо провести проверку совместимости сборки, фактически собрав выбранную межблочную плату с компонентами жидкостного охлаждения и компонентами ядра сервера, проверив, является ли сборка гладкой и хорошо ли контактируют интерфейсы. В то же время следует проверить эффект рассеивания тепла в собранном состоянии. Распределение температуры межблочной платы должно измеряться инфракрасным тепловизором, чтобы гарантировать, что температура горячей точки не превышает расчетный порог. Только прототипы продукции, прошедшие все испытания и проверки, могут перейти на последующую стадию массового производства.
В процессе преобразования центров обработки данных в сторону высокой-плотности, высокой-эффективности и низкого-потребления энергии с помощью серверов с жидкостным охлаждением плата межсоединений высокой-плотности серверов с жидкостным охлаждением служит основным компонентом подключения, а ее производительность и качество напрямую влияют на эксплуатационную эффективность и надежность серверов с жидкостным охлаждением. Научный и строгий процесс отбора проб является ключом к обеспечению того, чтобы межкоммутационные платы высокой-плотности подходили для сценариев жидкостного охлаждения и соответствовали требованиям к производительности.