Как выбрать сервер для искусственного интеллекта

Внедрение искусственного интеллекта (ИИ) стало приоритетом для организаций широкого спектра в независимости от того, работают они в государственном или частном секторе или занимаются академической деятельностью, исследованиями, производством или оказанием услуг.

Для большинства компаний вопрос больше не в том, стоит ли приобретать сервер искусственного интеллекта, а в том, какой именно следует приобрести, чтобы убедиться, что он оправдает ожидания.

Вычислительная мощность
Системам с искусственным интеллектом нужны большие объемы вычислительных ресурсов. Один из эффективных способов повысить их производительность – применять невиртуализированные среды, точнее серверы с графическими процессорами (GPU).

GPU обычно применяется для повышения скорости машинного обучения, особенно там, где используются многослойные нейросети. Такие нейронные сети проводят огромное число вычислений, в том числе перемножают матрицы и применяют функции активации нейронов. Графические процессоры способны выполнять множество задач параллельно и могут обрабатывать большие объемы данных. Это существенно повышает скорость обучения моделей искусственного интеллекта. Причем чем выше поколение видеокарты, тем лучше, так как большее количество ядер обеспечит повышение вычислительной мощности, а также будет больше объем видеопамяти. Чем старше поколение видеокарты, тем выше скорость расчетов.

Сегодня разрабатываются графические процессоры, специально предназначенные для искусственного интеллекта и глубокого обучения. Они имеют проработанную архитектуру и специальные библиотеки вроде CUDA для NVIDIA GPU. Такие библиотеки обеспечивают дополнительную производительность.

Покупка GPU – удовольствие недешевое, однако графический процессор позволяет уменьшить общие затраты на инфраструктуру благодаря ускорению обработки данных и уменьшению необходимости в большом числе центральных процессоров (CPU).

Однако не все процессы, которые нужны искусственному интеллекту, используют достоинства графического процессора. Иногда нужна большая гибкость вычислительных ресурсов или более высокая скорость последовательной обработки данных. Тогда эффективнее использовать другие виды процессоров, например CPU, состоящие из большого числа ядер, или тензорные процессоры (TPU).

На деле все преимущества графических процессоров находят яркое отражение на стадии обучения модели. Там GPU действительно нужны. Потом ресурсов требуется меньше. Но, если потребуется переобучать модель, графический процессор снова будет полезен.

Память и хранение данных
Самые производительные чипы ИИ способны очень быстро выполнять сложные вычисления, что очень важно для продуктивной работы интеллекта, повышения его качества. Поэтому не стоит ограничивать ИИ нехваткой памяти. Ее всегда должно быть достаточно, чтобы у нее была хорошая пропускная способность для поддержания работы всех процессоров при максимальной нагрузке на них.

Сегодня лучшим типом памяти для этих целей считается DDR5 SDRAM. Это 5-е поколение синхронной динамической оперативной памяти. Оно обеспечивает хорошую пропускную способность, отличается невысокими требованиями по энергопотреблению и большим объемом. DDR5 SDRAM – это лучший вариант для передовых серверов ИИ.

Теперь поговорим о носителях информации. Сейчас уже почти не используются жесткие диски типа HDD, вместо них применяются твердотельные накопители SSD. Именно они должны устанавливаться в серверах, предназначенных для работы искусственного интеллекта.

Различают три вида интерфейсов подключения твердотельных накопителей: SATA, SAS и NVMe. SATA – самый востребованный и создавался именно для подключения жестких дисков. Однако скорость работы выше у SAS, а еще выше – у NVMe, которые подходят только для работы с твердотельными накопителями. В интерфейсе NVMe применяется технология PCIe, которая повышает скорость записи и чтения, увеличивает скорость работы между хранилищем и процессорами, что уменьшает задержку, ускоряет передачу данных, общую продуктивность системы. Поэтому для серверов ИИ рекомендуется выбирать именно этот интерфейс, и лучше нового, пятого поколения Gen5.

Система охлаждения
Сервер искусственного интеллекта используется при высоких нагрузках, поэтому естественно, что при его работе производится много тепла. Для исключения перегрева железа важно применять хорошую систему охлаждения, которая должна состоять из вентиляторов и радиаторов подходящей мощности.

Лучше всего для серверов подходят системы жидкостного охлаждения, в которых жидкое вещество проходит по контурам. Эти контуры располагаются вокруг основных узлов сервера и поглощают тепловую энергию, которая от них выделяется. Только жидкостное охлаждение способно обеспечить достаточный для современных серверов уровень защиты от перегрева.

Причем можно использовать иммерсионное охлаждение – подвид жидкостной системы. При этом методе сервер располагается в ванне с диэлектрическим составом. Жидкость контактирует с нагреваемыми компонентами и лучше отводит тепло. Потом производится охлаждение состава в теплообменном устройстве.

Сетевые подключения
Для соединения серверов должны применяться сетевые подключения, которые работают на высокой скорости и имеют низкую задержку. Обычно используются интерфейсы с пропускной способностью не ниже 10GbE. Подбирать подключение нужно с учетом требований сервера.

Масштабируемость
Наличие данной функции позволяет быстро увеличивать объемы данных и повышать сложность системы в целом. Пренебрегать ей не стоит, так как расширение со временем требуется почти всем системам, в том числе серверам ИИ.

Надежность и безопасность
Важно, чтобы оборудование было надежным и обеспечивало необходимый уровень безопасности. Это нужно для защиты данных и обеспечения бесперебойной работы системы.

Совместимость и интеграция систем
Необходимо, чтобы оборудование было совместимо с применяемым ПО и средствами машинного обучения. Например, иногда библиотеки нейросетей лучше настраивать для использования с конкретными видами графических процессоров.

Экосистема и поддержка сообщества
Для более простой интеграции и обеспечения простого доступа к ресурсам нелишним при создании платформы будет предусмотреть сообщество и возможность поддержки.

Команда разработчиков
Выбирая сервер, нужно смотреть на команду, которая занимается разработкой. Важно, чтобы у них был опыт в нужной вам области, чтобы они знали конкретные технологии. Грамотная команда разработчиков обеспечит комфорт при использовании системы, ее надежность и эффективность.

Обслуживание серверного оборудования
Обслуживание – это важная часть работы с любым сервером. Без него невозможно обеспечить длительную производительность работы сервера и его надежность. Важно контролировать ресурсы, их качество, постоянно обновлять систему, устранять неполадки или сбои, которые могут способствовать неполадкам.

Nvidia
Производитель во многом обеспечил рост интереса к искусственному интеллекту, так как создал архитектуру GPU и большую программную платформу на базе технологии CUDA (Compute Unified Device Architecture). Сегодня данная компания – лидер отрасли и практически единственный поставщик оборудования и услуг по отдельным направлениям в области серверного ИИ.

Чип Nvidia H200 является самым мощным в мире для работы с ИИ. Вместе с Arm-процессорами, в которых установлено по 72 ядра, и высокоскоростным интерфейсом NVLink-C2C H200 получается чип нового поколения GH200 Grace Hopper. По своим возможностям он аналогичен топовому чипу Intel серии Scalable 5 поколения Xeon Platinum 8592+. Подобные чипы могут использоваться для самых больших и мощных серверов ИИ.

AMD
В 2023 году компания презентовала новый чип для искусственного интеллекта Instinct MI300X. У него в 2,5 раза выше плотность памяти, чем у GPU H100 Hopper от Nvidia, и в 1,5 раза выше пропускная способность. По словам производителя, это первый в мире чип, который может работать с огромными языковыми моделями – с числом параметров до 80 миллиардов.

Graphcore
Компания разработала новый вид процессоров IPU, которые предназначены только для искусственного интеллекта. Внутри чипа есть полная модель машинного обучения. В процессоре установлено 1472 ядра, способных одновременно работать с 8832 потоками. Ядра используют 900 Мбайт памяти на чипе. Эта память называется SRAM, она имеется во всех ядрах, что обеспечивает их высокую производительность.

Cerebras
Компания создает самые крупные процессоры в мире. Стандартная технология подразумевает создание процессоров размером 33 х 26 мм, поэтому в теории имеет лимит в 858 мм2 по площади. Однако Cerebras разработала особую технологию WSE (Wafer Scale Engine), благодаря которой можно создавать более крупные чипы. Например, чип WSE-2 имеет размер 215 x 215 мм и площадь 46 225 мм?. В нем установлено более 1,2 триллиона транзисторов и около 400 тыс. ядер. Модель в 56 раз крупнее самого большого GPU Nvidia A100.

Google
В 2016 году компания создала тензорный процессор (TPU), до этого их не производили. Чип специализирован для работы с библиотекой машинного обучения TensorFlow. В отличие от графических процессоров он может выполнять больше вычислений с невысокой точностью при повышенной производительности и без необходимости отображения текстур аппаратным способом. Процессор располагается внутри радиатора – его можно устанавливать в отсек для жесткого диска.

Intel
Intel Data Center GPU Max – ускорители графического процессора. Одна из новейших разработок – модель Intel GPU Max 1550. Она выполнена на базе GPU Ponte Vecchio, построенного на платформе Xe-HPC. Этот графический процессор состоит из 47 отдельных ячеек, которые производятся по разным техпроцессам. Также в нем есть 128 ядер, 408 Мб кеша L2 и 128 Гб памяти. Данное решение подходит для больших центров обработки данных.

Amazon
Компания производит два вида современных микросхем – Inferentia и Trainium, предназначенных для искусственного интеллекта. Их задача – сделать модели более быстрыми и умными. На деле это практически полноценный компьютерный мозг. Его можно использовать в качестве замены распространенным процессорам Nvidia, он дешевле и доступнее.

Microsoft
В 2023 году компания презентовала процессор для искусственного интеллекта Athena – первый в мире. Чип должен стать альтернативой GPU NVIDIA H100 в центрах обработки данных. Но пока процессор тестируется специалистами.

В России производство решений для искусственного интеллекта только начинается. Поэтому пока что на рынке нет полноценных решений для серверов. Хотя отдельные проекты выполняются индивидуально уже сейчас. Однако ситуация должна поменяться – после постановления Президента по разработке прогрессивных решений в области ИИ. Вот некоторые интересные проекты.

НТЦ «Модуль»
Производитель создает микропроцессоры и решения для обработки цифровых сигналов на основе уникальной платформы NeuroMatrix. В сочетании с ПО той же компании возможно создание оригинальных нейросетевых решений для выполнения любых задач с использованием ИИ. Вычислительная серверная машина NM Desktop – это полноценная станция на основе чипов российского производства с модулями NM Card Mini или NM Quad. С ее помощью можно выполнять цифровую обработку сигналов и машинного зрения с использованием нейросетей.

«Элвис»
Компания создала микросхему Robodeus. Она состоит из 50 ядер и предназначена для использования в интегрируемых системах и роботах различного назначения. Также может применяться в серверах ИИ.

IVA Technologies
Компания производит чип IVA TPU на базе модуля матричного умножения, способный выполнять десятки тысяч вычислений. Ядро процессора отличается возможностью гибкой настройки.

«Мотив НТ»
Создает нейроморфный чип «Алтай», выполненный на уникальной платформе, которая имитирует биологические нейросети. На деле это аппаратная нейронная сеть. Подобные модели востребованы в интеллектуальных системах, подходят для увеличения скорости работы нейросетей, распознавания фото, видео и работы с базами данных.

Нейронный процессор может применяться для идентификации и структурирования образов видео, аудио, внедрения и работы с данными от различных датчиков и сенсоров. Чип расходует почти в 1000 раз меньше энергии по сравнению с востребованными ускорителями GPU. Сегодня он является одним из самых экономичных в потреблении энергии процессоров.

Продукт создается для исполнения нейросетей в разных классах интеллектуальных устройств: от IoT до дата-центров. Он подходит для систем технического зрения, интеллектуальных и робототехнических устройств.