Пример решения: Построение вычислительного кластера для НПО «Сатурн»

Александр Пионтковский, директор по ИТ НПО «Сатурн»:

В современном мире авиационной индустрии ни одно предприятие не способно создавать новую конкурентоспособную продукцию без применения передовых информационных технологий. Сегодня НПО «Сатурн» активно реализует стратегию эффективного использования ИТ на всех этапах жизненного цикла продукции от проектирования до поддержки изделия в эксплуатации. Проект внедрения кластерной системы для проведения инженерных расчетов является очередным этапом в программе снижения издержек при создании новой продукции.

Юрий Зеленков, заместитель директора по ИТ НПО «Сатурн», руководитель проекта по созданию кластера:

Создание кластера стал результатом совместных усилий специалистов НПО «Сатурн», КРОК и IBM. Каждая сторона вложила в общий проект свои уникальные знания и ноу-хау. Благодаря тесному взаимодействию проект по созданию, испытанию и запуску кластерной системы в опытную эксплуатацию был выполнен в кратчайшие сроки.

Краткое описание проекта: Построение вычислительного кластера

C целью увеличения производительности расчетов при проектировании авиационных газотурбинных двигателей для самолетов гражданской авиации компания КРОК совместно со специалистами IBM внедрила в НПО «Сатурн» вычислительный комплекс для параллельных вычислений на базе высокопроизводительного и масштабируемого кластера IBM eServer Cluster 1350 под управлением Linux на процессорах Intel® Xeon™ и Intel® Itanium® 2 с межузловым соединением Infiniband. На сегодняшний день проект по установке кластера в НПО «Сатурн» является крупнейшей инсталляцией такого рода решений для предприятий промышленности в России и СНГ.

О НПО «Сатурн»

ОАО "Научно-производственное объединение "Сатурн" — ведущая двигателестроительная корпорация, специализирующаяся на разработке и производстве газотурбинных двигателей для авиации, судов военно-морского флота, энергогенерирующих и газоперекачивающих установок.

НПО «Сатурн» является головным разработчиком государственной программы создания авиационных двигателей пятого поколения. Совместно со SNECMA (Франция) Объединение создает современный турбовентиляторный двигатель SaM 146 для российского регионального самолета, отвечающий жестким международным нормам. В стадии подготовки к серийному производству находится универсальный газотурбинный двигатель пятого поколения АЛ-55, который по своей философии, принципам конструирования не имеет аналогов в отечественном авиастроении.

Не менее важным направлением деятельности Объединения является поддержка на конкурентоспособном уровне действующего парка самолетов с двигателями разработки и производства НПО «Сатурн», в рамках которой реализуется программа ремоторизации гражданских и военных транспортных самолетов Ил-76 двигателями Д-30КП «Бурлак».

По заказу Министерства обороны России НПО «Сатурн» реализует программы разработки и производства газотурбинных двигателей для беспилотных летательных аппаратов, а также двигателей для силовых установок кораблей ВМФ.

В тесном сотрудничестве с РАО «ЕЭС России» и ОАО «Газпром» НПО «Сатурн» участвует в программах модернизации энергогенерирующих мощностей России и в создании конкурентоспособных газотурбинных приводов для транспортировки и хранения газа.

В состав НПО «Сатурн» входят заводы газотурбинных двигателей и промышленных газотурбинных установок, инструментальный завод, конструкторское бюро, опытный завод, научно-технический центр имени А. Люльки, Лыткаринский машиностроительный завод

Цели и задачи проекта

Современный рынок предъявляет жесткие требования к срокам и стоимости проектирования новых авиационных двигателей. Основной путь снижения этих затрат — точный расчет параметров и моделирование конструкции на всех этапах разработки. Поэтому высокопроизводительные вычислительные системы становятся ключевым элементом бизнеса любой компании, работающей на рынке газотурбинных двигателей. В процессе проектирования инженеры НПО «Сатурн» широко используют коммерческие программные системы и пакеты собственной разработки для аэродинамических, тепловых, акустических и прочностных расчетов. В 2004 г. в рамках реализации стратегии развития информационных технологий была поставлена цель увеличить пропускную способность имеющихся вычислительных систем в 50 раз. Поскольку применяемые при проектировании программные пакеты для технических расчетов ANSYS, CFX, CFX TASCflow и LS-DYNA могут быть использованы в вычислительных средах с высоким параллелизмом, было принято решение о создании многоузлового вычислительного кластера. Основываясь на международном опыте применения подобных кластеров, специалисты НПО «Сатурн» планировали увеличить производительность расчетов до требуемого уровня. Работы по созданию вычислительного кластера начались в июне 2005 года компанией КРОК, которая выиграла тендер в конце 2004 года.

Решение

Решение, предложенное специалистами компаний IBM и КРОК, реализовано на базе вычислительного кластера IBM eServer Cluster 1350, который включает в себя 64 узла IBM eServer xSeries 336 с двумя процессорами Intel® Xeon™ с технологией Intel® EM64T и два мастер-узла IBM eServer xSeries 455 на базе четырех процессоров Intel® Itanium® 2. В качестве межузлового соединения используется оборудование стандарта Infiniband, которое обеспечивает низкую задержку при передаче сообщений между узлами и скорость передачи данных до 10 Гбит. Для доступа к данным используется параллельная файловая система General Parallel File System (GPFS), созданная IBM специально для использования в вычислительных кластерах. Управление кластером производится с помощью ПО IBM Cluster Systems Management (CSM). Это ПО отвечает за централизованное управление кластером серверов IBM eServer xSeries под управлением Linux, упрощает управление и облегчает вертикальное масштабирование.

Кластер IBM eServer Cluster 1350 — высокопроизводительная система, являющаяся готовым решением «под ключ» на основе серверов стандартной Intel-архитектуры, обладающая значительной масштабируемостью, при разработке которой был использован огромный опыт разработки суперкомпьютеров и вычислительных кластеров IBM. Кластеры IBM eServer Cluster 1350 состоят из компонентов IBM и других производителей, и IBM гарантирует работоспособность всех компонентов, обеспечивая единую точку контакта по всем проблемам.

Согласно требованию заказчика, в состав комплекса входит система хранения данных и управляющий сервер. Система хранения данных построена по иерархическому принципу, что позволяет оптимизировать расходы на хранение данных. Она состоит из трех уровней разной производительности и емкости. В качестве уровня наибольшей производительности используется дисковый массив IBM TotalStorage DS400 емкостью 2 ТБ; второй уровень промежуточной производительности реализован на дисковом массиве IBM TotalStorage DS4100 емкостью 4 ТБ; для хранения редко используемых файлов применяется третий уровень на базе ленточной библиотеки IBM 3583 с четырьмя приводами LTO2. Все использованные устройства имеют интерфейс Fibre Channel и объединены в резервированную сеть хранения данных (SAN). В качестве ПО для организации иерархического хранилища используется HSM-решение IBM Tivoli Storage Manager for Space Management. (Hierarchical Storage Management, HSM — управление иерархическими СХД). С помощью Tivoli Storage Manager обеспечено резервное копирование данных на ленточную библиотеку IBM 3583.

Компания КРОК также спроектировала и реализовала необходимый комплекс инженерных систем, который включает систему кондиционирования и систему энергоснабжения.

Программное обеспечение:

  • IBM Cluster Systems Management (IBM CSM);
  • IBM General Parallel File System (IBM GPFS);
  • IBM Tivoli Storage Manager;
  • IBM Tivoli Storage Manager for Space Management.

Аппаратное обеспечение:

  • IBM eServer Cluster 1350 на базе серверов с процессорами Intel® Xeon™ с технологией Intel®  EM64T и Intel® Itanium® 2;
  • дисковый массив на SCSI-дисках IBM TotalStorage DS400;
  • дисковый массив на SATA-дисках IBM TotalStorage DS4100;
  • ленточная библиотека IBM 3583 с 4 приводами LTO2.

Этапы проекта

Реализация решения по созданию многоузлового вычислительного кластера предполагала проведение предварительного исследования вариантов внедрения системы с целью выбора наилучшей архитектуры. Поэтому на первом этапе проекта группа специалистов НПО «Сатурн» и компании КРОК, российские и зарубежные специалисты IBM при участии компании Intel организовали предпроектное тестирование вычислительного комплекса. В частности, был проведен тестовый запуск используемых программных пакетов на вычислительных системах различной архитектуры в Центре компетенции IBM в Монпелье, Франция. В процессе исследования рассматривались кластеры для параллельных вычислений на базе серверов IBM eServer xSeries и вычислительные SMP-системы архитектуры IBM eServer p5.

В рамках основных этапов проекта специалисты компаний КРОК и IBM выполнили поставку всех компонентов кластера, провели работы по монтажу системы, инсталляции операционной системы Linux, настройке вычислительных узлов и программного обеспечения IBM CSM и GPFS. Кроме того, КРОК выполнил работы по развертыванию иерархической системы хранения данных и системы резервного копирования.

В рамках подготовки к запуску кластера в опытную эксплуатацию сотрудники НПО «Сатурн» прошли обучение по системе управления данными в учебном центре IBM.

В июне — июле 2005 года были завершены все основные этапы проекта. В августе будет окончена тонкая настройка кластера и начнется опытная эксплуатация кластерной системы.

Результат

Созданная в НПО «Сатурн» вычислительная система позволяет в десятки раз сократить время научных и технических расчетов при проектировании авиационных двигателей. Реализованное решение является масштабируемым и тиражируемым, что позволяет легко наращивать производительность уже существующей системы и без труда устанавливать новые вычислительные комплексы.

Достигнутая производительность вычислительного кластера на тесте LINPACK составляет 768 Gflops, пиковая — 922 Gflops, что ставит данную систему на первое место среди подобных систем, установленных на российских промышленных предприятиях, и на третье место в рейтинге суперкомпьютеров Top50 по СНГ (2-я редакция от 05.04.2005).

Благодаря проекту в НПО «Сатурн» в компаниях КРОК и IBM накоплен уникальный опыт по настройке вычислительных кластеров и созданию иерархических систем хранения данных на операционной системе Linux. Главная сложность проекта заключалась в совместимости выбранной версии Linux с различными компонентами решения: драйверами аппаратных средств и особенностями тех или иных программных продуктов. Также важным результатом проекта является накопленный опыт по совместному взаимодействию международной команды IBM со специалистами КРОК.


Вернуться на главную страницу обзора

Версия для печати

Опубликовано в 2005 г.

Техноблог | Форумы | ТВ | Архив
Toolbar | КПК-версия | Подписка на новости  | RSS