Суперкомпьютерный центр в Томске: детальные характеристики СКИФ Cyberia

17 февраля 2007, 14:46

Компания Т-Платформы, Институт программных систем РАН, корпорация Intel и корпорация Microsoft объявили о завершении строительства Регионального центра коллективного пользования высокопроизводительными вычислительными ресурсами Томского государственного университета. ТГУ, старейший университет Сибири и Дальнего Востока, стал первым российским вузом, оснащенным суперкомпьютерным центром мирового уровня: сегодня это один из 15-ти самых современных и производительных вычислительных центров в мировой системе образования. ТГУ получил возможность создать суперкомпьютерный центр как один из победителей Всероссийского конкурса инновационных образовательных программ, проведенного в рамках Национального проекта “Образование” в 2006 году.

Вычислительный центр ТГУ оснащен суперкомпьютером “СКИФ Cyberia” на базе 566 двуядерных процессоров Intel Xeon серии 5150, ставшим самым мощным вычислительным комплексом на территории России, СНГ и Восточной Европы, а также одним из ста мощнейших компьютеров мира. Пиковая производительность “СКИФ Cyberia” достигает 12 триллионов операций с плавающей запятой в секунду; предварительный результат системы на стандартном тесте Linpack составил 7.82 триллионов операций в секунду. “СКИФ Cyberia” построен на базе последних технологических достижений мировой суперкомпьютерной отрасли.

СКИФ Cyberia

Суперкомпьютер ТГУ, созданный силами компании “Т-Платформы” при активной поддержке и участии специалистов ИПС РАН, является отечественной разработкой, не использующей готовые платформенные решения от ведущих мировых производителей. Сегодняшний успех российских разработчиков – результат их участия в российско-белорусской государственной суперкомпьютерной программе “СКИФ”, осуществленной в 2000 – 2004 г.г. и завершившейся строительством 288-узлового кластера

Основу суперкомпьютерного комплекса “СКИФ Cyberia” составляет вычислительный кластер на базе 282 вычислительных и 1 управляющего узла в конструктиве 1U на базе 566 двухъядерных процессоров Intel Xeon 5150. Благодаря технологиям Intel мощность нового СКИФа по сравнению со “СКИФ К-1000” выросла в 5 раз, причем количество использованных вычислительных узлов и энергопотребление кластера остались на прежнем уровне.

При разработке платформы для вычислительного узла “СКИФ Cyberia” инженеры “Т-Платформы” использовали технологии термодизайна, полученные в ходе реализации программы “СКИФ” и доказавшие свою надежность. Вычислительный узел базируется на специально модифицированной по заказу разработчиков материнской плате: для достижения наилучшей производительности вычислительных задач стандартный серверный набор микросхем заменили на чипсет Intel 5000x, обычно применяющийся для строительства графических станций. Максимально высокий уровень производительности пользовательских приложений также призваны обеспечить впервые примененные в России технологии системной сети QLogic InfiniPath и системы хранения данных

Помимо стандартного набора управляющего и системного ПО “СКИФ Cyberia” использует операционную систему Microsoft Windows Compute Cluster Server 2003. Привычная среда разработки новой ОС и легкость интеграции с существующей инфраструктурой и приложениями призваны облегчить и ускорить процесс создания приложений для высокопроизводительных вычислений.

Комплексный экологический мониторинг атмосферы и гидросферы, контроль за разливом рек, распространением пожаров и эпидемий, рациональное использование лесных и минеральных ресурсов, новые конкурентоспособные методы разведки нефтегазовых месторождений, восстановление загрязненных почв, проектирование ракетно-космической техники и безопасного шахтного оборудования, создание новых видов ракетного топлива и сверхтвердых покрытий с помощью нанотехнологий – вот лишь малая часть сложнейших задач, которые ученые ТГУ будут решать с помощью “СКИФ Cyberia” в тесном сотрудничестве с предприятиями региона. Исследования в области применения параллельных вычислений ведутся в университете с 1992 года; “СКИФ Cyberia” позволит вывести их на новый уровень.

“Мы планируем создать на базе «СКИФ Cyberia» распределённую систему суперкомпьютерных вычислений. Базовый компьютер в Томске будет доступен удаленно очень широкому кругу пользователей Краснодара, Бийска, Новосибирска, Москвы. Думаю, к концу этого года мы будем иметь такую распределённую вычислительную систему, которая будет служить не только нам, но российскому образовательному сообществу в целом”, – сообщил ректор Томского государственного университета Георгий Майер.

Система бесперебойного электропитания «СКИФ Cyberia» с максимальной мощностью 160 кВт обеспечивает подачу напряжения с заданными характеристиками на все компоненты вычислительной системы, а также защиту от сбоев в подаче электропитания. Она способна обеспечить работу суперкомпьютера в течение 10 минут после отключения электропитания, что позволяет гарантировать сохранность пользовательских данных в аварийной ситуации. Модульное строение системы позволяет использовать внутреннее резервирование и горячую замену компонентов в процессе работы. Уникальные для российской суперкомпьютерной отрасли технологии были использованы для строительства системы охлаждения “СКИФ Cyberia”. Применение традиционного воздушного охлаждения оказалось невозможным в силу небольшой площади помещения вычислительного центра ТГУ. Для обеспечения надежной работы оборудования в таких условиях инженерами была спроектирована смешанная воздушно-водяная система охлаждения с уровнем резервирования N+1 на всех уровнях. Блоки кондиционеров, расположенных в ряду монтажных шкафов, обеспечивают забор горячего воздуха непосредственно из вычислительных узлов. Затем горячий воздух охлаждается водой в теплообменниках и подается холодным с передней стороны вычислительных стоек. Нагретая вода охлаждается фреоном в холодильных установках, конденсаторы которых располагаются на крыше вычислительного центра.

Технические характеристики суперкомпьютера “СКИФ Cyberia”:

Число вычислительных узлов/процессоров: 283/566 (1132 ядра)
Конструктив узла: 1U
Кличество монтажных шкафов вычислительного кластера: 8
Тип процессора: двухъядерный Intel Xeon 5150, 2,66 ГГц
Пиковая производительность: 12 Тфлопс
Производительность на тесте Linpack: 7.8 Тфлопс, 65 % от пиковой (предварительный результат).
Цена/пиковая производительность: 158K USD/1 TFlops
Тип системной сети: QLogic InfiniPath
Скорость передачи сообщений между узлами: не менее 950 Мб/сек
Задержка при передаче пакетов данных: не более 2.5 мкс
Тип управляющей (вспомогательной)сети: Gigabit Ethernet
Тип сервисной сети: СКИФ-ServNet
Оперативная память: 1.1 Тб
Дисковая память узлов: 22.5 Тб
Тип системы хранения данных: T-Platforms ReadyStorage ActiveScale Cluster
Объем системы хранения данных: 10 Тб
Занимаемая площадь: 72 м2
Потребляемая мощность вычислительного кластера: 90 кВт
Потребляемая мощность установки в целом: 115 кВт
Вес установки: 16 Т
Суммарная длина кабельных соединений: более 2км

Система бесперебойного электропитания:

Тип: оn-line
Исполнение: модульное
Максимальная установленная мощность: 120 кВт
Количество монтажных шкафов: 6
Максимальная мощность: 160 кВт
Резервирование: N+1, “горячая замена” компонентов

Климатическая система:

Тип: модульная внутрирядная
Холодопроизводительность: 96 кВт
Резервирование: N+1
Теплоноситель внешнего контура охлаждения: фреон
Теплоноситель внутреннего контура охлаждения: вода
Количество рядных кондиционеров: 7
Количество холодильных машин: 3
Распределение охлаждающей воды: центральный коллектор