Thecus N12000 | Введение
Представитель флагманской линейки сетевых хранилищ уровня предприятия – Thecus N12000 – попал сегодня в тестовую лабораторию THG. Эта линейка состоит из двух наиболее производительных устройств: N12000 и N16000 на двенадцать, и шестнадцать дисков, соответственно. Кроме производительности эту линейку отличают более продуманная аппаратная платформа и дополнительные программные функции.
Thecus N12000 | Внешний вид и аппаратная платформа
Thecus N12000 предназначен для монтажа в 19″ телекоммуникационную стойку и имеет габариты 667х480х90 мм (глубина, ширина, высота). Верхняя, нижняя и боковые панели не имеют вентиляционных отверстий. Зато к боковинам крепятся полноценные рельсы. Вероятно, таким креплением обладают только модели N12000 и N16000, так как ни у 1U4200XXXR, ни у N8800+ его не было. Стоит также отметить, что на верхней крышке хранилища размещена наклейка с краткой информацией об устройстве.
Переднюю панель скрывает толстая двухслойная перфорированная дверца, на которой размещаются два порта USB, жидкокристаллический дисплей, пять световых индикаторов (PWR, BUSY, Error, LAN и Locator), а также кнопки включения/выключения устройства, Reset, Locator и четыре клавиши, позволяющие управлять устройством при отсутствии доступа к сети. На внутренней стороне дверцы расположена наклейка, указывающая расположение жёстких дисков в СХД и их номера в системе. К сожалению, в плотно загруженной стойке открыть дверцу у уже установленного Thecus N12000 не получится, так как при открытии ей будет мешать расположенное ниже оборудование. Ситуацию спасают рельсы, позволяющие временно выдвинуть хранилище из стойки.
Два блока питания расположены на задней панели Thecus N12000. Также здесь присутствуют два порта PS/2, четыре порта USB 2.0 и два USB 3.0, один разъём DB-9 для подключения управляющего модуля ИБП, три сетевых интерфейса Gigabit Ethernet, а также один порт eSATA.
Заглянем теперь внутрь хранилища. Всё пространство поделено на три неравные части: дисковый отсек, отсек блоков питания, а также место установки материнской платы, отделённое от дисков четырьмя вентиляторами горячей замены, размеры которых составляют 70х70х25 мм.
Материнская плата имеет четыре разъёма для установки оперативной памяти, но лишь два из них заняты. В системе установлена память Unigen DDR3 UG25U6400M8DU-ACB, объём которой равен 2 Гбайта, то есть полный объём оперативной памяти составляет 4 Гбайта. Стоит отметить, что изначально модели Thecus N12000 выпускались с 4 Гбайтами оперативной памяти, более поздние ревизии имели 8 Гбайт. Веб-сайт производителя также сообщает об установленных 8 Гбайтах оперативной памяти.
В качестве процессора использован Intel Xeon X3470 с четырьмя ядрами (восемь виртуальных), работающими на частоте 2.93 ГГц, и кэш-памятью с объёмом 8 Мбайт. Флеш-память продублирована и представлена микросхемой Samsung K9K8G08U0B с объёмом 1 Гбайт. Контроллером, обеспечивающим подключение флеш-памяти к интерфейсу SATA, является JMicron JM20330.
Поддержка RAID-массива обеспечивается платой расширения LSI SAS9211-8i. Поддержка портов USB 3.0 также производится отдельной платой, построенной на контроллере NEC D720200F1.
За операции ввода вывода отвечает чип Fintek F71889ED. Сетевая часть представлена тремя контроллерами Intel WG82574L.
Перейдём теперь к программной составляющей.
Thecus N12000 | Обновление прошивки, управление модулями
Замена микропрограммного обеспечения Thecus N12000 производится с помощью пункта “Обновление ПО” группы “Администрирование” в ручном режиме, требующем от администратора предварительной загрузки файла новой прошивки с веб-сайта производителя. Объём файла с новой версией ПО составляет порядка 75 Мбайт.
Вся процедура обновления без учёта времени перезагрузки Thecus N12000 занимает порядка одной минуты. Процесс поиска новых версий микропрограммного обеспечения можно незначительно упростить, если зарегистрировать устройство с помощью пункта “Регистрация через Интернет” группы “Сведения о системе веб-интерфейса”.
Регистрация занимает всего несколько секунд, после чего отображается информация об обновлениях. К нашему вящему удивлению мы обнаружили предложение прошивки 1.00.10 для обновления, хотя в данный момент наш Thecus N12000 работает под управлением этой же самой версии.
Производитель также позволяет расширять функционал своих хранилищ с помощью дополнительно устанавливаемых модулей расширения. Такие модули могут быть бесплатно скачаны с веб-сайта Thecus в ручном или автоматическом режимах. Ручной режим требует предварительной загрузки файла модуля на компьютер администратора, тогда как при автоматической установке этого не требуется. Управление модулями производится с помощью подпунктов одноимённой группы.
Мы установили модуль IP_Cam, позволяющий подключать до десяти IP-камер, однако управление им требует недюжинных навыков в понимании русских слов…
Рассмотрим теперь стандартные возможности, предоставляемые веб-интерфейсом Thecus N12000.
Thecus N12000 | Обзор веб-интерфейса
Для получения доступа к веб-интерфейсу Thecus N12000, необходимо ввести пароль администратора, который по умолчанию равен admin.
Если пароль введён правильно, пользователь попадает на начальную страничку Thecus N12000, на которой представлены наиболее часто используемые функции расположенного слева меню. Мы не станем подробно рассматривать все возможности веб-интерфейса, но очень бегло опишем их.
Информацию о модели хранилища, используемой версии прошивки, внутренних температурах и работе вентиляторов, а также запущенных сервисах можно получить с помощью подпунктов группы “Сведения о системе”.
С помощью подпунктов меню “Администрирование” можно производить обновление ПО, управлять рассылкой уведомлений о происходящих событиях, управлять включением/выключением Thecus N12000, а также его конфигурацией и синхронизацией времени, настраивать параметры доступа по SNMP, проверять файловую систему и отслеживать состояние подключённого ИБП.
Пункт “Время” того же меню позволяет указать текущие дату и время, часовой пояс, а также выполнить синхронизацию с внешним сервером времени. Кроме того, Thecus N12000 может сам выполнять функции сервера времени, позволяя клиентам подключаться с помощью протокола NTP. Стоит, правда, заметить, что тестируемая СХД не имеет поддержки кириллических доменов, то есть произвести синхронизацию, например, с заданным по имени сервером время.провайдер.рф не получится.
Настройка параметров высокой доступности Thecus N12000, а также интерфейсов WAN/LAN1 и LAN2 производится с помощью пунктов группы “Сеть и сервисы”. Кроме того здесь представлена конфигурация основных сетевых протоколов: Samba/CIFS, AFP, NFS, FTP, HTTP/WebDisk, UPnP, Bonjour и TFTP.
Группа “Хранилище” открывает перед администратором возможности по управлению установленными жёсткими дисками и RAID-массивом, а также доступными пользователям папками и ISO-образами. Создание целевых и подключение удалённых томов iSCSI также возможно с помощью группы “Хранилище”.
Thecus N12000 поддерживает восемь типов RAID-массивов: JBOD, RAID0, RAID1, RAID5, RAID6, RAID10, RAID50 и RAID60, а также три файловые системы: EXT3, EXT4 и XFS. Почему-то в модели N12000 поддержка ZFS отсутствует, а также нельзя создать массив, занимающий лишь определённый объём от доступного дискового пространства.
Помимо локально конфигурируемых пользователей и групп, Thecus N12000 поддерживает работу с ActiveDirectory, что существенно упрощает работу администраторам в сетях Windows. Также стоит отметить, что устройство поддерживает квоты и пакетное добавление пользователей, что может оказаться полезным при создании большого количества локальных аккаунтов. Все указанные действия могут быть произведены с помощью группы “Пользователи и группы” веб-интерфейса.
Группа “Сервер приложений” содержит всего два пункта: “Принтер” и “Сервер iTunes”, позволяющие управлять очередью печати подключённого принтера и аудио/видео файлами на устройствах Apple, соответственно.
Возможности группы “Управление модулями” нами уже были рассмотрены, функционал же группы “Резервное копирование” мы опишем в следующем разделе, к которому и переходим.
Thecus N12000 | Стекирование, агрегирование, резервирование
При исчерпании дискового пространства одного хранилища уровня предприятия может быть произведено его расширение путём создания стека из нескольких устройство Thecus. Для указанной цели мы запросили второе хранилище – N8800+, которое мы использовали в качестве подчинённого устройства в стеке. Весь процесс объединения в стек можно разделить на две стадии: создание целевого тома iSCSI и подключение его к мастеру стека. Создание целевого тома iSCSI производится на подчинённом хранилище с помощью пункта “Распределение пространства” группы “Хранилище” веб-интерфейса, где требуется указать имя ресурса и его объём. Для предотвращения несанкционированных подключений может быть использована CHAP-аутентификация.
Подключение ранее созданного целевого тома производится на мастере стека с помощью пункта “Стекирование” группы “Хранилище”, для чего требуется указать IP-адрес второго устройства и произвести обнаружение доступных на нём ресурсов iSCSI. Чтобы новое дисковое пространство стало доступным пользователям, необходимо произвести его форматирование.
Ресурсы подчинённых устройств стека будут доступны пользователям по всем основным протоколам, включая SMB и FTP, и будут видимы в отдельном каталоге.
В качестве мастера стека выбирают обычно самое мощное и быстрое устройство, которым в нашем примере являлось хранилище Thecus N12000, однако технически не запрещено любому из хранилищ выполнять функции главного устройства в стеке. Стоит отметить, что создание целевого тома iSCSI производится в пункте “iSCSI” группы “Хранилище” веб-интерфейса N12000.
Обсуждаемая схема стекирования скрывает от пользователя логику работу стека хранилищ, однако активно использует существующую сетевую инфраструктуру, что с одной стороны, позволяет размещать хранилища в географически удалённых ЦОД, но с другой, нагрузка на сеть существенно возрастает, так как данные от подчинённого устройства к пользователю и обратно передаются через стекообразующее устройство. Нивелировать указанную проблему можно путём использования 10 GE сетевых карт, опционально устанавливаемых в промышленные хранилища Thecus.
При нехватке полосы пропускания одного интерфейса Gigabit Ethernet, может производиться их агрегирование с целью образования логического порта большей пропускной способности. Thecus N12000 предоставляет администратору выбор одного из шести способов агрегации, некоторые из которых требуют дополнительной настройки со стороны коммутатора.
Мы успешно подключили Thecus N12000 к коммутатору Cisco 3750 и выбрали схему балансировки 802.3ad. Основные параметры портов коммутатора представлены ниже.
interface GigabitEthernet1/0/11
switchport
switchport access vlan 2
switchport mode access
channel-group 2 mode on
interface GigabitEthernet1/0/12
switchport
switchport access vlan 2
switchport mode access
channel-group 2 mode on
interface Port-channel2
switchport
switchport access vlan 2
switchportmodeaccess
Внедрение протокола 802.3ad позволяет не только выполнять агрегирование каналов с целью повышения доступной полосы пропускания, но и предоставлять функции резервирования, позволяя защититься от падения физического канала передачи данных, порта коммутатора или сетевого интерфейса самого хранилища. При использовании со стороны сетевого оборудования стека коммутаторов (например, Cisco Catalyst 3750) или технологий, подобных Cisco VSS, обсуждаемая схема позволяет защититься также и от падения отдельного коммутатора, к которому подключается Thecus N12000.
Стоит отметить, что для использования VSS потребуются два коммутатора Cisco Catalyst 6500 с супервизорами Virtual Switching Supervisor 720-10GE, что далеко выходит за рамки данного обзора.Thecus N12000 и N16000 имеют собственные механизмы резервирования, повышения доступности устройств; позволяя защититься от падения целого хранилища, крушения дискового массива, а также потери сетевого подключения основного хранилища. Обсуждаемые механизмы позволяют объединить два устройства в виртуальную группу, которая разделяет один виртуальный IP-адрес. Хранилища в такой группе работают по схеме Active/Standby, то есть обеспечивается только резервирование устройств, но не балансировка нагрузки на них. Конечно, если хранилища используются исключительно для предоставления данных пользователям без права записи на них, то балансировка и резервирование могут быть обеспечены внешними средствами, например, Cisco SLB (Server Load Balancing), однако мы отвлеклись. Картинка ниже демонстрирует типовую схему работы системы повышения доступности Thecus.
Настройка активного и резервного хранилища производится с помощью пункта “High-Availability” группы “Сеть и сервисы” веб-интерфейса, имеющего четыре вкладки: “Settings”, “HeartBeats”, “Status” и “Readme”. Вкладка “Settings” позволяет указать IP-адреса физического порта LAN1 устройств, а также адрес виртуального сервера. Параметры проверки доступности второго устройства группы размещены во вкладке “HeartBeats”. Вкладки “Status” и “Readme” отображают информацию о текущем состоянии HA-системы и справочную информацию, соответственно.
Вкладка “HeartBeats” позволяет указать, стоит ли осуществлять автоматический переход резервного устройства в состояние “Standby” при возобновлении работы основного хранилища. К сожалению, возможности ручного перехода между статусами устройства пользователю не предоставлено. На наш взгляд, это было бы очень полезно при проведении плановых работ для сокращения времени простоя группы.
Стоит рассказать о ещё двух возможностях резервирования, предлагаемых Thecus N12000. Речь идёт о пунктах “RsyncTarget” и “Резервное копирование DualDOM” группы “Резервное копирование”. На последнем пункте хотелось бы остановиться подробнее. “Резервное копирование DualDOM” сохраняет до пяти копий конфигурации системы в ручном или автоматическом режимах, что позволяет воспользоваться сохранённой копией при невозможности загрузить систему в штатном режиме.
Подключимся теперь к Thecus N12000 по протоколу SNMP.
Thecus N12000 | Обзор SNMP-интерфейса
Мониторинг любого сетевого устройства в корпоративной среде производится с помощью SNMP, поэтому мы не могли обойти стороной поддержку Thecus N12000 данного протокола. Мы не станем подробно описывать все возможности доступа по SNMP к СХД, но опишем наиболее интересные. Предоставление доступа производится с помощью пункта “Настройка SNMP” группы “Администрирование” веб-интерфейса.
Для управления нами была использована довольно простая утилита Getif версии 2.3.1. Всего было обнаружено пять интерфейсов.
Перейдём теперь на вкладку “MBrowser”, в которой собраны все доступные параметры, расположенные в ветке .iso.org.dod.internet.mgmt.mib-2. Сведения о системе представлены в параметрах ветки .iso.org.dod.internet.mgmt.mib-2.system.
Параметры интерфейсов расположены в ветке .iso.org.dod.internet.mgmt.mib-2.interfaces.
Статистические сведения о протоколах IP, ICMP, TCP, UDP и SNMP собраны в соответствующих пунктах ветки .iso.org.dod.internet.mgmt.mib-2.
Также некоторые интересные параметры, не связанные непосредственно с сетью, вынесены в ветку .iso.org.dod.internet.private.
Мы решили собрать статистику загрузки интерфейсов Thecus N12000, для чего добавили СХД в нашу тестовую систему мониторинга на базе Cacti в качестве нового устройства. Ниже представлен график загрузки интерфейса WAN/LAN1 в момент выполнения некоторых тестов.
Краткое рассмотрение отдаваемых по SNMP параметров на этом завершается. Перейдём теперь к разделу тестирования.
Thecus N12000 | Тестирование
Начало любой работы – загрузка оборудования, поэтому раздел тестирования традиционно начинается с определения времени загрузки устройства, под которым мы понимаем интервал времени с момента подачи питания на тестируемую модель до прихода первого эхо-ответа по протоколу ICMP. Thecus N12000 загружается за 83 секунды, что является нормальным показателем для подобного рода устройств.
Вторым традиционным тестом является проверка защищённости устройства, выполняемая с помощью сканера сетевой безопасности Positive Technologies XSpider 7.7 (Demobuild 3100). Мы использовали стандартную конфигурацию Thecus N12000 перед запуском сканера. Всего было обнаружено девять открытых портов: TCP-80 (HTTP), TCP-111 (RPCUnix), UDP-111 (RPCUnixPortMapper), UDP-123 (NTP), UDP-137 (NetBIOSName), TCP-139 (NetBIOSsamba), TCP-443 (HTTPSSL), TCP-445 (MicrosoftDS)и TCP-631 (HTTP). Обнаруженные вероятные уязвимости можно было бы считать незначительными, если бы не обнаруженные проблемы в PHP, используемом в веб-интерфейсе хранилища.
Также мы не могли не проверить мультимедийные возможности Thecus N12000, для чего установили модуль расширения Twonkymedia и выгрузили нужные файлы на СХД. Подключение к N12000 производилось с помощью проигрывателя Windows Media. Мы без проблем смогли посмотреть наши фильмы и фотографии, послушать музыку.
И теперь, наверное, самые ожидаемые тесты – измерения скорости доступа к хранилищу по сети. В Thecus N12000 в тестовой лаборатории THG были установлены жёсткие диски Seagate Barracuda 320 Гбайт ST3320620AS и Seagate Barracuda ES.2 500 Гбайт ST3320620AS. Основные параметры тестового стенда представлены ниже в таблице.
Компонент | ПК №1 | ПК №2 |
Материнская плата | ASUSTek P6T7 WS | Intel DX58SO |
Процессор | Intel Core i7-970 3,2 ГГц | Intel Core i7-965 3,2 ГГц |
Оперативная память | Corsair TR3X6G1600C8D 2 Гбайта | Corsair CM3X1024-1333C9DHX 1 Гбайт |
Сетевая карта | Intel Gigabit ET Dual Port Server Adapter | Intel 82567LM Gigabit Ethernet Controller |
Операционная система | Windows Vista Ultimate SP2 | Windows 7 Ultimate x64 |
Для тестирования использовалась утилиты Intel NASPT версии 1.6.0 и Crystal Disk Mark версии 3.0.1.а. Сначала мы собрали массив RAID0 из шести дисков с файловой системой EXT4 и запустили Crystal Disk Mark. Результаты измерений представлены ниже.
После тестов Crystal Disk Mark были запущены более тяжёлые тесты Intel NASPT, для чего был собран трёхдисковый массив RAID0 с файловой системой EXT4.
Аналогичная процедура была повторена для массива RAID0 EXT4 из шести дисков.
Те же шесть дисков были объединены в массив RAID5 с файловой системой XFS.
Мы решили сравнить производительность трёхдисковой и шестидисковой конфигураций для массива RAID0 и файловой системы EXT4, а также производительности RAID-массивов между собой на примере RAID0 и RAID5 с файловой системой EXT4.
Кроме сравнения производительности массивов в нормальном состоянии, было принято решение провести измерения с деградированным массивом на примере RAID5 с файловой системой XFS.
Thecus N12000 поддерживает создание зашифрованных массивов, скорости работы которых мы сравнили с незашифрованным аналогом (RAID5 XFS). Также для зашифрованных массивов мы решили сравнить скорости для трёхдисковых и шестидисковых конфигураций.
Полученные скорости доступа к зашифрованным данным нас приятно удивили, в некоторых тестах они сравнимы со скоростями для незашифрованных конфигураций.
Все измерения проводились в тестовой лаборатории THG при подключении к Thecus N12000 с помощью одного физического канала Gigabit Ethernet. Получаемые скорости были близки к ограничениям, накладываемым самой технологией GE, поэтому мы решили провести агрегацию двух физических каналов и произвести измерения скорости передачи данных нескольких больших файлов через полученный логический сетевой интерфейс. Для такого объединения был выбран стандарт IEEE 802.3ad, а результаты эксперимента представлены на диаграмме ниже.
На этом раздел тестирования завершается, подведём итоги.
Thecus N12000 | Заключение
Мы протестировали сетевое хранилище Thecus N12000 – одно из двух СХД флагманской линейки Thecus. В целом мы остались довольны результатами тестирования, хотя пара ложечек дёгтя всё-таки нашлось. При использовании N12000 в сильно нагруженных сетях мы бы рекомендовали установку дополнительной сетевой карты 10GE, так как возможностей предустановленных сетевых интерфейсов может оказаться недостаточно для того, чтобы устройство демонстрировало пользователям максимально возможную производительность.
К сильным сторонам хранилища можно отнести:
- Встроенные возможности резервирования хранилища;
- Высокие скорости доступа к данным;
- Возможность агрегирования сетевых интерфейсов и объединение хранилищ в стек;
- Наличие резервного блока питания;
- Возможность управление устройством с помощью экрана и кнопок на передней панели;
- Удобный монтаж в телекоммуникационную стойку;
- Возможность бесплатной установки модулей расширения;
- Высокие скорости работы с зашифрованными массивами;
- Возможность установки дополнительной сетевой карты 10GE;
- Наличие пяти бесплатных лицензий на выполняющее резервное копирование программное обеспечение.
Однако нельзя не указать и на недостатки:
- Отсутствие поддержки кириллических доменов;
- Недостаточная русификация дополнительных модулей;
- Отсутствует возможность вручную сменить статус устройства (Active/Standy);
- Наличие вероятных уязвимостей в обработчике PHP веб-интерфейса;
- Отсутствует поддержка ZFS.
На момент написания статьи средняя цена Thecus N12000 без дисков в интернет-магазинах Москвы составляла 160000 рублей.
Редакция THG благодарит компанию Тайле за предоставленное для тестирования хранилище Thecus N12000.
Приобрести хранилище Thecus N12000 можно в интернет магазинах NStor, Datasystems – Центр компетенции по ИТ-решениям и РЕТ.
Thecus N12000 | Фотогалерея
Как обычно, фоторедактор THG.ru подготовил для вас фотографии Thecus N12000, чтобы вы лучше могли представить себе описываемый продукт.