10 Тбайт за $1000: тесты RAID-массива с большой ёмкостью — THG.RU

Введение

Нужна большая ёмкость? Требуется высокая производительность дисковой подсистемы? Скоро цены на жёсткие диски упадут до уровня $80 за 1 Тбайт, поэтому мы решили создать экстремальный RAID-массив, который способен хранить многие годы все ваши данные, а также обеспечит производительность на уровне, превосходящем любые одиночные винчестеры. Мы взяли двенадцать 1-Тбайт жёстких дисков Samsung, которые помогли установить новый рекорд скорости и обеспечили впечатляющую ёмкость 10 Тбайт.

Нажмите на картинку для увеличения.

Некоторые из вас наверняка будут спорить с нами насчёт производительности. Действительно, наши читатели прекрасно осведомлены о том, что жёсткие диски уже не выдерживают конкуренции со стороны твёрдотельных накопителей (SSD). Это так. Всё больше high-end SSD превосходят уровень 200 Мбайт/с по чтению и 100 Мбайт/с по записи с практически нулевым временем доступа. Подобные характеристики уже становятся стандартом для high-end SSD. Однако твёрдотельные накопители по-прежнему стоят очень дорого, и в этом отношении они значительно проигрывают старым добрым жёстким дискам.

Если жёсткие диски и не могут потягаться с SSD по быстрому времени доступа, высокой пропускной способности можно достигнуть путём объединения нескольких винчестеров в массив RAID с чередованием — а пропускная способность является ключевой характеристикой для многих пользователей настольных ПК. Кроме того, ёмкости жёстких дисков намного превышают возможности SSD, да и цена в расчёте на гигабайт у винчестеров значительно ниже. Например, за $1000 вы не купите больше 1 Тбайт ёмкости на SSD, и даже для приближения к этому уровню вам придётся спуститься на ступеньку или на две по производительности. Между тем за ту же сумму мы купили 12 1-Тбайт жёстких дисков. Единственная причина, по которой мы не взяли винчестеры с большей ёмкостью, это отсутствие их в наличии в количестве десять накопителей или больше.

Идея: хранилище на жёстких дисках с бюджетом $1000

Конечно, идея использования 12 3,5″ винчестеров в RAID-массиве вряд ли хороша для настольных ПК. Двенадцать жёстких дисков занимают немало места, для них требуется подходящий RAID-контроллер SATA, да и тепла, шума и вибрации они выделяют немало. Но идея всё равно весьма интересна, и мы достаточно скоро увидим, на что способен большой RAID-массив на обычных жёстких дисках.

Тестовые жёсткие диски: 12 x Samsung Spinpoint F1 HD103UJ (1 Тбайт)

Нажмите на картинку для увеличения.

Для нашего массива мы взяли двенадцать терабайтных жёстких дисков Samsung первого поколения — Spinpoint F1 HD103UJ. Хотя возраст данной модели превысил год, она всё равно хорошо показывает себя по сравнению даже с новыми конкурентами, включая Hitachi Deskstar 7K1000.B, Seagate Barracuda 7200.12 и WD Caviar Black. Максимальная пропускная способность чтения у F1 составляет 115 Мбайт/с, что впечатляюще и по сегодняшним меркам, а плотность записи у винчестеров Samsung достаточно велика, чтобы уместить весь терабайт на всего трёх пластинах. Скорость вращения шпинделя составляет 7200 об/мин, интерфейс SATA/300, кэш-память — 32 Мбайт. Мы выбрали жёсткие диски Samsung F1 в том числе и из-за их хорошей доступности.

В скором будущем Samsung выпустит новые высокопроизводительные жёсткие диски Spinpoint F2. Линейка F2 EcoGreen доступна в ёмкости до 1,5 Тбайт уже несколько месяцев, однако новые модели F2, которые выйдут во второй половине 2009 года, будут иметь скорость вращения 7200 об/мин и ёмкость до 2 Тбайт. Hitachi и Seagate наверняка скоро представят и свои модели по мере необходимости, поскольку жёсткие диски с максимальной ёмкостью продаются не в таких больших количествах и составляют маленькую долю рынка.

Нажмите на картинку для увеличения.

Нажмите на картинку для увеличения.

Ёмкость в 1,0 Тбайт уже не так впечатляет, но данный уровень близок к тому, чтобы обеспечить максимальную ёмкость в расчёте на доллар. Кроме того, высокопроизводительные жёсткие диски на 7200 об/мин по-прежнему обеспечивают более высокую пропускную способность, чем экономичные 1,5-Тбайт модели от Samsung, Seagate или WD. Переход на 2,0-Тбайт жёсткие диски позволил бы увеличить общую ёмкость массива с 12 до впечатляющих 24 Тбайт, но это увеличило бы цену накопителей более чем в два раза. Вы можете купить 1,0-Тбайт жёсткий диск по цене, начиная от $85, в то время как 2,0-Тбайт накопители стоят почти в три раза дороже.

Массив и контроллер в деталях

Нажмите на картинку для увеличения.

Мы хотели построить массив с ёмкостью не менее 10 Тбайт, а с 12 накопителями мы могли бы достичь чистой ёмкости 12 Тбайт. Мы решили протестировать RAID 0 для максимальной производительности и RAID 5 в качестве сбалансированного решения с высокой производительностью и защитой данных. Если конфигурация RAID 0 распределяет данные по всем жёстким дискам с помощью чередования, то RAID 5 добавляет информацию избыточности в размере, равном ёмкости одного из накопителей. Информация избыточности распределяется по всем жёстким дискам, чтобы один накопитель не стал «узким местом».

RAID 0

В массиве RAID 0 общая ёмкость равняется ёмкости одного накопителя Spinpoint F1, умноженной на количество жёстких дисков. Каждый винчестер предоставляет чистую ёмкость 1000 Гбайт с учётом того, что один килобайт равняется 1000 байтам, что даёт 931,32 Гбайт, если один килобайт составляет 1024 байта. Последняя характеристика правильная, именно её и использует Windows для оценки доступной ёмкости. В результаты мы получаем ёмкость массива 11 175,87 Гбайт.

RAID 5

Массив RAID 5 требует, как минимум, трёх жёстких дисков, при этом вы получите суммарную ёмкость всех накопителей минус ёмкость одного винчестера. Она расходуется на информацию избыточности, которая сохранит данные, если один жёсткий диск выйдет из строя. Если вы хотите, чтобы массив сохранял данные в случае выхода из строя двух винчестеров, то тогда потребуется массив RAID 6. В нашем случае ёмкость массива RAID 5 составила 10 244,54 Гбайт.

Контроллер: Areca ARC-1680iX-20

Нажмите на картинку для увеличения.

Мы выбрали комбинированный контроллер SAS/SATA от Areca, 20-портовый ARC-1680iX. Карта с полной высотой использует интерфейс x8 PCI Express и содержит процессор Intel IOP348, работающий на частоте 1200 МГц и обеспечивающий серьёзное ускорение расчёта операций XOR для RAID 5. Карта содержит слот DDR2 DIMM, в который можно устанавливать модули ёмкостью от 512 Мбайт до 4 Гбайт; мы выбрали модуль 512 Мбайт по умолчанию. Если вы планируете устанавливать большой массив, то мы рекомендуем брать память с ECC. Контроллер Areca один из немногих, поддерживающих RAID 6.

Контроллер содержит порт LAN, который служит исключительно для управления. Вы можете конфигурировать карту с помощью встроенного web-сервера независимо от операционной системы host-компьютера. 20 портов SAS доступны через многоканальные разъёмы (4 внутренних, 1 внешний), именно поэтому мы использовали кабели 4-to-1 SAS для подключения жёстких дисков Samsung. Как вы наверняка помните, стандарт SAS полностью совместим с SATA благодаря STP (SATA Tunneling Protocol).

Тестовая конфигурация

Результаты тестов

Время доступа

Оба RAID-массива весьма существенно снижают время доступа. На отдельном 1-Тбайт жёстком диске Samsung Spinpoint F1 время доступа составляет, в среднем, 13,8 мс, но у конфигураций RAID 0 и RAID 5 оно снижается до 10,1 и 10,4 мс.

Пропускная способность

Поскольку ни одна из наших стандартных тестовых утилит не позволяет провести серьёзные тесты на разделах больше 2 Тбайт, нам пришлось перейти на HD Tach и IOmeter, чтобы получить результат. HD Tach можно пользоваться, только если у раздела нет записи GPT или MBR.

Как упоминалось выше, 115 Мбайт/с — это максимальная пропускная способность чтения одного жёсткого диска F1. С 12 накопителями, подключёнными к контроллеру Areca ARC-1680iX, наш массив RAID 0 обеспечил почти 1 Гбайт/с в среднем. Даже с массивом RAID 5 мы получили среднюю пропускную способность 910 Мбайт/с!

Пропускная способность записи оказалась чуть меньше, но мы всё равно получили 800 Мбайт/с или выше. Помните, что это средняя пропускная способность. Пиковая скорость выше, минимальная — ниже.

Диаграммы передачи данных

RAID 0

Нажмите на картинку для увеличения.

В массиве RAID 0 12 накопителей поддерживают пропускную способность чтения почти 900 Мбайт/с, но есть довольно неприятные падения. Пропускная способность записи более равномерная, на уровне 600-700 Мбайт/с.

RAID 5

Нажмите на картинку для увеличения.

Производительность RAID 5 чуть меньше, мы получаем падение ниже уровня 600 Мбайт после заполнения большей части из 11 Тбайт ёмкости массива.

Производительность ввода/вывода

Поскольку расчёты информации избыточности XOR отнимают существенную долю производительности, скорость операций ввода/вывода у массива RAID 0, где не рассчитывается избыточность, существенно выше. Впрочем, любой приличный SSD, такой как Intel X25-E (корпоративный уровень) или X25-M (потребительский уровень), может обойти наш 12-дисковый массив RAID по операциям ввода/вывода.

Производительность сценария файлового сервера оценивает скорость работы с блоками крупного размера, в результате чего разница между отдельным винчестером и массивом становится не такой существенной, но всё равно довольно ощутимой.

Сценарий web-сервера использует, по большей части, операции чтения, при этом он запрашивает множество мелких файлов, распространённых на web-страницах. Используя 12 накопителей, мы смогли более чем в четыре раза обойти производительность одного жёсткого диска. Впрочем, с помощью быстрого SSD мы смогли бы получить результаты почти в десять раз больше.

Заключение

Большинство пользователей вряд ли будут устанавливать много жёстких дисков в свой компьютер, поскольку это требует массивного корпуса с достаточной вентиляцией, а также приличного блока питания. Поэтому наш проект нацелен, в основном, на энтузиастов. Мы попытались проанализировать уровень производительности хранилища, который вы получите, если потратите столько же денег, сколько на процессор уровня энтузиастов — Core i7-975 Extreme за $1000. Примерно за ту же цену вы можете купить 12 1-Тбайт жёстких дисков Samsung Spinpoint F1. Конечно, при этом потребуется многопортовый контроллер, именно поэтому мы и взяли Areca ARC-1680iX-20.

Ниже представлены некоторые любопытные факты, которые мы обнаружили. Итак, 12 жёстких дисков…

• по-прежнему не могут достигнуть производительности ввода/вывода и времени доступа одного SSD Intel X25-E (тысяча операций в секунду);
• требуют аккуратной продуманной конфигурации системы (отложенного запуска шпинделя);
• требуют мощного RAID-контроллера с достаточным числом портов;
• не очень удобны для пользователей настольных ПК;
• подвержены проблемам с разделами больше 2 Тбайт;

• дают в 6-8 раз больше пропускной способности, чем один жёсткий диск: почти 1000 Мбайт/с;
• дают в 3-7 раз больше производительности ввода/вывода, чем один жёсткий диск;
• дают чистую ёмкость 11 Тбайт в RAID 5 или 10 Тбайт в RAID 6;
• обеспечивают прекрасную стоимость хранения на гигабайт, особенно с 1-Тбайт жёсткими дисками Samsung, которые мы использовали (2-Тбайт накопители по-прежнему слишком дорогие);
• всё равно обходят массив на SSD-накопителях по пропускной способности, даже если вы оставите два или три жёстких диска в качестве горячей замены.