Новый рекорд пропускной способности 3,4 Гбайт/с: массив из 16 SSD Intel X25-E — THG.RU

Введение

Недавно мы опубликовали статью «Рекорд пропускной способности 2,2 Гбайт/с: массив из 16 SSD Intel X25-E«, где мы построили массив с высокой пропускной способностью, вдохновлённые видеороликом на YouTube. Целью проекта было достичь беспрецедентной пропускной способности хранилища.

И хотя мы получили ещё большую пропускную способность на RAID-массиве из SSD (мы использовали 16 накопителей Intel X25-E против 24 Samsung PB22-J), мы не были полностью удовлетворены. Мы провели несколько повторных тестов, используя другие RAID-контроллеры. На помощь нам пришли Intel и LSI, предоставив последние карты MegaRAID 9210-8i (Intel RS2BL080) и 9260-8i.

Нажмите на картинку для увеличения.

Результат 2,2 Гбайт/с, полученный нами, звучит впечатляюще, но если посчитать, то пропускная способность может быть и выше, поскольку каждый из 16 накопителей Intel X25-E SSD может выдать до 220 Мбайт/с. Теоретический максимум для нашего массива составляет около 3,5 Гбайт, то есть на 60% больше, чем мы получили. Вполне понятно, что нам нужно устранять «узкие места».

Платформа? Проверяем

Наша платформа состояла из материнской платы Supermicro X8SAX X58 и 2,66-ГГц четырёхъядерного процессора Intel Core i7-920 с 3 Гбайт памяти DDR3-1333. Вполне понятно, что эта платформа способна выдать высокую пропускную способность. В конце концов, мы использовали для RAID-контроллеров два слота x16 PCI Express 2.0. Каждая из 16 линий PCIe 1.0 может выдавать до 250 Мбайт/с в обоих направлениях, что даёт до 4 Гбайт/с в каждом направлении у первого поколения интерфейса PCI Express. На платформе X58, где используется стандарт PCIe 2.0, пропускная способность удваивается до 8 Гбайт/с в каждом направлении. Так что с платформой проблем явно не было.

Контроллеры? Заменяем

Изначально мы взяли карты Adaptec 5808, которые являются высокопроизводительными RAID-контроллерами со сбалансированной производительностью и множеством программных функций, которые помогают управлять RAID-массивом. Сначала мы решили проверить потенциальную пропускную способность интерфейса карт, поскольку они соединяются с системой через восемь линий PCI Express 1.1. Две карты, восемь раз по 250 Мбайт/с, и мы получаем 2 Гбайт/с для одной карты или 4 Гбайт/с для двух. Вроде как мы получили достаточную пропускную способность, однако практика показала, что это не так.

Мы заменили популярные контроллеры Adaptec RAID 5805 двумя картами LSI. Нажмите на картинку для увеличения.

Мы решили использовать два новейших RAID-контроллера LSI. Компания LSI выслала нам контроллеры MegaRAID 9260-8i, поддерживающие интерфейс SAS 6 Гбит/с. Кроме того, Intel тоже заинтересовалась приростом производительности и предоставила нам ещё два контроллера, а именно LSI 9210-8i, которые продаются и под торговой маркой Intel в виде RS2BL080. Пока они ещё отсутствуют в продаже, при этом у них нет мощного XOR-движка, кэш-памяти или продвинутых корпоративных функций. Однако обе карты являются одними из первых контроллеров с поддержкой стандарта PCI Express 2.0, позволяющего удвоить пропускную способность интерфейса с восемью линиями PCIe. С данным «железом» мы были вполне уверены, что сможем поставить новый рекорд производительности. И поставили!

SSD: шестнадцать Intel X25-E

Нажмите на картинку для увеличения.

Сегодня Intel готовится к выпуску следующего поколения накопителей SSD, причём все новые продукты будут использовать 34-нм флэш-память MLC (подразумеваются X25-M для потребительского рынка).

Накопители X25-E тоже должны обновиться с уменьшением техпроцесса флэш-памяти. В любом случае, мы сохранили тот же набор накопителей, что использовался для первой статьи: 16 SSD X25-E корпоративного класса от Intel с ёмкостью 64 Гбайт каждый. Суммарная ёмкость массива из 16 накопителей как раз равняется 1 Тбайт, но ёмкость не была нашим приоритетом. Мы хотели получить большую пропускную способность и производительность ввода/вывода.

Нажмите на картинку для увеличения.

SSD Intel X25-E построены на собственном дизайне компании, они используют 10-канальный контроллер и 16 Мбайт кэш-памяти. Они поддерживают «родную» очередь команд (Native Command Queuing, NCQ), которая позволяет оптимизировать производительность, уменьшить износ ячеек и противостоять эффектам снижения производительности, таким как усиление записи (write amplification). В общем, SSD постоянно оптимизируют свою работу, чтобы обеспечивать всегда максимальную производительность.

Ни один из доступных сегодня SSD не поддерживает интерфейс Serial Attached SCSI (SAS) или скорость интерфейса 600 Мбайт/с, впрочем, он не так и нужен — по крайней мере, пока. Накопители, которые мы использовали, вполне достаточны для получения пропускной способности RAID-массива более 3 Гбайт/с, и мы не считаем, что они упрутся в производительность нового поколения RAID-контроллеров, которое использует PCI Express 2.0 и SAS/600.

Контроллеры: LSI 9260-8i (RAID-контроллер) и 9210-8i (HBA)

LSI MegaRAID 9260-8i

Давайте сначала разберёмся со схемой именования новых контроллеров. Обозначение «8i» соответствует восьми внутренним портам; “9200” — новая архитектура PCI Express 2.0 RAID-on-Chip; причём поддерживается и режим RAID 6, о чём говорит третья цифра в модельном номере (“60”).

Нажмите на картинку для увеличения.

LSI предлагает два внутренних разъёма SFF-8087 MiniSAS, каждый из которых поддерживает четыре внутренних подключения SAS/SATA. Карта имеет низкопрофильный дизайн, который подходит и для компактных серверов высотой 2U. Разве что придётся сгибать кабели, поскольку разъёмы у карт направлены в сторону верхней крышки сервера.

Интерфейсы

LSI полностью переработала свою архитектуру, чтобы она соответствовала требованиям окружений SAS/600. Архитектура RAID-on-Chip (RoC) построена на чипе LSI SAS2108, который поддерживает интерфейс x8 PCI Express 2.0 и подключения SAS/600 (6 Гбит/с).

Процессор работает с 512 Мбайт кэш-памяти DDR2-800, а за резервное питание кэш-памяти отвечает аккумулятор (battery backup module, BBU). Всё это уже было установлено на наших образцах (хотя LSI указывает на то, что BBU опционален). Напомним, что аккумулятор позволяет сохранить незаписанные данные в кэш-памяти контроллера в случае сбоя питания.

Производительность

По информации LSI, контроллер сам по себе поддерживает максимальную пропускную способность 2875 Мбайт/с, а пиковая пропускная способность записи составляет 1800 Мбайт/с. Мы использовали два контроллера и программный массив Windows для объединения массивов двух контроллеров (и два разных интерфейса PCI Express), так что об ограничениях пропускной способности можно было не беспокоиться.

LSI поддерживает уровни RAID 0, 1, 5 и 6 с двойной избыточностью, а также гнездовые массивы RAID 10, 50 и 60. За дополнительной информацией мы рекомендуем обратиться на сайт LSI.

Нажмите на картинку для увеличения.

LSI MegaRAID 9210-8i

Нажмите на картинку для увеличения.

Контроллер 9210-8i, также известный как Intel RS2BL080, предлагает такое же количество портов SAS/SATA, что и 9260-8i, да и печатная плата имеет точно такие же размеры, но данный продукт несколько отличается в сторону упрощения. У него нет мощного процессора RAID-on-Chip с XOR-ускорением для массивов RAID 5 и RAID 6; нет и кэш-памяти, да и резервный аккумулятор отсутствует.

Впрочем, этот урезанный контроллер может дать нам более высокую пропускную способность, поскольку у него нет процессора и кэш-памяти, которые обычно улучшают производительность — но ограничивают её в нашем сценарии (как в случае с Adaptec RAID 5805). Конечно, такие контроллеры и стоят дешевле.

У нас не было много информации по поводу 9210-8i, поскольку на момент тестов он не был официально выпущен. Контроллер тоже использует PCI Express 2.0 (восемь линий) и поддерживает интерфейс SAS/600.

Создаём RAID 0 на картах LSI 9200-8i

Нажмите на картинку для увеличения.

MegaRAID Storage Manager перечисляет все контроллеры LSI и подключённые накопители.

Нажмите на картинку для увеличения.

После создания RAID-массива добавляются и тома, названные «Virtual Drive».

Нажмите на картинку для увеличения.

Создание массива можно сделать с помощью простых указаний или выбрать расширенный режим.

Нажмите на картинку для увеличения.

Когда все накопители будут объединены в одну группу, можно устанавливать параметры и политики. Мы использовали настройки, приведённые на скриншоте.

Создание RAID-массива

Поскольку два RAID-контроллера имеют разные возможности и функции, мы решили для каждого выбрать отдельный подход.

В случае полнофункционального MegaRAID 9260-8i, как и Adaptec RAID 5805, который мы использовали ранее, мы создали массивы RAID 0 с восемью SSD на каждом контроллере. Затем мы использовали функциональность RAID Windows Vista и создали программный массив RAID 0 на двух томах с аппаратным RAID 0. То есть мы использовали по восемь SSD на каждый контроллер, причём каждый контроллер подключался через свой интерфейс PCI Express 2.0.

Что касается MegaRAID 9210-8i, то самым простым (и наиболее производительным) решением было создание большого массива RAID 0 под Windows Vista. Поэтому мы вызвали «Управление дисками/Storage Manager» и создали программный RAID 0 на всех 16 доступных SSD Intel X25-E.

Тестовая конфигурация

Более подробную информацию об эталонной тестовой системе можно получить в статье «Тесты накопителей в 2009 году: обновление платформы и результаты«.

Результаты тестов

Пропускная способность

Результаты уже великолепны. Оба контроллера LSI переносят наши массивы RAID, использующие 16 SSD Intel X25-E, на новый уровень производительности — пропускная способность превысила 3 Гбайт/с! Средняя пропускная способность 3005 Мбайт/с для RAID-контроллеров просто великолепна, поскольку RAID-контроллеры обычно лучше справляются с производительностью ввода/вывода, а не с пропускной способностью. Новый HBA-контроллер LSI 9210-8i с интерфейсами 6 Гбит/с смог дать на 14% более высокую пропускную способность, достигнув скорости чтения 3432 Мбайт/с по всем накопителям.

Пропускная способность записи мало отличалась от результатов чтения на LSI MegaRAID 9210-8i, но у карт 9260-8i RAID мы наблюдаем небольшое замедление. Впрочем, переживать нечего — массив на двух контроллерах всё равно оказывается быстрее, чем какие-либо накопители и массивы, которые мы когда-либо встречали.

Производительность ввода/вывода

Новый RAID-контроллер LSI 9260-8i может быть не оптимизирован под нагрузку сервера баз данных, поскольку он не смог дать производительность на том же уровне, что Adaptec RAID 5805. Мы обнаружили, что более простой 9210-8i от LSI даёт более впечатляющие результаты в этом тесте, поскольку он обходит карту Adaptec, обеспечивая более 45 000 операций ввода/вывода в секунду. Сценарий сервера баз данных состоит на 67% из операций чтения и на 33% из операций записи, используются только блоки по 8 кбайт.

После переключения на сценарий файлового севера полнофункциональный контроллер MegaRAID 9260-8i с кэш-памятью показал себя лучше, он обошёл и «младшую» модель, и Adaptec RAID 5805. Сценарий файлового сервера предусматривает блоки разного размера от 512 байт до 64 кбайт, при этом чтение составляет 80%, а случайность операций — 100%. Для подобного типа нагрузки действительно нужен довольно интеллектуальный процессор.

Какой результат! Тест web-сервера не предусматривает операции записи вообще, что положительно сказывается на производительности. LSI 9210-8i без кэширования просто «взлетает» по сравнению с другими контроллерами, но не следует забывать, что массив RAID 0 ненадёжен. Все наши тесты можно рассматривать как эксперимент, позволяющий оценить возможный уровень производительности, а не как полезный для сервера сценарий.

Обе карты LSI оказались намного быстрее в сценарии рабочей станции, обеспечив на 54-73% больше производительности, чем тот же набор SSD на контроллере Adaptec RAID 5805.

Более подробную информацию о методике тестов можно получить в статье «Тесты накопителей в 2009 году: обновление платформы и результаты«.

Заключение

Простая замена карт Adaptec RAID 5805 продуктами нового поколения от LSI чётко показала, что RAID-контроллер был «узким местом» в предыдущих тестах массива из 16 SSD. Конечно, контроллеры Adaptec SAS отличаются хорошими функциями и сбалансированы под корпоративное окружение, но модели LSI MegaRAID 9260-8i и 9210-8i (Intel RS2BL080) стали первыми, использующими интерфейс PCI Express 2.0, а не 1.1, что позволило удвоить пропускную способность слота x8 с 2 до 4 Гбайт. Кроме того, обе карты поддерживают интерфейсы жёстких дисков SAS/600 и SATA/600, но в данном случае это никакого влияния не оказало, поскольку SSD всё ещё подключаются через интерфейс SATA/300.

На момент тестов SAS HBA MegaRAID 9210-8i ещё не поступил в продажу, но это должно произойти довольно быстро.

Упомянутые контроллеры 9210-8i позволили получить максимальную пропускную способность чтения 3,5 Гбайт/с и среднюю 3,4 Гбайт/с на нашей тестовой системе, когда мы просто объединили 16 SSD в один большой массив RAID 0. Результаты производительности ввода/вывода зависят от производительности процессора, поэтому полнофункциональный контроллер LSI 9260-8i оказался лидером в некоторых тестах ввода/вывода (но не всех). Мы тестировали контроллеры 9260-8i с двумя аппаратными массивами RAID 0, объединёнными в программный массив RAID 0. Пропускная способности при этом была ограничена уровнем около 3,0 Гбайт/с.

В итоге нам удалось легко обойти предыдущий рекорд пропускной способности 2,3 Гбайт/с, но в немалой степени это связано с поддержкой проекта LSI, которая выслала нам два контроллера 9260-8i, а также и Intel, предоставившей новые карты 9210-8i. Конечно, разгон процессора может ещё сильнее улучшить производительность, но повышение пропускной способности интерфейса PCI Express, а также и портов подключения накопителей ясно говорит о том, что производителям SSD не мешает представить более скоростные решения. Инфраструктура готова, теперь остаётся дождаться сверхскоростных накопителей.