Как мы тестируем HDD и SSD – THG.RU

Как мы тестируем HDD и SSD | Введение

В этой статье мы расскажем о нашей новой методике, программах и процедурах для тестирования пользовательских твердотельных накопителей и механических жестких дисков. Не все издания используют одинаковые методики. Зная, на основе каких данных делаются выводы в обзорах, вы сможете более уверенно принимать решения о покупке. Вы можете взять один из изученных нами SSD или HDD и сравнить его с другим продуктом, побывавшем у нас ранее, ведь мы используем одинаковый алгоритм тестирования, который позволяет делать прямые сравнения разных моделей.

В обзорах отдельных продуктов публикуются результаты далеко не всех протестированных нами ранее устройств, но вы можете самостоятельно провести сравнение новых и старых моделей, открыв соответствующие обзоры.

В статьях мы учитываем различные параметры производительности, рассматриваем упаковку, аксессуары в комплекте и технические характеристики устройств. Для начала давайте разберемся, что на самом деле означаю спецификации, указываемые производителями.

Как мы тестируем HDD и SSD | Спецификации продуктов

Компании публикуют спецификации, основанные на производительности устройства в свежем состоянии или “из коробки”. Разные производители представляют информацию разного типа. Для формирования спецификаций даже нет стандартных процедур. За общее правило принято указывать четыре показателя скорости: последовательное чтение, последовательная запись, произвольное чтение и произвольная запись.

Простая утилита ATTO с графическим интерфейсом предлагает два метода определения скорости последовательных операций. Она тестирует накопители на глубине очереди четыре или десять команд, но не позволяет проверить скорость при обработке одной большой команды, отчего генерирует результаты, которые редко встречаются в реальном мире. SanDisk и ряд других компаний отказались от ATTO в пользу CrystalDiskMark для тестирования скорости последовательного чтения и записи.

Скорость выполнения произвольных операций можно измерить разными способами. Большинство компаний использует Iometer с блоками 4 Кбайт на глубине очереди 32 команды. Хотя получаемые результаты впечатляют, но с реальным поведением накопителей имеют мало общего. Чуть позже мы обсудим эту тему более подробно.

Просматривая характеристики продуктов на сайте производителя или на коробке, нужно помнить ряд моментов. Протестировав множество накопителей в реальных тестах, мы поняли, что не стоит ожидать от производителя указания реалистичных данных. В конце концов, типичного утвержденного сценария использования не существует. Даже на одной системе нагрузки в разные дни варьируются. И особенно нельзя сравнивать спецификации продуктов одного поставщика со спецификациями других производителей. Для получения данных они используют различные конфигурации и методики, и результаты буду сильно отличаться.

Как мы тестируем HDD и SSD | Методика

В наших тестах мы стараемся получить результаты, которые потом можно будет сравнивать с другими. Для этого требуется строгий регламент тестирования. В случае с твердотельными накопителями, любая задача, выполненная накопителем перед процессом тестирования, повлияет на получаемые в дальнейшем результаты. Естественно, все SSD-накопители поступают на тесты в чистом виде, то есть в состоянии “из коробки”.

В этом состоянии контроллер способен записывать данные на флэш-память напрямую, минуя процедуру чтения, изменения и записи. Но после заполнения накопителя данными, контроллеру необходимо прочитать блок данных, внести изменения и затем записать его обратно. Это происходит, даже если изменения касаются только одной ячейки. Процесс чтения, изменения и записи может удвоить или даже утроить задержку, в зависимости от типа информации, с которой работает накопитель.

Как мы тестируем HDD и SSD | Тестовое оборудование

Через наши лаборатории проходит много накопителей, примерно по восемь штук в месяц. Нередко приходится проверять устройства, которые еще находятся в разработке, часто с различными неофициальными версиями прошивки. Чтобы поддерживать такой темп и при этом предоставлять качественные комментарии, не нарушая очередность, необходимо использовать сразу несколько тестовых стендов.

Как мы тестируем HDD и SSD | Тестовая система для SATA

Вышеуказанная конфигурация является стандартной для тестов потребительских SSD и жестких дисков. Таких систем у нас четыре. Эти машины предназначены для тестирования накопителей с интерфейсом SATA. Время от времени с их помощью тестируются накопители для серверных систем. Чтобы сохранить системы в исходном состоянии, мы изолировали их от Интернета, отключив тем самым автоматические обновления, которые могут повлиять на получаемые результаты.

Как мы тестируем HDD и SSD | Тестовая система для PCIe

Накопители на базе интерфейса PCIe тестируются на двух одинаковых отдельных стендах. Материнская плата ASRock Z97 Extreme6 обеспечивает прямое подключение четырех линий PCIe 3.0 от процессора к интерфейсу M.2. Это идеальный вариант для установки накопителя M.2 в высокопроизводительный пользовательский ПК. Эти системы также изолированы от сети Интернет. Конфигурация операционной системы и программного обеспечения для тестирования соответствует тестовому стенду для накопителей на базе SATA.

Кроме того, у нас есть еще несколько систем для специализированных тестов, клонирования системы, создания образов системы, тестов времени автономной работы от батареи ноутбука и операций безопасного стирания. Всего в нашем распоряжении есть 29 современных систем, начиная от ноутбуков на базе Sandy Bridge для тестирования накопителей на выставках и заканчивая 10 идентичными системами с двумя процессорами Xeon для тестирования сетевых устройств хранения данных (NAS) с подключением до 120 клиентов, использующих Hyper-V.

Для измерения времени работы от батареи мы используем два разных ноутбука. Стандартные SATA-накопители формата 2,5 дюйма тестируются в Lenovo T440 – это один из немногих ноутбуков с поддержкой функции DEVSLP. Для проверки SSD формата m.2 с интерфейсом SATA или PCIe используется ноутбук Lenovo X1 Carbon Gen 3. Этот ноутбук поставляется с накопителем M.2 от Lenovo. Подобных моделей мало, но в ближайшие месяцы их число должно увеличиться.

Как мы тестируем HDD и SSD | Почему важна упаковка

Многие из нас покупают комплектующие для ПК в Интернете. Но иногда желание подержать продукт в руках перед покупкой перевешивает желание немного сэкономить. В любом случае, розничная упаковка является важным фактором, независимо от того, где вы покупаете гаджет.

Онлайн-заказы подразумевают доставку, и нет ничего хуже, когда долгожданная посылка оказывается поврежденной. В наших обзорах мы обязательно смотрим на упаковку розничных SSD-накопителей и жестких дисков. Твердотельные диски по большей части нечувствительны к вибрации, а техническое развитие производства жестких дисков позволило значительно повысить их стойкость к вибрации и ударам в выключенном состоянии. Тем не менее, мы приветствуем наличие вибропоглощающего материала в упаковке.

У SSD производительность варьируется в зависимости от емкости. Меньшие накопители, как правило, медленнее более емких моделей одного семейства. Некоторые производители публикуют спецификации для каждой модели, а некоторые только максимальные скоростные показатели серии, выбирая для этого лучший сценарий. На практике модели на 128 Гбайт и даже 256 Гбайт, как правило, работают немного медленнее версий емкостью 512 Гбайт и 1 Тбайт.

Делая покупку в розничном магазине, нам хочется посмотреть техническую информацию о продукте. Опять же, некоторые производители предоставляют полный список характеристик на коробке, в то время как другие указывают минимум данных. Когда в обзорах мы говорим, что есть, а чего нет, мы надеемся убедить производителей делать более информативное описание продукта для своих клиентов.

Как мы тестируем HDD и SSD | Тестирование по четырем направлениям

Четыре основных направления тестирования включают скорость последовательного чтения, последовательной записи, произвольного чтения и произвольной записи. Не все обозреватели или компании используют аналогичный подход.

Скорость последовательных операций обычно измеряется блоками по 128 Кбайт, хотя некоторые авторы любят использовать блоки по 64 Кбайт, а некоторые даже доходят до 8 Мбайт. В основном, мы используем 128 Кбайт, но сделали отдельную диаграмму, в которой показан диапазон размеров блоков от 512 бит до 8 Мбайт как для последовательного, так и для случайного доступа. Кроме того, глубина очереди на этом графика растет с 1 до 32 команд.

Последовательное чтение блоками по 128 Кбайт, Мбайт/с (больше – лучше)

Последовательная запись блоками по 128 Кбайт, Мбайт/с (больше – лучше)

Скорость произвольных операций почти повсеместно измеряется блоками по 4 Кбайт при очередности 32 команды. Хотя этот показатель не совсем точно отражает реальную производительность, он демонстрирует то, что нам хотят показать производители. Мы показываем скорость произвольных операций блоками 4 Кбайт при различной очередности от 1 до 32 команд. Поскольку производительность PCIe-накопителей хорошо масштабируется, в некоторых тестах мы повышаем очередность до 128 команд.

Произвольное чтение блоками по 4 Кбайт, IOPS (больше – лучше)

Произвольная запись блоками по 4 Кбайт, IOPS (больше – лучше)

В каждом обзоре мы проводим сравнение между скоростью последовательного чтения и записи на глубине очереди в две команды. Также для каждой глубины очереди мы разбиваем скорость произвольного чтения на гистограмме по группам. Графики произвольных операций по 4 Кбайт поделены на высокие и низкие глубины очередей.

Как мы тестируем HDD и SSD | Смешанные задачи

В типичном представлении в смешанных задачах на пользовательских системах операции чтения занимают 80%, на рабочих станциях – 70%.

Произвольное чтение (80%) блоками по 4 Кбайт, IOPS (больше – лучше)

Устройства на базе SATA полудуплексные. Они могут осуществлять либо чтение, либо запись, но не обе операции одновременно. Накопители, использующие набор команд SCSI (в том числе SAS), являются дуплексными, то есть они могут считывать и записывать одновременно. Дуплексные устройства справляются со смешанными задачами намного лучше.

Загрузочные накопители подвергаются смешанным нагрузкам, так как система постоянно читает и записывает небольшие объемы данных. При запуске приложения программа не только запускает серию операций чтения, но также регистрирует (записывает) данные на хост. И это происходит сотни раз в минуту.

Накопители, используемые лишь для хранения больших объемов данных, имеют иное соотношение операций чтения/записи. Они не выполняют мелких регистрирующих операций, но осуществляют запись и чтение при передаче файлов в и из системы. Большинство таких второстепенных накопителей используется для хранения данных, которые передаются последовательно. Фильмы, музыка, изображения и другие медиафайлы занимают основную часть второстепенного хранилища.

В следующем разделе мы рассмотрим различные соотношения операций чтения/записи и то, как последовательные данные реагируют на многозадачность во второстепенных средах.

Как мы тестируем HDD и SSD | Устойчивое состояние

Устойчивое состояние производительности часто ассоциируется с задачами производственного класса. По большей части, это действительно так. Пользовательские твердотельные накопители большую часть времени находится в простое. Команда TRIM, алгоритмы сбора мусора и выравнивания износа призваны очищать ячейки NAND, чтобы они оставались чистыми и готовыми для записи новых данных.

4К устойчивое состояние

4К устойчивое состояние, последние сто блоков данных

Два графика выше демонстрируют то, что мы привыкли называть устойчивой производительностью. В клиентской среде на SSD никогда не ведется запись блоками по 4 Кбайт в течение нескольких часов подряд. Первый график показывает второй проход операций записи. В отличие от первого, в котором все ячейки чистые и готовы принимать данные, тут уже нужна предварительная очистка. Нас больше интересует второй график. Он иллюстрирует скорость произвольных операций в худшем сценарии. В идеальном случае на нем вы должны увидеть высокий уровень выполнения операций IOPS и ровный график без особых отклонений.

Последовательные смешанные операции в устойчивом состоянии

Бывают ситуации, когда данные о производительности в устойчивом состоянии являются более актуальным показателем, например, в полупрофессиональных задачах. Тест, включающий смешанные операции с последовательным доступом в устойчивом состоянии, показывает нам, как накопитель ведет себя после тяжелой операции редактирования мультимедиа на вторичном накопителе. Так как в разных пользовательских задачах соотношение операций чтения/записи разное, мы показываем весь диапазон, начиная от 100% операций чтения и заканчивая 0% чтения (то есть тестовым прогоном со 100% операций записи).

Как мы тестируем HDD и SSD | Тесты в реальных приложениях

После синтетических тестов, измеряющих предельные значения производительности, мы переходим к анализу накопителей в реальных программах. Эмуляции действий пользователя для систем хранения мы берем из пакета Futuremark PCMark 8.

Примечание от лаборатории:

Мы используем бенчмарк PCMark 8 Storage для тестирования производительности твердотельных накопителей, жестких дисков и гибридных накопителей, где эмулируется работа с приложениями Adobe Creative Suite, Microsoft Office и нескольких популярных игр. С его помощью можно проверить системный диск или любое другое распознанное устройство хранения, включая внешние накопители. В отличие от синтетических тестов систем хранения, PCMark 8 Storage выявляет реальные различия в производительности между накопителями.

Стандартный тест накопителей в PCMark 8 основывается на работе ряда реальных приложений. Запускается требуемая программа, и во время ее работы записывается вся последовательность ее операций ввода/вывода. Затем PCMark 8 воспроизводит эту последовательность на компьютере, как будто эта задача выполняется в данный момент в режиме реального времени. Тест также воспроизводит остановки потока данных в тех местах, где они появляются в реальной программе. Это самый продвинутый тест, доступный для эмулирования работы такого широкого спектра реальных программ.

Как мы тестируем HDD и SSD | Тест хранилища Futuremark PCMark 8 Storage

Стандартный тестовый прогон предоставляет результат для каждого отдельного теста в виде суммарного времени обслуживания задачи накопителем. Чаще всего эти цифры демонстрируют только небольшие различия между премиальными и бюджетными продуктами. В реальности происходит примерно то же самое.

Общая пропускная способность, Мбайт/с (больше – лучше)

PCMark также показывает среднюю пропускную способность во всех тестах. Этот результат включает широкий спектр значений из всех программ и является усреднением после часа тестовой работы.

Как мы тестируем HDD и SSD | Расширенные тесты

Futuremark не остановилась на создании лучших из протестированных нами сценариев и представила тест Storage Consistency Test для пользовательских систем хранения, который проводит накопитель через несколько стадий его производительности. Мы уже несколько лет говорим, что SSD нужно тестировать в трех измерениях. 2D-картина дает общее представление о производительности накопителя, но ей не хватает более углубленных показателей устойчивого состояния и восстановления производительности.

Предварительная подготовка:

1. Последовательная запись произвольных данных до заявленной емкости. Размер блока данных 256*512=131 072 байт.
2. Повторение предыдущей операции (чтобы занять резервную область).

Деградация:

1. Запуск операций записи произвольного размера данных в диапазоне 8*512 – 2048*512 байт в случайном порядке в течение 10 минут.
2. Запуск теста производительности (только один проход). Результат сохраняется во второстепенных результатах с префиксом имени degrade_result_X, где X является номером очередного прогона теста.
3. Повторение первого и второго шага восемь раз. В каждом проходе продолжительность произвольной записи увеличивается на пять минут.

Устойчивое состояние:

1. Запуск операций записи произвольного размера данных в диапазоне 8*512 – 2048*512 байт в случайном порядке продолжительностью, достигнутой в фазе деградации.
2. Запуск теста производительности (только один проход). Результат сохраняется во второстепенных результатах с префиксом имени degrade_result_X, где X является номером очередного прогона теста.
3. Повтор первого и второго шага пять раз.

Восстановление:

1. Режим простоя в течение пяти минут.
2. Запуск теста производительности (только один проход). Результат сохраняется во второстепенных результатах с префиксом имени degrade_result_X, где X является номером очередного прогона теста.
3. Повтор первого и второго шага пять раз.

Очистка:

1. Последовательная запись нулевыми данными до заявленной емкости накопителя, размер данных 256*512=131 072 байт.

Общая пропускная способность, Мбайт/с (больше – лучше)

Тест стабильности производительности включает 18 отдельных прогонов с использованием задач из стандартных тестов. На графиках мы используем общую пропускную способность после каждого комбинированного теста и общую задержку.

Как мы тестируем HDD и SSD | Время работы батареи ноутбука

Для теста времени работы от батареи мы используем программу MobileMark 2012 v1.5 от Bapco. Недавно компания выпустила версию MobileMark 2014, и мы перейдем на нее после того, как решим несколько вопросов. MobileMark 2012 v1.5 предлагает три тестовых сценария: Office Productivity (работа в Office), Media Creation/Consumption (создание и просмотр мультимедиа) и Blu-Ray (воспроизведение Blu-Ray). Мы используем только бенчмарк Office Productivity.

Примечание от лаборатории:

MobileMark 2012 v1.5 – это бенчмарк, построенный на базе реальных приложений. Он эмулирует работу в таких сценариях, как работа в офисе, создание и потребление мультимедиа контента. В отличие от тестов, которые измеряют только время автономной работы, MobileMark 2012 одновременно измеряет время работы батареи и производительность, показывая, насколько хорошо система справляется с компромиссами между производительностью и энергопотреблением.

Для тестирования в MobileMark 2012 v1.5 мы используем два разных ноутбука. На Lenovo T440 мы тестируем SSD и HDD формата SATA 2,5″, а также SSD на базе mSATA.

Lenovo X1 Carbon третьего поколения поставляется с накопителем формата M.2 и используется для тестирования накопителей с интерфейсами SATA и PCIe. Время автономной работы и производительность этих систем несопоставимы. Увы, мы пока не нашли модель ноутбука, которая позволила бы протестировать сразу все форматы.

MobileMark 2012 v1.5 устанавливает и/или использует тринадцать приложений:

1. ABBYY FineReader Pro 11.
2. Adobe Acrobat Pro X.
3. Adobe Flash player 11.
4. Adobe Photoshop CS5 Extended 12.04.
5. Adobe Photoshop Elements 10.
6. Adobe Premiere Pro CS 5.5.
7. CyberLink PowerDVD Ultra 11.
8. Microsoft Excel 2010 SP1.
9. Microsoft Internet Explorer 9 (или новее).
10. Microsoft Outlook 2010 SP1.
11. Microsoft PowerPoint 2010 SP1.
12. Mozilla Firefox 14.0.1.
13. Winzip Pro 16.

Чтобы получать достоверные результаты, каждому ноутбуку требуется свежая батарея уже через десять тестовых прогонов. То есть в среднем аккумулятор меняется раз в два месяца. Мы используем оригинальную батарею Lenovo на шесть ячеек для T440 и внутреннюю батарею Lenovo для X1 Carbon.

В конце тестирования мы получаем два значения. Первое показывает, сколько проработал ноутбук в минутах. Второе дает оценку производительности. В состоянии пониженного энергопотребления ноутбук снижает пропускную способность и тактовые частоты некоторых компонентов. Для увеличения времени автономной работы снижается скорость работы SATA, CPU, GPU, DMI и DRAM. Полученный результат производительности показывает эффективность, когда электропитание является ограничивающим фактором.

Как мы тестируем HDD и SSD | Анализ температурных характеристик

Иногда мы будем публиковать изображения печатных плат, снятые с помощью тепловизионной камеры. Мы не будем делать это в каждом обзоре, а только когда на рынке будет появляться новый контроллер для SSD. Чтобы продемонстрировать диапазон нагрева, публикуется два изображения: одно в 10 минутном простое, другое после 10 минут записи блоками по 4 Кбайт.

При выполнении интенсивных задач накопитель может нагреваться до 114 °C, и для некоторых сред этого очень плохо.

Лучше всего NAND-память работает в определенном диапазоне температур. Она способна выполнять операции записи и при верхних значениях этого диапазона, но при этом будет страдать выносливость. Работа флэш-памяти в условиях повышенных температур может привести к проблемам с надежностью в долгосрочной перспективе. NAND потребляет энергию, поэтому генерирует небольшое количество тепла. Однако основной объем тепловой энергии твердотельного накопителя исходит от контроллера. Анализируя конструкцию, мы смотрим, насколько далеко от контроллера производитель размещает память.

Как мы тестируем HDD и SSD | Заключение

Рынок потребительских SSD в этом году ждет ряд интересных изменений. SSD должны получить более производительный интерфейс и упрощенный набор команд. В то же время, растет флэш-память (в буквальном смысле). Эти достижения должны разделить рынок. В то время как более дешевые продукты смогут составить конкуренцию механическим жестким дискам в плане стоимости, высокопроизводительные решения дадут дорогу новым аспектам применения.

Ключевыми понятиями для SSD 2015 года являются Non-Volatile Memory Express (NVMe) и 256-битная 3D NAND-память. NVMe – это набор команд, который отвязывает NAND-память от ограничений механизма Advanced Host Interface Controller (AHCI). AHCI был введен в качестве интерфейса на уровне регистров для SATA. Когда появился интерфейс SATA, тех объемов флэш-накопителей, которые мы имеем сегодня, даже не горизонте не было. Доминировали жесткие диски. Причем на тот момент они не собирались терять свои позиции на протяжении десятилетий. Их механическая природа сдерживала производительность, ограничивая применение очередей с большими глубинами. SATA ограничивал очередность команд 32 очередями, состоящими из одной команды (гораздо больше, чем было необходимо). NVMe увеличивает этот предел до 64 000 очередей, а каждая очередь может содержать до 64 000 команд.

NAND-память тоже совершенствуется. Улучшения в технологии производства уже позволили Samsung создать первые ячейки типа 3D V-NAND. IMFT собирается представить свою 3D флэш-память в середине 2015 года, и ходят слухи, что мы увидим плотность 256 Гбит. Таким образом, SSD на 1 Тбайт превратится в SSD на 2 Тбайт. Производственные затраты увеличиться не должны, так что ваш кошелек не пострадает, когда захочется добавить больше емкости.

Кроме того, можно ожидать более широкого распространения флэш-памяти с тремя битами на ячейку, также известную как TLC. На многих графиках в этой статье есть безымянный SSD под номером SMI SM2256. Это прототип платы от Silicon Motion с новым контроллером, которая в течение нескольких месяцев должна попасть на рынок. Она разработана с учетом поддержки дешевой флэш-памяти TLC, имеющей всего 500 циклов P/E. Срок службы дешевой флэш-памяти должен продлить расширенные алгоритмы LDPC. Таким образом, к концу 2015 года могут появиться SSD емкостью 256 Гбайт по цене около $50!

Новые высокопроизводительные решения, безусловно, потребуют некоторых корректировок в нашей методике тестирования, впрочем, как и более дешевые накопители. Как ожидается, более быстрые SSD достигнут потолка хост-интерфейса, то есть PCI Express. В настоящее время таким интерфейсом являются четыре линии PCIe 3.0 с пропускной способностью 32 Гбит/с. Однако не за горами появление стандарта PCIe 4.0. Алгоритмы LDPC будут адаптированы к новому типу флэш-памяти для снижения ее износа. Если происходит ошибка чтения, контроллер будет перечитывать ячейки флэш-памяти, что приведет к увеличению задержки.

Мы уже видим последствия использования дешевой флэш-памяти TLC. Она вызывает проблемы с потерей производительности в накопителе Samsung 840 EVO. 1x-нанометровая NAND-память этого накопителя уже имеет признаки повторных попыток чтения спустя всего несколько месяцев простоя. Это сложная позиция для бестселлера рынка потребительских SSD. В ближайшие месяцы мы постараемся провести свежие тесты состояния данного накопителя. Следите за этой статьей, поскольку она будет обновляться.