Массивы RAID сегодня и завтра Темпы развития процессоров и других электронных компонентов ПК устойчиво превышают скорость совершенствования таких электронно-механических устройств, как жесткие диски. Накопившееся "отставание" в производительности и надежности все чаще приходится компенсировать подключением нескольких накопителей к одному компьютеру и специальными программно-аппаратными технологиями распределения потоков информации по этим устройствам.
Особенно остро эта проблема касается систем, к которым предъявляются жесткие требования по надежности и производительности (например, выполняющих ответственные коммерческие приложения), а также систем мультимедиа коллективного пользования (например, видеосерверов), обеспечивающих обработку большого числа интенсивных потоков аудио, видео и других типов синхронной/асинхронной информации.
По данным аналитиков на 1997 г., мировые потери от вышедших из строя устройств хранения информации составляют порядка 100 млрд дол. в год.
В связи с этим не случайно, что технология подключения нескольких дисков через специальный контроллер получила в настоящее время широкое распространение. В качестве концепции технология сформировалась уже 11 лет назад, хотя многие принципы и решения были испытаны на практике еще раньше.
В декабре 1987 г. в статье "О массивах недорогих дисков с избыточной информацией" ("A case for redundant arrays of inexpensive disks (RAID)") Дэвида Паттерсона (David Patterson), Рэнди Катца (Randy Katz) и Гарта Гибсона (Garth Gibson) из Калифорнийского университета Беркли были изложены ставшие уже классическими основы технологии RAID-массивов дисковых накопителей.
Особое внимание к дисковым накопителям объясняется тем, что большинство отказов происходит именно "по вине" подвижных механических элементов. Например, по данным проведенного Intel в 1995 г. исследования, более 80% всех остановок серверов из-за отказов аппаратных средств связано с дисками, а также системами кондиционирования и электропитания.
За время своего существования термин RAID приобрел уже различные толкования: массив недорогих/независимых дисков с избыточным хранением информации (redundant arrау of inexpensive/independent drives), которые в общем дополняют друг друга и достаточно содержательно характеризуют объект.
Схема компьютерной системы с массивом RAID приведена на рис. 1.
Для ПО хоста дисковый массив RAID представляет собой один большой диск с более высокой производительностью, повышенной надежностью и, что самое ценное, с независимым управлением головками.
Большой объем логики управления накопителями в рамках технологии RAID сосредоточен в контроллере, поэтому стоимость последнего может составлять значительную долю общей стоимости подсистемы дисковой памяти (ПДП), особенно для моделей начального уровня. Ранее это являлось дополнительным фактором, сдерживающим распространение массивов RAID, однако появление мощных и дешевых программируемых процессоров ввода/вывода наряду с существенным удешевлением в последние годы жестких дисков (на единицу емкости) постепенно меняет ситуацию.
Контроллер RAID-массива может иметь преимущественно программную или аппаратную реализацию. Аппаратные реализации, как правило, обладают лучшей платформной независимостью, однако в целом оба решения имеют свои плюсы и минусы, и решение всякий раз надо принимать с учетом конкретных особенностей ситуации.
Помимо поддерживаемых вариантов RAID, к основным характеристикам контроллера и массива относятся типы шин данных между хостом и контроллером, а также между контроллером и накопителями массива. По этому признаку массивы часто обозначаются как, например, SCSI-SCSI (обе шины типа SCSI) или SCSI-EIDE (массив ATA-дисков, подсоединенный к хосту через шину SCSI).
На производительность ПДП, особенно при обработке запросов малого размера, большое влияние оказывает объем кэша самих накопителей. Так, при 512-Кбайт кэше жесткого диска общий объем кэшируемой информации в рамках всего массива из 10 - 20 дисков составит уже 5 - 10 Мбайт, что особенно важно при использовании в ПДП мультиплексируемых шин.
Существуют три основные причины для применения массивов RAID:
- недостаточная пропускная способность одиночного накопителя;
- недостаточная емкость одиночного накопителя;
- неприемлемый риск отказа/сбоя устройства с учетом ценности хранимой на нем информации и потерь от простоя всей системы.
На практике реализуются, как правило, сразу два, а то и все три критерия использования массивов RAID.
Разнообразие применений и требований к подсистеме дисковой памяти не позволяет выработать единое экономически эффективное решение на все случаи жизни. Уже в указанной выше статье было определено пять вариантов систем в рамках общей технологии RAID, получивших обозначения RAID 1...5. Ниже приводятся характеристика известных типов RAID-массивов и некоторые тенденции развития RAID-массивов начального уровня и специализированных массивов RAID, предназначенных для хранения и обработки видео- и аудиоинформации.
Прежде чем перейти к обзору вариантов RAID, следует напомнить основные методы обработки информации, применяемые в этих массивах.
Дублирование и зеркалирование данных (mirroring) - одни из самых простых и надежных методов резервирования, заключающийся в том, что для каждого диска устанавливается диск-дублер и все операции ввода/вывода выполняются параллельно для обоих накопителей. Отличительной чертой зеркалирования является общая шина данных для пары дисков, в то время как при дублировании каждый диск имеет свой выход. Недостаток метода - его относительная дороговизна.
Распределение (striping) порций данных между различными накопителями и дополнение их кодами контрольных сумм осуществляется таким образом, чтобы при выходе из строя одного или нескольких накопителей ПДП была в состоянии восстановить утраченную информацию на новом диске, запущенном в работу взамен вышедшего из строя.
На практике это реализуется следующим образом. Рабочее пространство дисков размечается на зоны определенного размера для размещения данных и кодов контрольных сумм. Информация каждого запроса записи к ПДП "расслаивается" на порции (кванты) фиксированного размера, которые вместе с посчитанными кодами контрольных сумм распределяются по зонам накопителей в особом порядке. При запросе считывания информация собирается из квантов в обратном порядке.
Распределение данных по различным дискам позволяет в целом решить и так называемую проблему "горячих пятен". Известно, что большинство запросов направляется к определенному и весьма ограниченному набору данных (действие правила 80%/20%). Концентрация таких "горячих пятен" на одном диске может вызвать его перегрузку при простое остальных дисков, что приводит к снижению пропускной способности всей системы. Организационные меры (например, распределение подобных наборов данных по разным дискам вручную) не решают полностью эту проблему, поскольку картина размещения "горячих пятен" может носить динамический и нерегулярный характер. Метод распределения данных относительно малыми порциями по разным дискам размазывает "горячие пятна" и позволяет лучше сбалансировать нагрузку отдельных накопителей.
Технология размещения данных, соотношение размеров запроса ввода/вывода и кванта, объем кодов контрольных сумм и схема распределения квантов данных по зонам дисков представляют собой те основные параметры, которые определяют специфику известных вариантов RAID и дают возможность разработчикам формировать новые типы массивов.
Сначала поговорим о решениях, которые стали уже классическими.
RAID 0. По существу, RAID 0 не обеспечивает резервирования данных, однако очень успешно, в рамках технологии RAID, решает две другие задачи - повышения пропускной способности и эффективности использования накопителей, что дает основание включить его в данную классификацию.
Схема распределения порций информации по дискам приведена на рис. 2 (размер запроса записи меньше размера кванта) и рис. 3 (размер запроса больше кванта). Число дисков в массиве может быть произвольным. Каждый из них способен одновременно и независимо от других дисков выполнять запросы чтения/записи.
Если размер запроса меньше размера кванта, его обслуживанием занят только один диск, в то время как остальные могут перейти к выполнению других запросов. В этом случае достигаются высокие показатели производительности и обслуживания запросов и пропускной способности (ПС), т. е. скорости передачи данных.
Когда размер типового запроса чтения/записи превышает размер кванта, данные запроса распределяются по нескольким дискам и производительность (выполнения запросов) резко снижается за счет обслуживания запроса сразу несколькими дисководами.
Применение массива RAID 0 позволяет в общем случае решить проблему "горячих пятен". Этот тип массивов отличается хорошей сбалансированностью нагрузок на отдельные диски системы. ПДП указанного типа обеспечивают высокую производительность и пропускную способность при минимальной стоимости решения.
К недостаткам RAID 0 следует отнести отсутствие резервирования информации и снижение надежности системы, которая обратнопропорциональна числу дисков в системе.
RAID 1. В RAID 1 используется четное число дисков (как минимум, 2), на которых организуется попарное дублирование/зеркалирование данных. Размер типичного запроса меньше размера кванта. Запись ведется одновременно на оба диска пары. Диски заполняются последовательно: сначала первая пара, затем вторая и т. д. (рис. 4). Запросы чтения могут выполняться обоими дисками пары независимо, что обеспечивает наивысшую производительность и ПС среди всех вариантов массивов RAID. (Преимущество над RAID 0 достигается за счет обслуживания различных запросов чтения одновременно обоими дисками пары, при том что операции чтения преобладают над записью.)
К недостаткам этого варианта следует отнести самую высокую стоимость среди RAID 0 - RAID 6 за счет двукратного превышения общего объема ПДП над ее полезным объемом. В связи с этим системы RAID 1 целесообразнее использовать для задач с относительно небольшим объемом данных.
В описанном выше виде система типа RAID 1 не решает проблемы "горячих пятен". Поэтому часто используется модифицированный вариант (известный также как RAID 0+1 или RAID 10) с чередованием (расслоением) данных по парам дисков: квант (запрос) А -> зона А первой пары дисков, квант В -> зона А второй пары и т. д. (рис. 5).
В этом случае, также как и в массивах RAID 0, при превышении размеров запросов над объемом кванта происходит существенное, хотя и в меньшем масштабе, снижение производительности системы.
Массив RAID 0+1 обеспечивает наивысшую производительность и ПС среди вариантов RAID 0 - RAID 6 и решает проблему "горячих пятен", однако за счет существенного повышения стоимости системы.
ПДП типа RAID 1 гарантированно сохраняет работоспособность при одиночных отказах накопителей. Сохранение работоспособности при одновременном отказе двух и более жестких дисков возможно только в том случае, если вышедшие из строя накопители принадлежат к разным парам.
RAID 2. В массивах типа RAID 2 может использоваться произвольное число дисков (как минимум, три). Размер зоны и кванта мал по сравнению с объемом запроса. Типичный размер кванта - 1 бит или 1 байт. Резервирование информации происходит за счет применения кодов Хэмминга и системы ЕСС. Число дисков для контрольных кодов определяет возможности восстановления данных в ПДП (устойчивость к отказам накопителей). Распределение запроса по дискам происходит в следующем порядке (рис. 6): квант А -> А1 (зона А диска 1), B -> A2, C -> A3, контрольные коды ECC -> А4...АN.
Таким образом, для обработки квантов А - С запроса головки дисков 1 - N последовательно устанавливаются в одни и те же позиции, т. е. происходит синхронизация их работы.
Данный вариант массива обеспечивает высокую ПС при относительно низкой производительности (за счет последовательного выполнения запросов головками всех дисков). Эти особенности системы делают нецелесообразным ее использование для коммерческих приложений с высокой интенсивностью запросов. Повышенная избыточность данных и, следовательно, стоимость по сравнению с RAID 3 снижают ее экономическую привлекательность. Кроме того, по мере увеличения надежности накопителей повышенная устойчивость к отказам накопителей варианта RAID 2 становится неактуальной, что в итоге и обусловливает практическое отсутствие реализаций данного варианта RAID.
Здесь следует отметить, что массивы RAID 0 - 6 имеют абсолютно разные уровни устойчивости к отказам накопителей, поэтому прямое сравнение их экономической эффективности без учета специфики решаемых задач является некорректным (табл. 1).
Практически одновременный отказ двух накопителей (т. е. отказ второго, пока не устранены последствия отказа первого) на самом деле не такое уж нереальное событие, так как диски и другие компоненты для массивов чаще всего подбираются однотипными (могут оказаться из одной партии) и работают в одинаковых условиях.
RAID 3. Вариант RAID 3 аналогичен RAID 2 по методу размещения информации, но здесь используется более простой алгоритм резервирования - контрольные коды CRC вместо кодов Хэмминга и ECC. Коды CRC записываются на специально выделенный диск (parity disk) (рис. 7). Система RAID 3 обеспечивает высокую ПС при средней производительности. Данный вариант ПДП целесообразно применять для задач с большим размером запросов чтения/записи при относительно низкой интенсивности их следования (системы CAD/CAM, серверы мультимедиа, аудио- и видеоинформации средней производительности и т. д.).
Системы типа RAID 3, которые дешевле (за счет меньшей избыточности данных) и проще RAID 2, получили достаточно широкое распространение на рынке.
RAID 4. Массив RAID 4 аналогичен RAID 3. Однако размер кванта превышает объем типичного запроса чтения/записи, поэтому работа дисков не синхронизирована и они могут одновременно выполнять разные запросы ввода/вывода. При записи диск CRC в данном случае становится узким местом, тем более что в этом варианте RAID запросы записи реализуются более сложно и включают в себя четыре пересылки данных - по две на диск размещения данных и диск CRC.
Вариант RAID 4, как не имеющий преимуществ перед RAID 5, практически не используется в коммерческих системах.
RAID 5. Вариант RAID 5 аналогичен RAID 4, но данные CRC циклически перемещаются по дискам, что позволяет решить проблему узкого места выделенного диска с CRC варианта RAID 4.
Схема распределения данных по дискам представлена на рис. 8 (размер запроса меньше кванта).
Поскольку объем зоны и кванта устанавливается большего размера, чем типичный запрос, практически все запросы чтения удовлетворяются одним диском, а запросы записи - двумя (данные и контрольная сумма CRC), в то время как остальные диски могут обслуживать другие запросы. Это частично компенсирует сложную процедуру записи, включающую четыре пересылки данных - по две на диск данных и диск с зоной кодов CRC.
По стоимости и надежности системы RAID 5 приблизительно соответствуют RAID 3, массив сохраняет работоспособность при отказе одного накопителя.
В системах типа RAID 5 в целом решается проблема "горячих пятен", а нагрузка на диски сбалансирована. Этот вариант массива целесообразно использовать в ситуациях с интенсивным потоком запросов малого и среднего размеров, в связи с чем он приобрел большую популярность в коммерческих приложениях.
RAID 6. Массивы типа RAID 6 обладают значительно более высоким уровнем устойчивости к отказам накопителей, чем RAID 1, 3, 4, 5. Они сохраняют работоспособность и данные при отказе двух дисков. Для резервирования данных используются коды Рида-Соломона. Информация и контрольные суммы P и Q циклически распределяются по дискам (рис. 9).
В остальном этот вариант аналогичен RAID 5. Размер кванта превышает объем типичного запроса, что позволяет одновременно выполнять запросы чтения различными дисками.
Запросы записи здесь реализуются еще сложнее, чем в системах RAID 5, и связаны с выполнением шести пересылок на диск размещения данных и диски с контрольными суммами P и Q.
Как и массивы RAID 5, системы этого типа целесообразно использовать для приложений с интенсивным потоком запросов небольшого и среднего размеров. Однако по мере повышения надежности накопителей этот вариант RAID может потерять актуальность для основной массы приложений, как более дорогой по сравнению с RAID 5.
Бросить заключительный взгляд с высоты птичьего полета на классические типы массивов RAID помогают диаграммы на рис. 10 и 11, где изображены целесообразные области применения классических типов массивов в осях "стоимость - производительность - готовность к работе" для запросов малого и большого размеров соответственно.
Как видно из диаграмм, оптимальный выбор типа массива зависит не только от особенностей решаемых задач, но и от финансовых возможностей покупателя, причем те и другие параметры могут со временем меняться. Именно это, а также возникновение новых приложений (в частности, мультимедиа) и повышение требований к производительности и экономической эффективности систем привели к появлению новых типов массивов RAID, в первую очередь, с гибридными/перенастраиваемыми методами резервирования информации. Причем названия некоторых типов этих систем, использующих термин RAID, были уже зарегистрированы в качестве торговых марок, что говорит о полученном признании в мире технологии RAID и ужесточении конкурентной борьбы среди производителей подобных систем.
RAID 15. В системах данного типа (например, Winchester Systems) используются дублированные массивы RAID 5. За счет этого обеспечивается работоспособность системы при отказе, как минимум, трех накопителей (в наилучшем варианте работоспособность массива сохраняется при отказе 50%+1 дисковод).
RAID-S. Разработанную компанией ЕМС систему типа RAID-S сложно сопоставить с каким-либо классическим уровнем RAID. Здесь получили развитие RAID 4, 5 и 6. В технологии RAID-S данные не распределяются по дискам, а записываются одним куском. Резервирование информации достигается за счет сохранения контрольных сумм на других накопителях. При этом расчет контрольных сумм происходит не в контроллере, а на уровне драйверов дисков, что разгружает контроллер RAID и способствует повышению производительности ПДП.
RAID 0+1+3+5. Развитие программируемых процессоров ввода/вывода и, в частности, появление мощного i960 позволили расширить объем операций в контроллере RAID, выполняемых программным путем, и создать системы перенастраиваемого типа, способные изменять технологию резервирования данных по требованию пользователя. "Джентльменский набор" возможных систем включает уровни RAID 0, 1, 0+1 (10), 3 и 5.
Следующим логическим шагом, осуществленным в последние годы, стали попытки создания адаптивных систем, способных динамически и без участия оператора настраивать конфигурацию системы и технологию размещения данных в ПДП.
В качестве примеров можно привести RAID-контроллер компании Digital Equipment, который может анализировать поток запросов и автоматически группировать диски в подсистемы RAID 3 и RAID 5 для обслуживания соответственно запросов большого размера и интенсивных потоков запросов малого размера, а также технологию AutoRaid Hewlett-Packard.
Уже на этом этапе проявилось различие в темпах развития больших/ средних систем RAID и массивов начального уровня.
Малые системы в силу ограниченных возможностей использующихся программно-аппаратных средств пока относительно медленно эволюционируют в сторону перенастраиваемых систем. (В качестве примера современной ПДП подобного типа можно привести семейство SCSI-EIDE массивов дисков RAIDRUNNER компании Bering Technology, поддерживающее уровни RAID 3 и 5.)
Средние и большие системы быстро вышли на уровень модульных систем с объединением дисков в группы, представлением группы в качестве одного логического диска (LUN) и назначением собственного уровня RAID каждому LUN или группе LUN.
Примером может служить семейство RAID систем среднего класса EV-200 компании MegaDrive Systems, выпущенное в декабре 1997 г. Контроллер массива обеспечивает одновременную аппаратную реализацию RAID 0, 1, 10, 3 и 5 на различных группах дисков и поддержку концепции логических дисков.
Для передачи данных используются шины Ultra SCSI с ПС 40 Мбайт/с, а в дисковой матрице - модули с 3,5-дюймовыми дисками емкостью 9 Гбайт (или 5,25-дюймовыми 23-Гбайт дисками) со скоростью вращения 10 000 об/мин. Кэш массива можно наращивать до 128 Мбайт. Система обеспечивает масштабирование емкости от 16 до 184 Гбайт.
С целью снижения времени восстановления системы после отказа накопителя в ПДП установлены дисководы "теплого" резервирования, способные заменить любой диск массива.
В программное обеспечение ПДП включаются утилиты удаленного контроля и изменения конфигурации массива с графическим интерфейсом пользователя. Кроме того, ПО предусматривает передачу сообщений администратору системы (например, о произошедших отказах) с помощью электронной почты, по пейджеру или локальной сети.
Система отличается многоплатформностью и поддерживает такие ОС, как SGI IRIX, Apple Macintosh OS, Windows NT, Sun Microsystems и IBM RS/6000 A/IX.
Компания Storage Computer, известный производитель RAID-систем, пошла еще дальше: ее массивы типа RAID 7 вообще не имеют детерминированной схемы распределения данных по дискам. Каждый диск массива через интерфейс SCSI и контроллер обеспечен буферизованным выходом на высокоскоростную информационную магистраль ПДП. К этой же магистрали по буферизованным шинам типа Fast Wide SCSI подсоединяются серверы (клиенты) ПДП, число которых может варьироваться от 2 до 12. Поступающие от них запросы ввода/вывода обрабатываются ОС реального времени (Array management OS), которая управляет работой информационной магистрали и распределяет запросы по дискам массива. По существу, ОС выполняет роль интеллектуального программного коммутатора входов (дисков) и выходов (каналов связи с серверами).
Такой своеобразный сверхмощный "контроллер" ПДП позволил Storage Computer реализовать в системе не только одновременную поддержку разных уровней RAID на различных группах дисков, динамическое распределение и буферизацию запросов по каждому диску, но и технологию отложенных запросов (асинхронного выполнения операций), когда ОС ПДП изменяет порядок выполнения запросов таким образом, чтобы минимизировать затраты времени на доступ к данным. Запросы для каждого диска группируются по принципу их попадания в одну/соседние зоны диска.
Кроме того, наличие ОС позволило также Storage Computer повысить эффективность обновления данных при поддержке различных уровней RAID с помощью новой технологии dynamic mapping. Обновленные данные и контрольные коды записываются не на старое место, как полагается по классической "рецептуре" RAID, а на наиболее удобное в конкретный момент времени место в пределах одной группы дисков. Это снижает сложность выполнения запросов записи по сравнению, например, с классическим RAID 5. При этом "сборка мусора" в системе происходит в фоновом режиме и не сдерживает производительность выполнения запросов ввода/вывода.
В целом система подобного типа позволяет эффективно обслуживать как интенсивные потоки малых запросов (2- 16 Кбайт), так и большие запросы размером более 32 Кбайт.
Следует отметить, что использование кэшей, а тем более отложенного выполнения запросов ввода/вывода в любых системах приводит к повышению их сложности и требует особого внимания к надежности кэша и его электропитания, что, очевидно, не способствует удешевлению системы.
Поскольку тип массива RAID определяет только технологию резервирования накопителей с информацией и допускает значительный произвол в части конкретных технических решений, существенно влияющих на общий уровень надежности системы, а сами варианты RAID "размножаются" с завидным постоянством, ассоциация экспертов в области RAID-систем разработала дополнительную, основанную на списке требований к подобным системам классификацию ПДП повышенной надежности. Она главным образом определяет уровень надежности конкретной ПДП или ее отдельного компонента (см. врезку "Как классифицировать кащеев бессмертных").
Второй фронт борьбы за надежность хранения информации на диске открыли в последнее время технологии, формально не входящие в область компетенции RAID, но идеологически с ней тесно связанные. Речь идет о технологии SMART (Self-monitoring analysis and reporting technology) и других подобных разработках. Суть их состоит в том, что контроллер диска на основании анализа изменений характеристик накопителя в ходе его эксплуатации предсказывает появление различных проблем, связанных с устройством, и выдает через ПО хоста соответствующее предупреждение администратору системы.
Подобные технологии могут перевернуть представление о сфере экономической целесообразности применения RAID и необходимом уровне устойчивости высоконадежных ПДП к отказам накопителей. Теперь, с учетом возможности профилактической замены подозрительных накопителей, необходимость в сохранении работоспособности при отказах двух и более дисководов массива RAID или в каждой подсистеме территориально разнесенного массива становится не столь актуальной, что может привести, например, к сокращению использования RAID уровней 1, 2 и 6 и дальнейшему росту популярности RAID 0, 3 и 5.
Однако пока недостаточный практический опыт использования подобных технологий не позволяет делать окончательных заключений относительно их влияния на развитие массивов RAID.
Тенденции
По прогнозам компании Disk/Trend (Маунтин-Вью, шт. Калифорния), мировой рынок систем RAID до 2000 г. будет устойчиво расти (табл. 2).
Как видно из табл. 2, количество проданных систем с 1997 по 2000 г. вырастет в полтора раза.
Однако данный прогноз не обещает сладкой жизни производителям, подавляющее большинство которых являются американскими фирмами или имеют штаб-квартиру в США. Есть множество свидетельств обострения конкурентной борьбы на этом рынке в условиях быстрых изменений экономических и технологических факторов. Например, за два последних года число изготовителей систем RAID под собственной торговой маркой уменьшилось со 179 до 149 (данные 1997 г.).
Общие тенденции развития компьютерных систем и инфраструктуры скорее всего приведут к неравномерному увеличению различных сегментов рынка массивов RAID. Большинство сегментов рынка будет характеризоваться переходом на открытые многоплатформные системы с высокой степенью масштабируемости, которая теперь определяется как важное конкурентное преимущество.
Продолжится заметное улучшение характеристик массивов всех классов за счет использования новых дисков повышенной емкости и производительности. Если в системах начального уровня, находящихся под жестким ценовым прессом, будут применяться в основном самые массовые и относительно дешевые модели накопителей, например семейство Medalist PRO корпорации Seagate Technology (емкость 4,5 - 9 Гбайт, скорость вращения шпинделя 7,2 тыс. об/мин, кэш 512 Кбайт, среднее время доступа около 10 мс), то в высокопроизводительных ПДП получат широкое распространение быстрые диски типа Seagate Cheetah (емкость до 18 Гбайт, 10 тыс. об/мин, кэш 1 - 4 Мбайт, среднее время доступа около 5 мс) со средним временем наработки на отказ свыше 1 млн ч. В массивах RAID большой емкости для хранилищ данных найдут применение диски максимальной единичной емкости типа Seagate Elite (емкость 23 - 47 Гбайт, 5,5 - 7,2 тыс. об/мин, кэш 1 - 4 Мбайт). Ожидается, что совершенствование аппаратных средств и архитектурных решений больших и средних RAID-систем будет происходить особенно быстрыми темпами.
Примером большой высокопроизводительной системы может служить анонсированный в декабре 1997 г. массив RAID Aria Fibre Channel компании MegaDrive на базе 9-Гбайт дисков Seagate Cheetah и шины Fibre Channel.
ПДП включает в себя набор полнодуплексных связей с пропускной способностью 200 Мбайт/с. Шлейфовое соединение восьми дисковых модулей емкостью 72 Гбайт позволяет создавать многотерабайтные массивы дисковой памяти. Применение оптических каналов связи обеспечивает разнесение отдельных подсистем массива на расстояние до 10 км.
Массив предназначен для круглосуточной работы в составе компьютерных платформ Apple, Intel, SGI, Sun Microsystems, IBM и Digital Equipment.
Повышение мощности и удешевление процессоров ввода/вывода, снижение стоимости жестких дисков и очевидные успехи в развитии альтернативных типов накопителей (МО- и DVD- диски, ленточные накопители и т. д.) приводят к расширению ассортимента массивов внешней памяти, обеспечивающих оптимальную настройку на конкретные запросы заказчика и высокую экономическую эффективность технологий RAID на широком круге приложений.
Так, компания Storage Dimensions недавно выпустила высоконадежную систему резервного копирования P1000 Library Array для сетевых приложений.
Она создана на базе автоматизированной библиотеки ленточных накопителей типа DLT, использует технологии RAID и предназначена для работы под Windows NT. Пропускная способность массива составляет 144 Гбайт/ч, а емкость - до 2,1 Тбайт.
Снижение стоимости микросхем полупроводниковой памяти позволит существенно увеличить объем и эффективность кэширования данных в ПДП всех уровней, а для наиболее критичных приложений - вовсе отказаться от отдельных дисковых накопителей и массивов на их основе в пользу высоконадежных массивов твердотельной памяти. Примером могут служить устройства Solid State Disc (SSD) DEC, производительность которых на порядок выше, чем у жестких дисков.
Уменьшение времени доступа к данным за счет кэширования дополняется увеличением ПС при переходе на новые шины: Ultra SCSI, Fiber Channel и в дальнейшем FireWire.
Продолжится замена классических (детерминированных) типов массивов RAID системами настраиваемого и адаптивного типа в модульном исполнении. Наибольшее распространение получит комплект из RAID 0+1, 1 и 5 как максимально соответствующий технологиям обработки данных в современных операционных системах и сетевых продуктах, где повсеместно используется разделение больших объемов данных на небольшие модули. Для обработки запросов большого размера преимущество получит RAID 3.
Модульный принцип построения больших и средних ПДП позволит устанавливать различные варианты технологий резервирования данных для разных модулей (подсистем) массива.
Усложнение устройства RAID-массивов и технологий создания систем повышенной надежности в целом может стать одной из основных причин снижения продаж RAID-контроллеров в пользу законченных систем. Поскольку для создания систем RAID начального уровня соответствующие наборы микросхем начинают встраиваться в материнские платы ПК, к 2000 г. Disk/Trend прогнозирует снижение доли контроллеров в натуральном выражении с 40 до примерно 25%. Законченные системы будут преобладать на рынке, составив около 60% общего объема поставок ПДП.
Одной из тенденций дальнейшего совершенствования архитектурных решений больших и средних массивов RAID, по-видимому, станет развитие поддержки технологии кластеризации, позволяющей создавать из базовых моделей среднего размера законченные системы по требованиям заказчика, в частности системы масштаба предприятия. Во многом этот процесс будет связан с расширением масштабируемости Windows NT до уровня предприятия и увеличением ее популярности в качестве платформы для серверов рабочих групп, отделов и предприятий (Windows NT Server, Enterprise Edition).
Для специализированных систем высокой производительности, в частности видеосерверов различного назначения, сохранится преобладание закрытых систем и специализированных шин (например, на базе SDI), но фирмы-разработчики будут предлагать максимально широкий диапазон законченных решений на базе этих серверов с массивами RAID.
Продолжающееся удешевление аппаратных средств при одновременном повышении их удельных характеристик должно существенно расширить нижнюю границу экономической целесообразности применения массивов RAID и, следовательно, сегмент дешевых ПДП начального уровня, доступных малому бизнесу и другим организациям с ограниченным бюджетом.
Можно ожидать, что эти системы будут рассчитаны в основном на самые массовые платформы для офисных приложений - Windows 95 и Windows NT. Увеличение масштабов производства в свою очередь вызовет дополнительное снижение цен и упрощение процессов установки и эксплуатации массивов RAID начального уровня. Здесь наиболее вероятно появление новых производителей и установление самого высокого уровня конкуренции.
Одновременно с этим по мере расширения компьютеризации общества и применения ответственных офисных приложений должен более отчетливо проявиться встречный интерес малого и среднего бизнеса, а также других организаций к покупке своей "первой RAID-системы", что обеспечит данному сегменту рынка наибольшую динамику. Многие производители RAID-систем расширяют свои семейства ПДП за счет недорогих моделей начального уровня для офисных и специальных приложений (см. врезку "Специализированные системы VideoRaid").
Еще одной крайне важной сферой применения RAID-систем должна стать сетевая инфраструктура, включая Internet, которая в последнее время испытывает взрывоподобный рост. Здесь найдут спрос главным образом системы среднего уровня, рост продаж которых составит, по прогнозу, к 2000 г. около 60%.
Как классифицировать кащеев бессмертных
Кащея Бессмертного, уделявшего повышенное внимание надежности хранения важных компонентов своей системы жизнеобеспечения, подвело незнание теории и полное пренебрежение дублированием элементов. Специалисты ассоциации RAB с помощью системного научного подхода разработали классификацию ПДП различного уровня надежности с учетом всех основных причин отказов.
Критерии отказоустойчивой ПДП (FRDS - Failure Resistant Disk System)
- предотвращение потери данных и доступа к данным при отказе диска;
- восстановление данных с отказавшего диска на вновь установленном накопителе;
- предотвращение потери данных вследствие появления "дыр записи" (write hole);
- предотвращение потери данных вследствие отказа/сбоя компьютера и его шины ввода/вывода;
- предотвращение потери данных вследствие отказов компонентов системы;
- наличие текущего контроля FRU и системы индикации отказов.
Критерии ПДП с повышенной отказоустойчивостью (FRDS+)
- выполнение требований FRDS плюс:
- возможность горячей замены дисков;
- предотвращение потери данных при отказе элементов кэша ПДП;
- предотвращение потери данных при нарушении внешнего электропитания;
- предотвращение потери данных при срабатывании защиты по температурному режиму;
- наличие системы предупреждений об отказах элементов ПДП и нештатных условиях функционирования.
Критерии отказозащищенной ПДП (Failure Tolerant Disk System, FTDS)
- выполнение требований FRDS+ плюс:
- предотвращение потери доступа к данным вследствие отказа канала ввода/вывода устройства;
- предотвращение потери доступа к данным при отказе контроллера;
- предотвращение потери доступа к данным вследствие отказа элементов кэша;
- предотвращение потери доступа к данным при отказе источника электропитания.
Критерии ПДП с повышенной отказозащищенностью (FTDS+)
- выполнение требований FTDS плюс:
- предотвращение потери доступа к данным вследствие отказа/сбоя компьютера и его шины ввода/вывода;
- предотвращение потери доступа к данным при отказе внешнего электропитания;
- предотвращение потери доступа к данным при замене FRU;
- наличие диска, находящегося в режиме горячего резерва.
Критерии ПДП с высокой отказозащищенностью (FTDS++)
- выполнение требований FTDS+ плюс:
- предотвращение потери данных и доступа к данным при одновременном отказе нескольких дисков.
Критерии ПДП в аварийно-защищенном исполнении (Disaster Tolerant Disk System, DTDS)
- выполнение требований FTDS+ плюс:
- предотвращение потери доступа к данным при зональной (территориально-локализованной) аварии (zone failure), что означает устойчивость даже к бомбежкам ограниченного масштаба.
Критерии ПДП в повышенном аварийно-защищенном исполнении (DTDS+)
- выполнение требований DTDS плюс:
- предотвращение потери удаленного (long distance) доступа к данным при зональной аварии.
Аналогичные критерии сертификации существуют для контроллеров RAID и других компонентов систем хранения информации.
В чем же измеряется надежность кащеев бессмертных компьютерного царства? Ясно, что среднее время между отказами в системе (Mean Time Between Failures, MTBF) не может характеризовать надежность хранения данных. Поэтому для подобных систем используют такие параметры, как MTBDL (Mean Time Between Data Losses) - среднее время между потерями данных в системе, MTDA (Mean Time of Data Availability) - средняя продолжительность готовности (работоспособности) системы и MTTR (Mean Time To Repair) - среднее время восстановления работоспособности системы.
Кто есть кто в области RAID?
RAB - ассоциация экспертов в области RAID-систем. Образована в 1992 г. с целью распространения информации о RAID, стандартизации в области систем повышенной надежности и сертификации оборудования. В настоящее время насчитывает более 50 корпоративных членов. Центры тестирования ассоциации проводят сертификацию продукции в соответствии с разработанной классификацией отказоустойчивых систем.
Adaptec - основана в 1981 г. Около 2500 сотрудников фирмы заняты разработкой, производством, дистрибуцией и обслуживанием широкого ассортимента высокопроизводительных подсистем ввода/вывода и сетевых решений, используемых основными производителями компьютеров и периферии.
Amdahl Corporation Design - занимается производством и продажей ПДП для открытых систем и IBM-совместимых компьютеров.
American Megatrends - больше известна нам своими BIOS, периферийными платами SCSI, материнскими платами и многими другими видами продукции. Кроме того, занимается разработкой, производством и продажей высокопроизводительных RAID-контроллеров, утилит управления массивами (RAID Management Utilities) и ПО оповещения о проиcшедших событиях (Event Notification Software) с графическим интерфейсом (GUI).
Antrone Research - производит и продает относительно дешевые системы среднего и начального уровня, в том числе на базе дисков Ultra ATA.
Artecon - один из ведущих производителей и системных интеграторов на рынке открытых систем и решений. Производственная программа в настоящее время включает RAID-массивы LynxArray и LynxStak модульной конструкции с повышенной надежностью.
Bering Technology - образована в 1981 г. как отделение Hewlett-Packard по высококачественным ПДП. В 1993 г. выделена в отдельную компанию, но продолжает поддерживать тесные отношения со своим родителем. В настоящее время производит ПДП на основе винчестеров и МО-дисков.
CLARiiON - производитель RAID-массивов и комплектующих для своих многочисленных ОЕМ- и VAR- партнеров, а также системных интеграторов во многих странах мира. Парк установленных ПДП превышает в данный момент 50 тыс. экземпляров. Фирма предлагает широкий ассортимент масштабируемых систем на базе архитектуры MSA (Multidimensional Storage Architecture) с шинами SCSI и Fibre Channel под UNIX и Windows NT.
CMD Technology - разрабатывает и производит широкий ассортимент контроллеров SCSI, контроллеров RAID уровней 0, 1, 3 и 5 для компьютерных платформ UNIX/Open Systems, PC и DEC.
Digi-data - разрабатывает и производит SCSI-контроллеры RAID, в том числе мощные модели на базе процессора i960.
Digital Equipment - среди широчайшего перечня продукции корпорации значатся разработка и производство дисковых и ленточных подсистем ввода/вывода, включая массивы RAID.
DPT (Distributed Processing Technology) - разрабатывает и производит широкий ассортимент контроллеров, в том числе на базе процессоров корпорации Motorola.
ECCS - занимается разработкой, производством и техническим обслуживанием высоконадежных RAID-систем для выполнения транзакций в режиме реального времени, а также ленточных подсистем резервного копирования.
EMC, Enterprise Storage Company - один из мировых лидеров в области корпоративных систем хранения информации. Поставляет свои изделия с терабайтным уровнем емкости для мэйнфреймов, открытых систем и систем средней производительности (midrange environments), обеспечивая возможности подключения разнородных серверов к одной ПДП.
Hewlett-Packard - один из признанных лидеров в области разработки, производства и продажи высоконадежного оборудования. Выпускает различные типы массивов RAID.
Hitachi Computer Products (America) - занимается распространением высокопроизводительных и высоконадежных винчестеров, дисковых массивов, кэширующих подсистем, оптических дисководов и библиотек оптических дисков под торговой маркой Hitachi.
IBM - разрабатывает и производит программные и аппаратные средства RAID для шин OEMI, ESCON, SCSI и HIPPI (IPI-3).
Medea - основана в 1996 г. Выпускает ПДП, оптимизированные для настольных систем видеомонтажа. Ассортимент продукции включает массивы дисков Ultra ATA VideoRaid.
MTI Technology - выпускает различные массивы RAID, в том числе семейство больших ПДП типа Gladiator.
Mylex - разрабатывает и производит высокопроизводительные контроллеры ПДП.
NEC - основана в 1899 г. Производит в настоящее время более 15 тыс. видов продукции, среди которых и массивы дисковой памяти.
nStor - поставляет системы хранения информации для сетевых сред на базе ПК и UNIX, включая массивы RAID и ленточные системы резервного копирования.
Proware Technology - обеспечивает поставки высокопроизводительных ПДП типа SCSI-SCSI и SCSI-EIDE, а также систем с высокой готовностью для UNIX и Windows NT. В производственной программе - универсальные массивы RAID семейства Power Series, способные работать практически с любым сервером и операционной системой, а также кластерные решения для Windows NT.
RAID - специализируется на системах хранения информации для корпоративного сектора, образовательных и государственных учреждений.
Raidtec - разрабатывает и производит большие и средние ПДП перенастраиваемого типа с интерфейсом Fiber Channel.
Seek Systems - разрабатывает и производит высокопроизводительные и масштабируемые системы хранения информации с повышенной надежностью, системы типа Adaptive RAID. Среди других видов продукции - устройства кэширования дисковых массивов Xcelerator.
Storage Computer Corporation - разрабатывает, производит и продает различные виды ПДП, диски на полупроводниковой памяти и кэшированные подсистемы с шиной SCSI. Фирма имеет большой опыт в разработке массивов RAID 7.
Tandem Computers (входит в состав Compaq) - один из ветеранов рынка систем повышенной надежности. Производит и продает широкий спектр подсистем и законченных решений, в том числе массивов RAID.
Unisys - занимается разработкой и производством компьютерных систем и RAID.
Словарь понятий и терминов по подсистемам дисковой памяти повышенной надежности
Availability - готовность системы. Определяет возможность доступа к данным с учетом происходящих отказов и сбоев отдельных элементов системы.
Duplex controllers - система из нескольких контроллеров, способная работать в режиме горячего резервирования.
Failure - отказ. Физически регистрируемое изменение состояния аппаратных средств, устранение которого осуществляется заменой отказавшего оборудования.
Fault tolerant - отказоустойчивость. Свойство системы сохранять работоспособность при отказе ее отдельных элементов. Применительно к массивам RAID означает сохранение работоспособности не только при отказах накопителей, но и блоков питания, контроллеров, вентиляторов и т. д.
Hot spare - режим горячего резервирования. Резервный накопитель подключен к системе питания и информационным шинам, но не используется до выхода из строя резервируемого рабочего диска. При отказе рабочего накопителя контроллер немедленно переключается на резервный. Данное решение используется в основном для сокращения среднего времени восстановления системы после отказа.
Hot swap - режим горячей замены, характеризующийся заменой отказавшего элемента без перерывов в работе системы.
JBOD (just a bunch of disks) - простой массив дисков, не поддерживающий специальных технологий резервирования данных и повышения производительности системы подобно RAID.
MTBDL (mean time between data loss) - среднее время между отказами системы, связанными с потерей данных. MTBDL не эквивалентно MTDA, поскольку возможны ситуации потери доступа к данным без утраты самих данных.
MTBF (mean time before failure) - среднее время между отказами для конкретного устройства.
MTDA (mean time of data availability) - среднее время готовности системы. Определяет среднее время доступности данных в ПДП.
MTTF (mean time to failure) - среднее время между отказами накопителей. Для высоконадежных систем MTTR должно быть пренебрежимо мало по сравнению с MTTF.
MTTR (mean time to replace) - среднее время восстановления системы после отказа. При отказе накопителя, например, включает в себя время восстановления данных и время замены отказавшего накопителя.
Reconstruction - перестройка системы после отказа накопителя. Основной задачей перестройки является восстановление данных отказавшего диска по информации на работоспособных накопителях.
Recovery - процесс динамического восстановления данных отказавшего накопителя.
SLED (single large expensive disk) - техническое решение, альтернативное RAID: большой дорогой диск, поддерживающий одновременное выполнение операций чтения/записи несколькими головками (PTD - parallel transfer drives). Недостатками подобного решения являются ограниченные возможности в области повышения надежности и производительности при выполнении запросов ввода/вывода.
Zone failure - территориально ограниченная авария, связанная с выходом из строя оборудования, находящегося на данной территории. Обычно характеризуется радиусом повреждений, например 10 км. Устойчивость к данным видам отказов предусматривается для самых надежных типов ПДП.
Специализированные системы VideoRaid
Сравнительно молодая компания Medea в апреле 1998 г. выпустила линейку дешевых внутренних моделей, которая расширяет ее семейство высокопроизводительных систем VideoRaid для нелинейного монтажа цифровых видеоматериалов.
Новые массивы обеспечивают хранение аудио- и видеоинформации длительностью 30, 60 или 120 мин в цифровой форме. Установившаяся пропускная способность массивов дисков Ultra ATA составляет 8 Мбайт/с, что позволяет воспроизводить видеоматериалы без пропуска кадров. Системы отличаются простотой установки (на материнскую плату ПК) и отсутствием специальных контроллеров. Новые устройства рассчитаны на работу под Windows 95 и NT со всеми популярными контроллерами видеомонтажа, включая Canopus DVRexM-1, DPS Spark plus, Fast DV Master plus и miroVideo DV300. Емкость накопителей массивов составляет соответственно 6,4, 12,8 и 23 Гбайт, а стоимость- 999, 1399 и 2599 дол.
Одновременно с этими моделями Medea объявила о выпуске внутренней ПДП VideoRaid 23si на дисках Ultra ATA емкостью 23 Гбайт для настольных систем нелинейного монтажа с установившейся пропускной способностью 10 Мбайт/с. Система обеспечивает обработку видеоматериалов с коэффициентом сжатия 2,5:1 без пропуска кадров и хранение записи стандарта S-VHS/Hi8 длительностью до 90 мин. Она предназначена для работы под Windows 95 и NT с наиболее популярными монтажными контроллерами таких производителей, как Canopus, DPS, Fast, Pinnacle Systems и Truevision. Стоимость этой модели составляет 2449 дол.
Однако, наверное, наибольший интерес вызовет другое новое семейство внешних двух- и четырехдисковых модулей ПДП типа RAID 0 - VideoRaid pci, также предназначенное для нелинейного видеомонтажа. Здесь используется ZMT (Zone Mapping Technology) - новая технология увеличения пропускной способности, основанная на усовершенствованном методе расслоения информации по дискам.
Доступ к внешним дорожкам жесткого диска происходит существенно быстрее, чем к внутренним, разница во времени может достигать 40%. По новой технологии при расслоении характерных для видеосерверов запросов большого размера кванты распределяются между внешними и внутренними дорожками таким специальным образом, чтобы сократить время доступа к данным. Это позволило существенно улучшить характеристики массивов при сохранении их стоимости на 20 - 60% ниже стоимости RAID-массивов SCSI (табл. 3).
Система VideoRaid pci обладает превосходной масштабируемостью. Простое увеличение числа модулей расширения позволяет довести емкость ПДП до 2 Тбайт.
Объем двух дисковых базовых модулей на основе дисков с MRH- и GMR-головками составляет 9, 17 и 34 Гбайт при стоимости 1299, 2049 и 3599 дол. соответственно, а четырехдисковых - 17, 34 и 67 Гбайт при стоимости 2199, 3699 и 6699 дол. Цена модулей расширения на 100 дол. меньше.
О. Катин
СomputerWeekly, N21, 1998, c.1,35,36,37,38,39,40