На протяжении более 20 лет параллельный шинный интерфейс был самым распространенным протоколом обмена данных для большинства систем хранения цифровых данных. Но с ростом потребности в пропускной способности и гибкости систем стали очевидными недостатки двух самых распространенных технологий параллельного интерфейса: SCSI и ATA. Отсутствие совместимости между параллельными интерфейсами SCSI и ATA - разные разъемы, кабели и используемые наборы команд - повышает стоимость содержания систем, научных исследований и разработок, обучения и квалификации новых продуктов.

На сегодняшний день параллельные технологии пока еще устраивают пользователей современных корпоративных систем с точки зрения производительности, но растущие потребности в более высоких скоростях, более высокой сохранности данных при передаче, уменьшении физических размеров, а также в более широкой стандартизации ставят под сомнение способность параллельного интерфейса без излишних затрат поспевать за быстро растущей производительностью ЦПУ и скоростью накопителей на жестких дисках. Кроме того, в условиях жесткой экономии, предприятиям становится все труднее изыскивать средства на разработку и содержание разнотипных разъемов задних панелей серверных корпусов и внешних дисковых массивов, проверку на совместимость разнородных интерфейсов и инвентаризацию разнородных соединений для выполнения операций «ввод/вывод».

Использование параллельных интерфейсов также связано с рядом других проблем. Параллельная передача данных по широкому шлейфовому кабелю подвержена перекрестным наводкам, которые могут создавать дополнительные помехи и приводить к ошибкам сигнала - чтобы не угодить в эту ловушку, приходится снижать скорость сигнала или ограничивать длину кабеля, или делать и то, и другое. Терминация параллельных сигналов также связана с определенными трудностями - приходится завершать каждую линию в отдельности, обычно эту операцию выполняет последний накопитель, чтобы не допустить отражения сигнала в конце кабеля. Наконец, большие кабели и разъемы, применяемые в параллельных интерфейсах, делают эти технологии малопригодными для новых компактных вычислительных систем.

Представляем SAS и SATA

Последовательные технологии, такие как Serial ATA (SATA) и Serial Attached SCSI (SAS), позволяют преодолеть архитектурные ограничения, присущие традиционным параллельным интерфейсам. Свое название эти новые технологии получили от способа передачи сигнала, когда вся информация передается последовательно (англ. serial), единым потоком, в отличие от множественных потоков, которые используются в параллельных технологиях. Главное преимущество последовательного интерфейса заключается в том, что, когда данные передаются единым потоком, они движутся гораздо быстрее, чем при использовании параллельного интерфейса.

Последовательные технологии объединяют многие биты данных в пакеты и затем передают их по кабелю со скоростью, в 30 раз превышающей скорость параллельных интерфейсов.

SATA расширяет возможности традиционной технологии ATA, обеспечивая передачу данных между дисковыми накопителями со скоростью 1,5 Гбайт в секунду и выше. Благодаря низкой стоимости в пересчете на гигабайт емкости диска SATA будет оставаться господствующим дисковым интерфейсом в настольных ПК, серверах начального уровня и сетевых системах хранения информации, где стоимость является одним из главных соображений.

Технология SAS, преемница параллельного интерфейса SCSI, опирается на проверенную временем высокую функциональность своего предшественника и обещает значительно расширить возможности современных систем хранения данных масштаба предприятия. SAS обладает целым рядом преимуществ, не доступных традиционным решениям в области хранения данных. В частности, SAS позволяет подключать к одному порту до 16 256 устройств и обеспечивает надёжное последовательное соединение «точка-точка» со скоростью до 3 Гб/с.

Кроме того, благодаря уменьшенному разъему SAS обеспечивает полное двухпортовое подключение как для 3,5-дюймовых, так и для 2,5-дюймовых дисковых накопителей (раньше эта функция была доступна только для 3,5-дюймовых дисковых накопителей с интерфейсом Fibre Channel). Это очень полезная функция в тех случаях, когда требуется разместить большое количество избыточных накопителей в компактной системе, например, в низкопрофильном блэйд-сервере.

SAS улучшает адресацию и подключение накопителей благодаря аппаратным расширителям, которые позволяют подключить большое количество накопителей к одному или нескольким хост контроллерам. Каждый расширитель обеспечивает подключение до 128 физических устройств, каковыми могут являться другие хост контроллеры, другие SAS расширители или дисковые накопители. Подобная схема хорошо масштабируется и позволяет создавать топологии масштаба предприятия, с лёгкостью поддерживающие многоузловую кластеризацию для автоматического восстановления системы в случае сбоя и для равномерного распределения нагрузки.

Одно из важнейших преимуществ новой последовательной технологии заключается в том, что интерфейс SAS будет также совместим с более экономичными накопителями SATA, что позволит проектировщикам систем использовать в одной системе накопители обоих типов, не тратя дополнительные средства на поддержку двух разных интерфейсов. Таким образом интерфейс SAS, представляя собой следующее поколение технологии SCSI, позволяет преодолеть существующие ограничения параллельных технологий в том, что касается производительности, масштабируемости и доступности данных.

Несколько уровней совместимости

Физическая совместимость

Разъем SAS является универсальным и по форм-фактору совместим с SATA. Это позволяет напрямую подключать к системе SAS как накопители SAS, так и накопители SATA и таким образом использовать систему либо для жизненно важных приложений, требующих высокой производительности и оперативного доступа к данным, либо для более экономичных приложений с более низкой стоимостью в пересчете на гигабайт.

Набор команд SATA является подмножеством набора команд SAS, что обеспечивает совместимость устройств SATA и контроллеров SAS. Однако SAS накопители не могут работать с контроллером SATA, поэтому они снабжены специальными ключами на разъёмах, чтобы исключить вероятность неверного подключения.

Кроме того, сходные физические параметры интерфейсов SAS и SATA позволяют использовать новую универсальную заднюю панель SAS, которая обеспечивает подключение как накопителей SAS, так и накопителей SATA. В результате отпадает необходимость в использовании двух разных задних панелей для накопителей SCSI и ATA. Подобная конструктивная совместимость выгодна как производителям задних панелей, так и конечным пользователям, ведь при этом снижаются затраты на оборудование и проектирование.

Совместимость на уровне протоколов

Технология SAS включает в себя три типа протоколов, каждый из которых используется для передачи данных разных типов по последовательному интерфейсу в зависимости от того, к какому устройству осуществляется доступ. Первый - это последовательный SCSI протокол (Serial SCSI Protocol SSP), передающий команды SCSI, второй - управляющий протокол SCSI (SCSI Management Protocol SMP), передающий управляющую информацию на расширители. Третий - туннельный протокол SATA (SATA Tunneled Protocol STP), устанавливает соединение, которое позволяет передавать команды SATA. Благодаря использованию этих трех протоколов интерфейс SAS полностью совместим с уже существующими SCSI приложениями, управляющим ПО и устройствами SATA.

Такая мультипротокольная архитектура, в сочетании с физической совместимостью разъемов SAS и SATA, делает технологию SAS универсальным связующим звеном между устройствами SAS и SATA.

Выгоды совместимости

Совместимость SAS и SATA дает целый ряд преимуществ проектировщикам систем, сборщикам и конечным пользователям.

Проектировщики систем могут благодаря совместимости SAS и SATA использовать одни и те же задние панели, разъемы и кабельные соединения. Модернизация системы с переходом от SATA к SAS фактически сводится замене дисковых накопителей. Напротив, для пользователей традиционных параллельных интерфейсов переход от ATA к SCSI означает замену задних панелей, разъемов, кабелей и накопителей. К числу других экономичных преимуществ совместимости последовательных технологий следует отнести упрощенную процедуру сертификации и управление материальной частью.

VAR реселлеры и сборщики систем получают возможность легко и быстро изменять конфигурацию заказных систем, просто устанавливая в систему соответствующий дисковый накопитель. Отпадает необходимость работать с несовместимыми технологиями и использовать специальные разъемы и разные кабельные соединения. Более того, дополнительная гибкость в том, что касается выбора оптимального соотношения цены и производительности, позволит VAR реселлерам и сборщикам систем лучше дифференцировать свои продукты.

Для конечных пользователей совместимость SATA и SAS означает новый уровень гибкости в том, что касается выбора оптимального соотношения цены и производительности. Накопители SATA станут наилучшим решением для недорогих серверов и систем хранения данных, в то время как накопители SAS обеспечат максимальную производительность, надежность и совместимость с управляющим ПО. Возможность модернизации с переходом от накопителей SATA к накопителям SAS без необходимости приобретать для этого новую систему значительно упрощает процесс принятия решения о покупке, защищает инвестиции в систему и снижает общую стоимость владения.

Совместная разработка протоколов SAS и SATA

20 января 2003 года Ассоциация производителей SCSI Trade Association (STA) и Рабочая группа Serial ATA (SATA) II Working Group объявили о сотрудничестве в целях обеспечения совместимости технологии SAS с дисковыми накопителями SATA на системном уровне.

Сотрудничество этих двух организаций, а также совместные усилия поставщиков систем хранения данных и комитетов по стандартам направлены на выработку еще более точных директив в области совместимости, что поможет проектировщикам систем, ИТ специалистам и конечным пользователям осуществлять еще более тонкую настройку своих систем с целью достижения оптимальной производительности и надёжности и снижения общей стоимости владения.

Спецификация SATA 1.0 была утверждена в 2001 году, и сегодня на рынке представлены продукты SATA от различных производителей. Спецификация SAS 1.0 была утверждена в начале 2003 года, а первые продукты должны появиться на рынке в первой половине 2004 года.

С появлением достаточного большого числа периферии Serial Attached SCSI (SAS) можно констатировать начало перехода корпоративного окружения на рельсы новой технологии. Но SAS не только является признанным преемником технологии UltraSCSI, но и реализует новые сферы использования, подняв возможности масштабирования систем прямо-таки до немыслимых высот. Мы решили продемонстрировать потенциал SAS, пристально взглянув на технологию, host-адаптеры, жёсткие диски и системы хранения.

SAS нельзя назвать полностью новой технологией: она берёт лучшее из двух миров. Первая часть SAS касается последовательной передачи данных, что требует меньше физических проводов и контактов. Переход от параллельной к последовательной передаче позволил избавиться и от шины. Хотя по текущим спецификациям SAS пропускная способность определена в 300 Мбайт/с на порт, что меньше, чем 320 Мбайт/с у UltraSCSI, замена общей шины на соединение "точка-точка" - весомое преимущество. Вторая часть SAS - это протокол SCSI, остающийся мощным и популярным.

SAS может использовать и большой набор разновидностей RAID . Такие гиганты, как Adaptec или LSI Logic, в своих продуктах предлагают расширенный набор функций для расширения, миграции, создания "гнёзд" и других возможностей, в том числе касающихся распределённых массивов RAID по нескольким контроллерам и приводам.

Наконец, большинство упомянутых действий сегодня производятся уже "на лету". Здесь нам следует отметить превосходные продукты AMCC/3Ware , Areca и Broadcom/Raidcore , позволившие перенести функции корпоративного класса на пространства SATA.

По сравнению с SATA, традиционная реализация SCSI теряет почву на всех фронтах, за исключением high-end корпоративных решений. SATA предлагает подходящие жёсткие диски , отличается хорошей ценой и широким набором решений . И не будем забывать о ещё одной "умной" возможности SAS: она легко уживается с существующими инфраструктурами SATA, поскольку host-адаптеры SAS легко работают и с дисками SATA. Но вот накопитель SAS к адаптеру SATA подключить уже не получится.

Источник: Adaptec.

Сначала, как нам кажется, следует обратиться к истории SAS. Стандарт SCSI (расшифровывается как "small computer system interface/интерфейс малых компьютерных систем") всегда рассматривался как профессиональная шина для подключения накопителей и некоторых других устройств к компьютерам. Жёсткие диски для серверов и рабочих станций по-прежнему используют технологию SCSI. В отличие от массового стандарта ATA, позволяющего подключить к одному порту только два накопителя, SCSI разрешает связывать до 15 устройств в одну шину и предлагает мощный командный протокол. Устройства должны иметь уникальный идентификатор SCSI ID, который может присваиваться как вручную, так и через протокол SCAM (SCSI Configuration Automatically). Поскольку ID устройств для шин двух или более адаптеров SCSI могут быть и не уникальными, были добавлены логические номера LUN (Logical Unit Numbers), позволяющие идентифицировать устройства в сложных SCSI-окружениях.

Аппаратное обеспечение SCSI более гибкое и надёжное по сравнению с ATA (этот стандарт ещё называют IDE, Integrated Drive Electronics). Устройства могут подсоединяться как внутри компьютера, так и снаружи, причём длина кабеля может составлять до 12 м, если только он правильно терминирован (для того, чтобы избежать отражений сигнала). По мере эволюции SCSI появились многочисленные стандарты, оговаривающие разную ширину шины, тактовую частоту, разъёмы и напряжение сигнала (Fast, Wide, Ultra, Ultra Wide, Ultra2, Ultra2 Wide, Ultra3, Ultra320 SCSI). К счастью, все они используют единый набор команд.

Любая связь SCSI организуется между инициатором (host-адаптером), отсылающим команды, и целевым приводом, отвечающим на них. Сразу же после получения набора команд целевой привод отсылает так называемый sense-код (состояние: занят, ошибка или свободен), по которому инициатор узнаёт, получит он нужный ответ или нет.

Протокол SCSI оговаривает почти 60 разных команд. Они разбиты по четырём категориям: не относящиеся к данным (non-data), двунаправленные (bi-directional), чтение данных (read data) и запись данных (write data).

Ограничения SCSI начинают проявлять себя, когда вы будете добавлять приводы на шину. Сегодня вряд ли можно найти жёсткий диск, способный полностью нагрузить пропускную способность 320 Мбайт/с у Ultra320 SCSI. Но пять или больше приводов на одной шине - совсем другое дело. Вариантом будет добавление второго host-адаптера для балансировки нагрузки, но это стоит средств. Проблема и с кабелями: скрученные 80-проводные кабели стоят очень дорого. Если же вы хотите получить ещё и "горячую замену" приводов, то есть лёгкое замещение вышедшего из строя накопителя, то требуются специальные оснастки (backplane).

Конечно, лучше всего размещать приводы в раздельные оснастки или модули, которые обычно поддерживают возможность "горячей замены" вместе с другими приятными функциями управления. В итоге на рынке присутствует больше число профессиональных SCSI-решений. Но все они стоят немало, именно поэтому стандарт SATA столь бурно развивался последние годы. И хотя SATA никогда не удовлетворит нужды high-end корпоративных систем, этот стандарт прекрасно дополняет SAS при создании новых масштабируемых решений для сетевых окружений следующего поколения.

SAS не использует общую шину для нескольких устройств. Источник: Adaptec.

SATA

Слева находится разъём SATA для передачи данных. Справа - разъём для подачи питания. Контактов достаточно для подачи напряжений 3,3 В, 5 В и 12 В на каждый привод SATA.

Стандарт SATA существует на рынке уже несколько лет, и сегодня он достиг уже второго поколения. SATA I отличался пропускной способностью 1,5 Гбит/с с двумя последовательными соединениями, использующими разностное кодирование с низким напряжением (low-voltage differential signaling). На физическом уровне применяется кодирование 8/10 бит (10 бит фактических для 8 бит данных), что объясняет максимальную пропускную способность интерфейса 150 Мбайт/с. После перехода SATA на скорость 300 Мбайт/с многие начали называть новый стандарт SATA II, хотя при стандартизации SATA-IO (International Organization) планировалось сначала добавить больше функций, а затем уже назвать SATA II. Отсюда последняя спецификация и названа SATA 2.5, она включает такие расширения SATA, как Native Command Queuing (NCQ) и eSATA (external SATA), множители портов (до четырёх приводов на порт) и т.д. Но дополнительные функции SATA опциональные как для контроллера, так и для самого жёсткого диска.

Будем надеяться, что в 2007 году SATA III на 600 Мбайт/с всё-таки выйдет.

Если кабели параллельного ATA (UltraATA) были ограничены 46 см, то кабели SATA могут иметь длину до 1 м, а для eSATA - в два раза больше. Вместо 40 или 80 проводов последовательная передача требует лишь единицы контактов. Поэтому кабели SATA очень узкие, их легко прокладывать внутри корпуса компьютера, и они не так сильно мешают воздушному потоку. На порт SATA полагается одно устройство, что позволяет отнести этот интерфейс к типу "точка-точка".

Разъёмы SATA для передачи данных и питания предусматривают отдельные вилки.

SAS

Сигнальный протокол здесь такой же, как и у SATA. Источник: Adaptec.

Приятная особенность Serial Attached SCSI заключается в том, что технология поддерживает и SCSI, и SATA, в результате чего к SAS-контроллерам можно подключать диски SAS или SATA (или сразу обоих стандартов). Впрочем, SAS-приводы не могут работать с контроллерами SATA по причине использования протокола Serial SCSI Protocol (SSP). Подобно SATA, SAS следует принципу подключения "точка-точка" для приводов (сегодня 300 Мбайт/с), а благодаря SAS-расширителям (или экспандерам, expander) можно подключить больше приводов, чем доступно SAS-портов. Жёсткие диски SAS поддерживают два порта, каждый со своим уникальным SAS ID, поэтому можно использовать два физических подключения, чтобы обеспечить избыточность, - подключить привод к двум разным host-узлам. Благодаря протоколу STP (SATA Tunneling Protocol), контроллеры SAS могут обмениваться данными с SATA-приводами, подключёнными к экспандеру.

Источник: Adaptec.

Источник: Adaptec.

Источник: Adaptec.

Конечно, единственное физическое подключение экспандера SAS к host-контроллеру можно считать "узким местом", поэтому в стандарте предусмотрены широкие (wide) порты SAS. Широкий порт группирует несколько подключений SAS в единую связь между двумя любыми устройствами SAS (обычно между host-контроллером и расширителем/экспандером). Число подключений в рамках связи можно увеличивать, всё зависит от налагаемых требований. Но избыточные подключения не поддерживаются, нельзя также допускать и любых петель или колец.

Источник: Adaptec.

В будущих реализациях SAS добавится пропускная способность 600 и 1200 Мбайт/с на порт. Конечно, производительность жёстких дисков в такой же пропорции не вырастет, зато можно будет удобнее использовать экспандеры на малом числе портов.

Устройства под названиями "Fan Out" и "Edge" являются экспандерами. Но только главный экспандер Fan Out может работать с доменом SAS (см. 4x связь в центре диаграммы). На каждый экспандер Edge дозволяется до 128 физических подключений, причём можно использовать широкие порты и/или подключать другие экспандеры/приводы. Топология может быть весьма сложной, но в то же время гибкой и мощной. Источник: Adaptec.

Источник: Adaptec.

Оснастки (backplane) - основной строительный блок любой системы хранения, которая должна поддерживать "горячее подключение". Поэтому экспандеры SAS часто подразумевают мощные оснастки (как в едином корпусе, так и нет). Обычно для подключения простой оснастки к host-адаптеру используется одна связь. Экспандеры со встроенными оснастками, конечно, полагаются на многоканальные подключения.

Для SAS разработано три типа кабелей и разъёмов. SFF-8484 - многожильный внутренний кабель, связывающий host-адаптер с оснасткой. В принципе, того же самого можно добиться, разветвив на одном конце этот кабель на несколько отдельных разъёмов SAS (см. иллюстрацию ниже). SFF-8482 - разъём, через который привод подключается к одиночному интерфейсу SAS. Наконец, SFF-8470 - внешний многожильный кабель, длиной до шести метров.

Источник: Adaptec.

Кабель SFF-8470 для внешних многоканальных SAS-подключений.

Многожильный кабель SFF-8484. Через один разъём проходят четыре канала/порта SAS.

Кабель SFF-8484, позволяющий подключить четыре накопителя SATA.

SAS как часть решений SAN

Зачем нам нужна вся эта информация? Большинство пользователей и близко не подойдут к топологии SAS, о которой мы рассказывали выше. Но SAS - это больше, нежели интерфейс следующего поколения для профессиональных жёстких дисков, хотя он идеально подходит для построения простых и сложных RAID-массивов на базе одного или нескольких RAID-контроллеров. SAS способен на большее. Перед нами последовательный интерфейс "точка-точка", который легко масштабируется по мере того, как вы добавляете число связей между двумя любыми устройствами SAS. Накопители SAS поставляются с двумя портами, так что вы можете подключить один порт через экспандер к host-системе, после чего создать резервный путь к другой host-системе (или другому экспандеру).

Связь между SAS-адаптерами и экспандерами (а также и между двумя экспандерами) может быть такой широкой, сколько доступно портов SAS. Экспандеры обычно представляют собой стоечные системы, способные вместить большое число накопителей, и возможное подключение SAS к вышестоящему устройству по иерархии (например, host-контроллеру) ограничено лишь возможностями экспандера.

Благодаря богатой и функциональной инфраструктуре, SAS позволяет создавать сложные топологии хранения, а не выделенные жёсткие диски или отдельные сетевые хранилища. В данном случае под "сложными" не следует понимать, что с такой топологией сложно работать. Конфигурации SAS состоят из простых дисковых оснасток или используют экспандеры. Любую связь SAS можно расширить или сузить, в зависимости от требований к пропускной способности. Вы можете использовать как мощные жёсткие диски SAS, так и ёмкие модели SATA. Вместе с мощными RAID-контроллерами, можно легко настраивать, расширять или переконфигурировать массивы данных - как с точки зрения уровня RAID, так и с аппаратной стороны.

Всё это становится тем более важным, если принять во внимание, насколько быстро растут корпоративные хранилища. Сегодня у всех на слуху SAN - сеть хранения данных (storage area network). Она подразумевает децентрализованную организацию подсистемы хранения данных с традиционными серверами, используя физически вынесенные хранилища. По существующим сетям гигабитного Ethernet или Fiber Channel запускается немного модифицированный протокол SCSI, инкапсулирующийся в пакеты Ethernet (iSCSI - Internet SCSI). Система, на которой работает от одного жёсткого диска до сложных гнездовых RAID-массивов, становится так называемой целью (target) и привязывается к инициатору (host-система, initiator), который рассматривает цель, как если бы она была просто физическим элементом.

iSCSI, конечно, позволяет создать стратегию развития хранилища, организации данных или управления доступом к ним. Мы получаем ещё один уровень гибкости, сняв напрямую подключённые к серверам хранилища, позволяя любой подсистеме хранения становиться целью iSCSI. Переход на вынесенные хранилища делает работу системы независимой от серверов хранения данных (опасная точка сбоя) и улучшает управляемость "железа". С программной точки зрения, хранилище по-прежнему остаётся "внутри" сервера. Цель и инициатор iSCSI могут находиться рядом, на разных этажах, в разных комнатах или зданиях - всё зависит от качества и скорости IP-соединения между ними. С этой точки зрения важно отметить, что SAN плохо подходит для требований оперативно доступных приложений вроде баз данных.

2,5" жёсткие диски SAS

2,5" жёсткие диски для профессиональной сферы по-прежнему воспринимаются новинкой. Мы уже довольно давно рассматривали первый подобный накопитель от Seagate - 2,5" Ultra320 Savvio , который оставил хорошее впечатление. Все 2,5" накопители SCSI используют скорость вращения шпинделя 10 000 об/мин, но они не дотягивают до того уровня производительности, который дают 3,5" винчестеры с такой жё скоростью вращения шпинделя. Дело в том, что внешние дорожки 3,5" моделей вращаются с большей линейной скоростью, что обеспечивает более высокую скорость передачи данных.

Преимущество маленьких жёстких дисков кроется и не в ёмкости: сегодня для них максимумом по-прежнему остаётся 73 Гбайт, в то время как у 3,5" винчестеров корпоративного класса мы получаем уже 300 Гбайт. Во многих сферах очень важно соотношение производительности на занимаемый физический объём или эффективность энергопотребления. Чем больше жёстких дисков вы будете использовать, тем большую производительность пожнёте - в паре с соответствующей инфраструктурой, конечно. При этом 2,5" винчестеры потребляют энергии почти в два раза меньше, чем 3,5" конкуренты. Если рассматривать соотношение производительности на ватт (число операций ввода/вывода на ватт), то 2,5" форм-фактор даёт очень неплохие результаты.

Если вам, прежде всего, необходима ёмкость, то 3,5" накопители на 10 000 об/мин вряд ли будут лучшим выбором. Дело в том, что 3,5" винчестеры SATA дают на 66% большую ёмкость (500 вместо 300 Гбайт на жёсткий диск), оставляя уровень производительности приемлемым. Многие производители винчестеров предлагают SATA-модели для работы в режиме 24/7, а цена накопителей снижена до минимума. Проблемы же надёжности можно решить, докупив запасные (spare) приводы для немедленной замены в массиве.

В линейке MAY представлено текущее поколение 2,5" накопителей Fujitsu для профессионального сектора. Скорость вращения составляет 10 025 об/мин, а ёмкости - 36,7 и 73,5 Гбайт. Все приводы поставляются с 8 Мбайт кэша и дают среднее время поиска чтения 4,0 мс и записи 4,5 мс. Как мы уже упоминали, приятная особенность 2,5" винчестеров - сниженное энергопотребление. Обычно один 2,5" винчестер позволяет сэкономить не менее 60% энергии по сравнению с 3,5" накопителем.

3,5" жёсткие диски SAS

Под MAX скрывается текущая линейка высокопроизводительных жёстких дисков Fujitsu со скоростью вращения 15 000 об/мин. Так что название вполне соответствует. В отличие от 2,5" накопителей, здесь мы получаем целых 16 Мбайт кэша и короткое среднее время поиска 3,3 мс для чтения и 3,8 мс для записи. Fujitsu предлагает модели на 36,7 Гбайт, 73,4 Гбайт и 146 Гбайт (с одной, двумя и четырьмя пластинами).

Гидродинамические подшипники добрались и до жёстких дисков корпоративного класса, поэтому новые модели работают существенно тише предыдущих на 15 000 об/мин. Конечно, подобные жёсткие диски следует правильно охлаждать, и оснастка это тоже обеспечивает.

Hitachi Global Storage Technologies тоже предлагает собственную линейку для высокопроизводительных решений. UltraStar 15K147 работает на скорости 15 000 об/мин и оснащён 16 Мбайт кэшем, как и приводы Fujitsu, но конфигурация пластин иная. Модель на 36,7 Гбайт использует две пластины, а не одну, а на 73,4 Гбайт - три пластины, а не две. Это указывает на меньшую плотность записи данных, но подобный дизайн, по сути, позволяет не использовать внутренние, самые медленные области пластин. В результате и головкам приходится двигаться меньше, что даёт лучшее среднее время доступа.

Hitachi также предлагает модели на 36,7 Гбайт, 73,4 Гбайт и 147 Гбайт с завяленным временем поиска (чтение) 3,7 мс.

Хотя Maxtor уже превратилась в часть Seagate, продуктовые линейки компании пока сохраняются. Производитель предлагает модели на 36, 73 и 147 Гбайт, все из которых отличаются скоростью вращения шпинделя 15 000 об/мин и 16 Мбайт кэшем. Компания заявляет среднее время поиска для чтения 3,4 мс и для записи 3,8 мс.

Cheetah уже давно ассоциируется с высокопроизводительными жёсткими дисками. Подобную ассоциацию с выпуском Barracuda Seagate смогла привить и в сегменте настольных ПК, предложив первый настольный накопитель на 7200 об/мин в 2000 году.

Доступны модели на 36,7 Гбайт, 73,4 Гбайт и 146,8 Гбайт. Все они отличаются скоростью вращения шпинделя 15 000 об/мин и кэшем 8 Мбайт. Заявлено среднее время поиска для чтения 3,5 мс и для записи 4,0 мс.

Host-адаптеры

В отличие от SATA-контроллеров, компоненты SAS можно найти только на материнских платах серверного класса или в виде карт расширения для PCI-X или PCI Express . Если сделать ещё шаг вперёд и рассмотреть RAID-контроллеры (Redundant Array of Inexpensive Drives), то они из-за своей сложности продаются, по большей части, в виде отдельных карт. Карты RAID содержат не только сам контроллер, но и чип ускорения расчётов информации избыточности (XOR-движок), а также и кэш-память. На карту иногда припаяно небольшое количество памяти (чаще всего 128 Мбайт), но некоторые карты позволяют расширять объём с помощью DIMM или SO-DIMM.

При выборе host-адаптера или RAID-контроллера следует чётко определиться, что вам нужно. Ассортимент новых устройств растёт просто на глазах. Простые многопортовые host-адаптеры обойдутся сравнительно дёшево, а на мощные RAID-карты придётся серьёзно потратиться. Подумайте, где вы будете размещать накопители: для внешних хранилищ требуется, по крайней мере, один внешний разъём. Для стоечных серверов обычно требуются карты с низким профилем.

Если вам нужен RAID, то определитесь, будете ли вы использовать аппаратное ускорение. Некоторые RAID-карты отнимают ресурсы центрального процессора на вычисления XOR для массивов RAID 5 или 6; другие используют собственный аппаратный движок XOR. Ускорение RAID рекомендуется для тех окружений, где сервер занимается не только хранением данных, например, для баз данных или web-серверов.

Все карты host-адаптеров, которые мы привели в нашей статье, поддерживают скорость 300 Мбайт/с на порт SAS и позволяют весьма гибко реализовать инфраструктуру хранения данных. Внешними портами сегодня уже мало кого удивишь, да и учтите поддержку жёстких дисков как SAS, так и SATA. Все три карты используют интерфейс PCI-X, но версии под PCI Express уже находятся в разработке.

В нашей статье мы удостоили вниманием карты на восемь портов, но этим число подключённых жёстких дисков не ограничивается. С помощью SAS-экспандера (внешнего) вы можете подключить любое хранилище. Пока четырёхканального подключения будет достаточно, вы можете увеличивать число жёстких дисков вплоть до 122. Из-за затрат производительности на вычисление информации чётности RAID 5 или RAID 6 типичные внешние хранилища RAID не смогут достаточно нагрузить пропускную способность четырёхканального подключения, даже если использовать большое количество приводов.

48300 - host-адаптер SAS, предназначенный для шины PCI-X. На серверном рынке сегодня продолжает доминировать PCI-X, хотя всё больше материнских плат оснащаются интерфейсами PCI Express.

Adaptec SAS 48300 использует интерфейс PCI-X на скорости 133 МГц, что даёт пропускную способность 1,06 Гбайт/с. Достаточно быстро, если шина PCI-X не загружена другими устройствами. Если включить в шину менее скоростное устройство, то все другие карты PCI-X снизят свою скорость до такой же. С этой целью на плату иногда устанавливают несколько контроллеров PCI-X.

Adaptec позиционирует SAS 4800 для серверов среднего и нижнего ценовых диапазонов, а также для рабочих станций. Рекомендованная розничная цена составляет $360, что вполне разумно. Поддерживается функция Adaptec HostRAID, позволяющая перейти на самые простые массивы RAID. В данном случае это RAID уровней 0, 1 и 10. Карта поддерживает внешнее четырёхканальное подключение SFF8470, а также внутренний разъём SFF8484 в паре с кабелем на четыре устройства SAS, то есть всего получаем восемь портов.

Карта умещается в стоечный сервер 2U, если установить низкопрофильную слотовую заглушку. В комплект поставки также входит CD с драйвером, руководство по быстрой установке и внутренний кабель SAS, через который к карте можно подключить до четырёх системных приводов.

Игрок на рынке SAS LSI Logic выслал нам host-адаптер SAS3442X PCI-X, прямого конкурента Adaptec SAS 48300. Он поставляется с восемью портами SAS, которые разделены между двумя четырёхканальными интерфейсами. "Сердцем" карты является чип LSI SAS1068. Один из интерфейсов предназначен для внутренних устройств, второй - для внешних DAS (Direct Attached Storage). Плата использует шинный интерфейс PCI-X 133.

Как обычно, для приводов SATA и SAS поддерживается интерфейс 300 Мбайт/с. На плате контроллера расположено 16 светодиодов. Восемь из них - простые светодиоды активности, а ещё восемь призваны сообщать о неисправности системы.

LSI SAS3442X - низкопрофильная карта, поэтому она легко умещается в любом стоечном сервере 2U.

Отметим поддержку драйверами под Linux, Netware 5.1 и 6, Windows 2000 и Server 2003 (x64), Windows XP (x64) и Solaris до 2.10. В отличие от Adaptec, LSI решила не добавлять поддержку каких-либо RAID-режимов.

RAID-адаптеры

SAS RAID4800SAS - решение Adaptec для более сложных окружений SAS, его можно использовать для серверов приложений, серверов потокового вещания и т.д. Перед нами, опять же, карта на восемь портов, с одним внешним четырёхканальным подключением SAS и двумя внутренними четырёхканальными интерфейсами. Но если используется внешнее подключение, то из внутренних остаётся только один четырёхканальный интерфейс.

Карта тоже предназначена для шины PCI-X 133, которая даёт достаточную пропускную способность даже для самых требовательных конфигураций RAID.

Что же касается режимов RAID, то здесь SAS RAID 4800 легко обгоняет "младшего брата": по умолчанию поддерживаются уровни RAID 0, 1, 10, 5, 50, если у вас есть достаточное число накопителей. В отличие от 48300, Adaptec вложила два кабеля SAS, так что вы сразу же сможете подключить к контроллеру восемь жёстких дисков. В отличие от 48300, карта требует полноразмерный слот PCI-X.

Если вы решите модернизировать карту до Adaptec Advanced Data Protection Suite , то получите возможность перейти на режимы RAID с двойной избыточностью (6, 60), а также ряд функций корпоративного класса: striped mirror drive (RAID 1E), hot spacing (RAID 5EE) и copyback hot spare. Утилита Adaptec Storage Manager отличается интерфейсом как у браузера, с её помощью можно управлять всеми адаптерами Adaptec.

Adaptec предлагает драйверы для Windows Server 2003 (и x64), Windows 2000 Server, Windows XP (x64), Novell Netware, Red Hat Enterprise Linux 3 и 4, SuSe Linux Enterprise Server 8 и 9 и FreeBSD.

Оснастки SAS

335SAS представляет собой оснастку для четырёх приводов SAS или SATA, но подключать её следует к контроллеру SAS. Благодаря 120-мм вентилятору приводы будут хорошо охлаждаться. К оснастке придётся подключить и две вилки питания Molex.

Adaptec включила в комплект поставки кабель I2C, который можно использовать для управления оснасткой через соответствующий контроллер. Но с приводами SAS так уже не получится. Дополнительный светодиодный кабель призван сигнализировать об активности приводов, но, опять же, только для накопителей SATA. В комплект поставки входит и внутренний кабель SAS на четыре привода, поэтому для подключения приводов будет достаточно внешнего четырёхканального кабеля. Если же вы захотите использовать приводы SATA, то придётся воспользоваться переходниками с SAS на SATA.

Розничную цену в $369 нельзя назвать низкой. Но вы получите солидное и надёжное решение.

Хранилища SAS

SANbloc S50 - решение корпоративного уровня на 12 накопителей. Вы получите стоечный корпус формата 2U, который подключается к контроллерам SAS. Перед нами один из лучших примеров масштабируемых решений SAS. 12 приводов могут быть как SAS, так и SATA. Либо представлять смесь обоих типов. Встроенный экспандер может использовать один или два четырёхканальных интерфейса SAS для подключения S50 к host-адаптеру или RAID-контроллеру. Поскольку перед нами явно профессиональное решение, оно оснащено двумя блоками питания (с избыточностью).

Если вы уже купили host-адаптер Adaptec SAS, его можно будет легко подключить к S50 и с помощью Adaptec Storage Manager управлять приводами. Если установить жёсткие диски SATA по 500 Гбайт, то мы получим хранилище на 6 Тбайт. Если же взять 300-Гбайт накопители SAS, то ёмкость составит 3,6 Тбайт. Поскольку экспандер связан с host-контроллером двумя четырёхканальными интерфейсами, мы получим пропускную способность 2,4 Гбайт/с, которой будет более чем достаточно для массива любого типа. Если же установить 12 накопителей в массив RAID0, то максимальная пропускная способность составит всего лишь 1,1 Гбайт/с. В середине этого года Adaptec обещает выпустить немного модифицированную версию с двумя независимыми блоками ввода/вывода SAS.

SANbloc S50 содержит функцию автоматического мониторинга и автоматического управления скоростью вращения вентилятора. Да, устройство работает слишком громко, так что мы с облегчением отдали его из лаборатории после завершения тестов. Сообщение о сбое привода отправляется контроллеру через SES-2 (SCSI Enclosure Services) или через физический интерфейс I2C.

Рабочие температуры для приводов составляют 5-55°C, а для оснастки - от 0 до 40°C.

В начале наших тестов мы получили пиковую пропускную способность всего 610 Мбайт/с. Поменяв кабель между S50 и host-контроллером Adaptec, мы всё-таки смогли достичь 760 Мбайт/с. Для нагрузки системы в режиме RAID 0 мы использовали семь жёстких дисков. Увеличение числа жёстких дисков не приводило к повышению пропускной способности.

Тестовая конфигурация

Системное аппаратное обеспечение
Процессоры	2x Intel Xeon (ядро Nocona) 3,6 ГГц, FSB800, 1 Мбайт кэша L2
Платформа	Asus NCL-DS (Socket 604) Чипсет Intel E7520, BIOS 1005
Память	Corsair CM72DD512AR-400 (DDR2-400 ECC, reg.) 2x 512 Мбайт, CL3-3-3-10
Системный жёсткий диск	Western Digital Caviar WD1200JB 120 Гбайт, 7200 об/мин, кэш 8 Мбайт, UltraATA/100
Контроллеры накопителей	Контроллер Intel 82801EB UltraATA/100 (ICH5) Promise SATA 300TX4 Драйвер 1.0.0.33 Adaptec AIC-7902B Ultra320 Драйвер 3.0 Adaptec 48300 8 port PCI-X SAS Драйвер 1.1.5472 Adaptec 4800 8 port PCI-X SAS Драйвер 5.1.0.8360 Прошивка 5.1.0.8375 LSI Logic SAS3442X 8 port PCI-X SAS Драйвер 1.21.05 BIOS 6.01
Хранилища	Оснастка на 4 отсека для внутренней установки с горячей заменой 2U, 12-HDD SAS/SATA JBOD
Сеть	Broadcom BCM5721 Gigabit Ethernet
Видеокарта	Встроенная ATi RageXL, 8 Мбайт
Тесты
Измерение производительности	c"t h2benchw 3.6
Измерение производительности ввода/вывода	IOMeter 2003.05.10 Fileserver-Benchmark Webserver-Benchmark Database-Benchmark Workstation-Benchmark
Системное ПО и драйверы
ОС	Microsoft Windows Server 2003 Enterprise Edition, Service Pack 1
Драйвер платформы	Intel Chipset Installation Utility 7.0.0.1025
Графический драйвер Сценарий рабочей станции. После изучения нескольких новых жёстких дисков SAS, трёх соответствующих контроллеров и двух оснасток стало понятно, что SAS - действительно перспективная технология. Если вы обратитесь к технической документации SAS, то поймёте, почему. Перед нами не только преемница SCSI с последовательным интерфейсом (быстрым, удобный и лёгким в использовании), но и прекрасный уровень масштабирования и наращивания инфраструктуры, по сравнению с которым решения Ultra320 SCSI кажутся каменным веком. Да и совместимость просто великолепная. Если вы планируете закупить профессиональное оборудование SATA для вашего сервера, то стоит присмотреться к SAS. Любой SAS-контроллер или оснастка совместимы с жёсткими дисками и SAS, и SATA. Поэтому вы сможете создать как высокопроизводительное окружение SAS, так и ёмкое SATA - или оба сразу. Удобная поддержка внешних хранилищ - ещё одно важное преимущество SAS. Если хранилища SATA используют либо какие-то собственные решения, либо одиночный канал SATA/eSATA, интерфейс хранилищ SAS позволяет наращивать пропускную способность соединения группами по четыре канала SAS. В итоге мы получаем возможность наращивать пропускную способность под нужды приложений, а не упираться в 320 Мбайт/с UltraSCSI или 300 Мбайт/с SATA. Более того, экспандеры SAS позволяют создать целую иерархию устройств SAS, так что свобода деятельности у администраторов большая. На этом эволюция устройств SAS не закончится. Как нам кажется, интерфейс UltraSCSI можно считать устаревшим и потихоньку списывать со счетов. Вряд ли индустрия будет его совершенствовать, разве что продолжит поддерживать существующие реализации UltraSCSI. Все же новые жёсткие диски, последние модели хранилищ и оснасток, а также увеличение скорости интерфейса до 600 Мбайт/с, а потом и до 1200 Мбайт/с - всё это предназначено для SAS. Какова же должна быть современная инфраструктура хранения? С доступностью SAS дни UltraSCSI сочтены. Последовательная версия является логичным шагом вперёд и справляется со всеми задачами лучше предшественницы. Вопрос выбора между UltraSCSI и SAS становится очевидным. Выбирать же между SAS или SATA несколько сложнее. Но если вы смотрите в перспективу, то комплектующие SAS окажутся всё же лучше. Действительно, для максимальной производительности или с точки зрения перспектив масштабируемости альтернативы SAS сегодня уже нет.

Сегодняшний файл-сервер или web-сервер никак не обходится без RAID-массива. Только этот режим работы может обеспечить нужную пропускную способность и скорость работы с системой хранения данных. До недавнего времени единственными жесткими дисками, подходящими для такой работы были диски с интерфейсом SCSI и скоростью вращения шпинделя 10-15 тысяч оборотов в минуту. Для работы таких дисков требовался отдельный контроллер SCSI. Скорость передачи данных по SCSI достигала 320 Мб/с, однако интерфейс SCSI - это обычный параллельный интерфейс, со всеми его недостатками.

Совсем недавно появился новый дисковый интерфейс. Его назвали SAS (Serial Attached SCSI). Базы отдыха в челябинске -На сегодняшний день уже множество компаний имеют в продуктовой линейке контроллеры для этого интерфейса с поддержкой всех уровней массивов RAID. В нашем мини-обзоре мы рассмотрим двух представителей нового семейства контроллеров SAS от Adaptec. Это 8 портовая модель ASR-4800SAS и 4+4 портовая ASR-48300 12C.

Знакомство с SAS

Что же это за интерфейс такой - SAS? На самом деле SAS - это гибрид SATA и SCSI. Технология вобрала в себя достоинства двух интерфейсов. Начнем с того, что SATA - последовательный интерфейс с двумя независимыми каналами чтения и записи, а каждое устройство SATA подключается к отдельному каналу. SCSI имеет очень эффективный и надежный корпоративный протокол передачи данных, но недостатком является параллельный интерфейс и общая шина для нескольких устройств. Таким образом, SAS свободен от недостатков SCSI, обладает достоинствами SATA и обеспечивает скорость до 300 Мб/с на один канал. По схеме ниже можно примерно представить схему подключения SCSI и SAS.

Двунаправленность интерфейса сводит задержки к нулю, поскольку отсутствует переключение канала на чтение/запись.

Любопытной и положительной особенностью Serial Attached SCSI является то, что этот интерфейс поддерживает диски SAS и SATA, причем одновременно к одному контроллеру можно подключать диски обоих типов. Однако диски с интерфейсом SAS невозможно подключить к контроллеру SATA, так как эти диски, во-первых, требуют специальных команд SCSI (протокол Serial SCSI Protocol) при работе, а во-вторых, физически несовместимы с SATA-колодкой. Каждый диск SAS подключается к собственному порту, но, тем не менее, существует возможность подключить больше дисков, чем имеется портов у контроллера. Такую возможность обеспечивают SAS-расширители (Expander).

Оригинальным отличием колодки диска SAS от колодки диска SATA является дополнительный порт данных, то есть каждый диск Serial Attached SCSI имеет два порта SAS со своим оригинальным ID, таким образом технология обеспечивает избыточность, что повышает надежность.

Кабели SAS немного отличаются от SATA, предусмотрена специальная кабельная оснастка, включенная в комплект SAS-контроллера. Также как и SCSI, жесткие диски нового стандарта могут подключаться не только внутри корпуса сервера, но и снаружи, для чего предусмотрены специальные кабели и оснастка. Для подключения дисков с «горячей заменой» используются специальные платы - backplane, имеющие все необходимые разъемы и порты для подключения дисков и контроллеров.

Как правило, плата backplane расположена в специальном корпусе с салазочным креплением дисков, такой корпус содержит в себе RAID-массив и обеспечивает его охлаждение. В случае выхода из строя одного или нескольких дисков имеется возможность оперативной замены неисправного HDD, причем замена неисправного накопителя не останавливает работу массива - достаточно сменить диск и массив снова полноценно работает.

Адаптеры SAS от Adaptec

Компания Adaptec представила на ваш суд две довольно интересных модели RAID-контроллеров. Первая модель является представительницей бюджетного класса устройств для построения RAID в недорогих серверах начального уровня - это восьмипортовая модель ASR-48300 12C. Вторая модель гораздо более продвинута и предназначена для более серьезных задач, имеет на борту восемь каналов SAS - это ASR-4800SAS. Но давайте рассмотрим подробнее каждую из них. Начнем с более простой и дешевой модели.

Adaptec ASR-48300 12C

Контроллер ASR-48300 12C предназначен для построения небольших RAID-массивов уровней 0, 1 и 10. Таким образом, основные типы дисковых массивов можно построить, используя этот контроллер. Поставляется данная модель в обычной картонной коробке, которая оформлена в сине-черных тонах, на лицевой стороне упаковки имеется стилизованное изображение контроллера, летящего из компьютера, что должно навевать мысли о высокой скорости работы компьютера с данным устройством внутри.

Комплект поставки минимален, но включает все необходимое для начала работы с контроллером. В комплекте содержится следующее.

Контроллер ASR-48300 12C
. Низкопрофильная скоба

. Диск с ПО Storage Manager
. Краткий мануал
. Соединительный кабель с колодками SFF8484 to 4xSFF8482 и питания 0.5 м.

Контроллер предназначен для шины PCI-X 133 МГц, которая имеет очень широкое распространение в серверных платформах. Адаптер предоставляет восемь портов SAS, однако, только четыре порта реализовано в виде разъема SFF8484, к которому подключаются диски внутри корпуса, а оставшиеся четыре канала выведены наружу в виде разъема SFF8470, поэтому часть дисков необходимо подключать снаружи - это может быть внешний бокс с четырьмя дисками внутри.

При использовании экспандера, контроллер имеет возможность работать со 128-ю дисками в массиве. Кроме того, контроллер способен работать в 64-битном окружении и поддерживает соответствующие команды. Карта может быть установлена в низкопрофильный сервер высотой 2U, если поставить идущую в комплекте низкопрофильную заглушку. Общие характеристики платы следующие.

Преимущества

Экономичный контроллер Serial Attached SCSI с технологией Adaptec HostRAID™ для высокопроизводительного хранения важных данных.

Потребности клиента

Идеально для поддержки приложений серверов начального и среднего уровня и рабочих групп, которым требуется высокопроизводительное хранение данных и надежная защита, например, приложений резервного копирования, веб-контента, электронной почты, баз данных и совместного доступа к данным.

Системное окружение — Серверы отделов и рабочих групп

Тип интерфейса системной шины — PCI-X 64 bit/133 МГц, PCI 33/66

Внешние соединения — Один x 4 Infiniband/Serial Attached SCSI (SFF8470)

Внутренние соединения — Один 32 pin x 4 Serial Attached SCSI (SFF8484)

Системные требования — Серверы типа IA-32, AMD-32, EM64T и AMD-64

Разъем 32/64-bit PCI 2.2 или 32/64-bit PCI-X 133

Гарантия — 3 года

Уровни RAID levels — Adaptec HostRAID 0, 1, и 10

Ключевые характеристки RAID

• Поддержка загрузочных массивов
• Автоматическое восстановление
• Управление с помощью ПО Adaptec Storage Manager
• Фоновая инициализация

Размеры платы — 6.35см x 17.78см (включая внешний разъем)

Рабочая температура — от 0° до 50° C

Рассеиваемая мощность — 4 Вт

Mean Time Before Failure (MTBF - наработка на отказ) — 1692573 ч при 40 ºC.

Adaptec ASR-4800SAS

Адаптер под номером 4800 более продвинут функционально. Эта модель позиционируется для более скоростных серверов и рабочих станций. Здесь реализована поддержка практически любых массивов RAID - массивы которые имеются у младшей модели, а также можно сконфигурировать массивы RAID 5, 50, JBOD и Adaptec Advanced Data Protection Suite с RAID 1E, 5EE, 6, 60, Copyback Hot Spare с опцией Snapshot Backup для серверов в башенном корпусе и серверов высокой плотности для монтажа в стойку.

Модель поставляется в аналогичной младшей модели упаковке с оформлением в том же «авиационном» стиле.

В комплекте представлено почти то же самое, что и у младшей карты.

Контроллер ASR-4800SAS
. Полноразмерная скоба
. Диск с драйвером и полным руководством
. Диск с ПО Storage Manager
. Краткий мануал
. Два кабеля с колодками SFF8484 to 4xSFF8482 и питания по 1 м.

Контроллер имеет поддержку шины PCI-X 133 МГц, но имеется и модель 4805, аналогичная функционально, но использующая шину PCI-E x8. Адаптер предоставляет те же восемь портов SAS, однако реализованы все восемь портов в качестве внутренних, соответственно, плата имеет два разъема SFF8484 (под два комплектных кабеля), однако имеется и внешний разъем типа SFF8470 на четыре канала, при подключении к которому один из внутренних разъемов отключается.

Точно так же, как и в младшем устройстве, количество дисков расширяемо до 128 с помощью экспандеров. Но основным отличием модели ASR-4800SAS от ASR-48300 12C является наличие на первой 128 Мб DDR2 ECC памяти, используемой в качестве КЭШа, что ускоряет работу с дисковым массивом и оптимизирует работу с мелкими файлами. Доступен опциональный батарейный модуль для сохранения данных в КЭШе при отключении питания. Общие характеристики платы следующие.

Преимущества — Подключение высокопроизводительных устройств хранения и защиты данных для серверов и рабочих станций

Потребности клиента — Идеально для поддержки приложений серверов и рабочих групп, которым требуется постоянный высокий уровень скорости операций чтения-записи, например, приложений потокового видео, веб-контента, видео по запросу, фиксированного контента и хранения справочных данных.

• Системное окружение — Серверы отделов и рабочих групп и рабочие станции
• Тип интерфейса системной шины — Хост-интерфейс PCI-X 64-bit/133 MHz
• Внешние соединения — Разъем SAS один x4
• Внутренние соединения — Разъемы SAS два x4
• Скорость передачи данных — До 3 ГБ/с на порт
• Системные требования -Архитектура Intel или AMD со свободным разъемом 64-bit 3.3v PCI-X
• Поддерживает архитектуры EM64T и AMD64
• Гарантия — 3 года
• Стандартные уровни RAID — RAID 0, 1, 10, 5, 50
• Стандатные возможности RAID — Горячий резерв, миграция уровней RAID, Online Capacity Expansion, Optimized Disk, Utilization, S.M.A.R.T и поддержка SNMP, а также возможности из Adaptec Advanced

• Data Protection Suite включающие:

1. Hot Space (RAID 5EE)
2. Striped Mirror (RAID 1E)
3. Dual Drive Failure Protection (RAID 6)
4. Copyback Hot Spare

• Дополнительные возможности RAID — Snapshot Backup
• Размеры платы — 24см x 11.5см
• Рабочая температура — от 0 до 55 градусов C
• Mean Time Before Failure (MTBF - наработка на отказ) — 931924 ч при 40 ºC.

Тестирование

Тестирование адаптеров - дело непростое. Тем более что большого опыта работы с SAS нами еще не приобретено. Поэтому решено было провести тестирование скорости работы жестких дисков с интерфейсом SAS в сравнении с дисками SATA. Для этого мы использовали имевшиеся у нас диски SAS 73 Гб Hitachi HUS151473VLS300 на 15000rpm с 16Mb буфером и WD 150Гб SATA150 Raptor WD1500ADFD на 10000rpm с 16Mb буфером. Мы провели прямое сравнение двух быстрых дисков, но имеющих разные интерфейсы на двух контроллерах. Тестировались диски в программе HDTach, в которой были получены следующие результаты.

Adaptec ASR-48300 12C

Adaptec ASR-4800SAS

Логично было предположить, что жесткий диск с интерфейсом SAS окажется быстрее, чем SATA, хотя для оценки производительности мы взяли самый быстрый диск WD Raptor, который вполне может поспорить по производительности со многими 15000 об/мин SCSI дисками. Что касается различия между контроллерами - то они минимальны. Конечно, старшая модель предоставляет больше функций, но необходимость в них возникает только в корпоративном секторе применения таких устройств. К таким корпоративным функциям относятся особые уровни RAID и дополнительная КЭШ-память на борту контроллера. Обычный домашний пользователь вряд ли будет устанавливать в домашнем, пусть и по самую крышу модифицированном ПК 8 жестких дисков, собранных в RAID-массив с избыточностью - скорее будет отдано предпочтение задействовать четыре диска под массив уровня 0+1, а оставшиеся будут использоваться для данных. Вот тут-то как раз и пригодится модель ASR-48300 12C. К тому же, некоторые оверклокерские материнские платы имеют интерфейс PCI-X. Достоинством модели для домашнего применения как раз является относительно доступная цена (в сравнении с восемью жесткими дисками) в $350 и простота применения (вставил и подключил). Кроме того, особый интерес представляют жесткие диски 10-тысячники формата 2.5 дюйма. Эти винчестеры имеют меньшее энергопотребление, меньше греются и меньше занимают места.

Выводы

Это необычный обзор для нашего сайта и он больше направлен на изучение интереса со стороны пользователей к обзорам специального аппаратного обеспечения. Сегодня были рассмотрены не только два непривычных RAID-контроллера от известного и успевшего себя зарекомендовать производителя серверного оборудования - компании Adaptec. Это еще и попытка написания первой аналитической статьи на нашем сайте.

Касаемо наших сегодняшних героев, SAS контроллеров Adaptec можно сказать, что очередные два продукта компании удались. Младшая модель, ASR-48300 стоимостью $350, вполне может прижиться в производительном домашнем компьютере и уж тем более в сервере (или компьютере, выполняющем его роль) начального уровня. Для этого модель имеет все предпосылки: удобное ПО Adaptec Storage Manager, поддержку от 8 до 128 дисков, работу с основными уровнями RAID.

Старшая модель предназначена для серьезных задач и, конечно, может использоваться в недорогих серверах, но только в том случае, если имеются особые требования к скорости работы с мелкими файлами и надежности хранения информации, ведь карта поддерживает все уровни RAID-массивов корпоративного класса с избыточностью и имеет 128 Мб быстрой КЭШ-памяти стандарта DDR2 с Error Correction Control (ECC). При этом стоимость контроллера составляет $950.

ASR-48300 12C

Плюсы модели

• Доступность
• Поддержка от 8 до 128 дисков
• Простота использования
• Стабильная работа
• Репутация Adaptec

• Слот PCI-X - для большей популярности не хватает только поддержки более распространенного PCI-E

ASR-4800SAS

• Стабильная работа
• Репутация производителя
• Хорошая функциональность
• Доступность апгрейда (программного и аппаратного)
• Доступность версии с PCI-E
• Простота использования
• Поддержка от 8 до 128 дисков
• 8 внутренних каналов SAS

• Не очень подходит для бюджетного и домашнего секторов применения.

Тесты массивов RAID 6, 5, 1 и 0 с дисками SAS-2 компании Hitachi

Видимо, прошли те времена, когда приличный профессиональный 8-портовый RAID-контроллер стоил весьма внушительных денег. Нынче появились решения для интерфейса Serial Attached SCSI (SAS), которые очень даже привлекательны и по цене, и по функциональности, да и в плане производительности. Об одном из них - этот обзор.

Контроллер LSI MegaRAID SAS 9260-8i

Ранее мы уже писали об интерфейсе SAS второго поколения со скоростью передачи 6 Гбит/с и весьма дешевом 8-портовом HBA-контроллере LSI SAS 9211-8i, предназначенном для организации систем хранения данных начального ценового уровня на базе простейших RAID-массивов SAS и SATA-накопителей. Модель же LSI MegaRAID SAS 9260-8i будет классом повыше - она оснащена более мощным процессором с аппаратным обсчетом массивов уровней 5, 6, 50 и 60 (технология ROC - RAID On Chip), а также ощутимым объемом (512 Мбайт) набортной SDRAM-памяти для эффективного кеширования данных. Этим контроллером также поддерживаются интерфейсы SAS и SATA со скоростью передачи данных 6 Гбит/с, а сам адаптер предназначен для шины PCI Express x8 версии 2.0 (5 Гбит/с на линию), чего теоретически почти достаточно для удовлетворения потребностей 8 высокоскоростных портов SAS. И все это - по розничной цене в районе 500 долларов, то есть лишь на пару сотен дороже бюджетного LSI SAS 9211-8i. Сам производитель, кстати, относит данное решение к серии MegaRAID Value Line, то есть экономичным решениям.

8-портовый SAS-контроллер LSIMegaRAID SAS9260-8i и его процессор SAS2108 с памятью DDR2

Плата LSI SAS 9260-8i имеет низкий профиль (форм-фактор MD2), оснащена двумя внутренними разъемами Mini-SAS 4X (каждый из них позволяет подключать до 4 SAS-дисков напрямую или больше - через порт-мультипликаторы), рассчитана на шину PCI Express x8 2.0 и поддерживает RAID-массивы уровней 0, 1, 5, 6, 10, 50 и 60, динамическую функциональность SAS и мн. др. Контроллер LSI SAS 9260-8i можно устанавливать как в рэковые серверы формата 1U и 2U (серверы классов Mid и High-End), так и в корпуса ATX и Slim-ATX (для рабочих станций). Поддержка RAID производится аппаратно - встроенным процессором LSI SAS2108 (ядро PowerPC на частоте 800 МГц), доукомплектованным 512 Мбайт памяти DDR2 800 МГц с поддержкой ECC. LSI обещает скорость работы процессора с данными до 2,8 Гбайт/с при чтении и до 1,8 Гбайт/с при записи. Среди богатой функциональности адаптера стоит отметить функции Online Capacity Expansion (OCE), Online RAID Level Migration (RLM) (расширение объема и изменение типа массивов «на ходу»), SafeStore Encryption Services и Instant secure erase (шифрование данных на дисках и безопасное удаление данных), поддержку твердотельных накопителей (технология SSD Guard) и мн. др. Опционально доступен батарейный модуль для этого контроллера (с ним максимальная рабочая температура не должна превышать +44,5 градусов Цельсия).

Контроллер LSI SAS 9260-8i: основные технические характеристики

Системный интерфейс	PCI Express x8 2.0 (5 ГТ/с), Bus Master DMA
Дисковый интерфейс	SAS-2 6 Гбит/с (поддержка протоколов SSP, SMP, STP и SATA)
Число портов SAS	8 (2 разъема x4 Mini-SAS SFF8087), поддержка до 128 накопителей через порт-мультипликаторы
Поддержка RAID	уровни 0, 1, 5, 6, 10, 50, 60
Процессор	LSI SAS2108 ROC (PowerPC @ 800 МГц)
Встроенная кеш-память	512 Мбайт ECC DDR2 800 МГц
Энергопотребление, не более	24 Вт (питание +3,3 В и +12 В от слота PCIe)
Диапазон температур работы/хранения	0…+60 °С / −45…+105 °С
Форм-фактор, габариты	MD2 low-profile, 168×64,4 мм
Значение MTBF	>2 млн. ч
Гарантия производителя	3 года

Типичные применения LSI MegaRAID SAS 9260-8i производитель обозначил так: разнообразные видеостанции (видео по запросу, видеонаблюдение, создание и редактирование видео, медицинские изображения), высокопроизводительные вычисления и архивы цифровых данных, многообразные серверы (файловый, веб, почтовый, базы данных). В общем, подавляющее большинство задач, решаемых в малом и среднем бизнесе.

В бело-оранжевой коробке с легкомысленно улыбающимся зубастым дамским личиком на «титуле» (видимо, чтобы лучше завлечь бородатых сисадминов и суровых систембилдеров) находится плата контроллера, брекеты для ее установки в корпуса ATX, Slim-ATX и пр., два 4-дисковых кабеля с разъемами Mini-SAS на одном конце и обычным SATA (без питания) - на другом (для подключения до 8 дисков к контроллеру), а также CD с PDF-документацией и драйверами для многочисленных версий Windows, Linux (SuSE и RedHat), Solaris и VMware.

Комплект поставки коробочной версии контроллера LSI MegaRAID SAS 9260-8i (мини-платка ключа MegaRAID Advanced Services Hardware Key поставляется по отдельному запросу)

Со специальным аппаратным ключом (он поставляется отдельно) для контроллера LSI MegaRAID SAS 9260-8i доступны программные технологии LSI MegaRAID Advanced Services: MegaRAID Recovery, MegaRAID CacheCade, MegaRAID FastPath, LSI SafeStore Encryption Services (их рассмотрение выходит за рамки данной статьи). В частности, в плане повышения производительности массива традиционных дисков (HDD) при помощи добавленного в систему твердотельного накопителя (SSD) будет полезна технология MegaRAID CacheCade, при помощи которой SSD выступает кешем второго уровня для массива HDD (аналог гибридного решения для HDD), в отдельных случаях обеспечивая повышение производительности дисковой подсистемы до 50 раз. Интерес представляет также решение MegaRAID FastPath, при помощи которого уменьшаются задержка обработки процессором SAS2108 операций ввода-вывода (за счет отключения оптимизации под НЖМД), что позволяет ускорить работу массива из нескольких твердотельных накопителей (SSD), подключенных напрямую к портам SAS 9260-8i.

Операции по конфигурированию, настройке и обслуживанию контроллера и его массивов удобнее производить в фирменном менеджере в среде операционной системы (настройки в меню BIOS Setup самого контроллера недостаточно богаты - доступны только базовые функции). В частности, в менеджере за несколько кликов мышкой можно организовать любой массив и установить политики его работы (кеширование и пр.) - см. скриншоты.

Примеры скриншотов Windows-менеджера по конфигурированию массивов RAID уровней 5 (вверху) и 1 (внизу).

Тестирование

Для знакомства с базовой производительностью LSI MegaRAID SAS 9260-8i (без ключа MegaRAID Advanced Services Hardware Key и сопутствующих технологий) мы использовали пять высокопроизводительных SAS-накопителей со скоростью вращения шпинделя 15 тыс. об/мин и поддержкой интерфейса SAS-2 (6 Гбит/с) - Hitachi Ultrastar 15K600 HUS156030VLS600 емкостью по 300 Гбайт.

Жесткий диск Hitachi Ultrastar 15K600 без верхней крышки

Это позволит нам протестировать все базовые уровни массивов - RAID 6, 5, 10, 0 и 1, причем не только при минимальном для каждого из них числе дисков, но и «на вырост», то есть при добавлении диска во второй из 4-канальных SAS-портов чипа ROC. Отметим, что у героя этой статьи есть упрощенный аналог - 4-портовый контроллер LSI MegaRAID SAS 9260-4i на той же элементной базе. Поэтому наши тесты 4-дисковых массивов с тем же успехом применимы и к нему.

Максимальная скорость последовательного чтения/записи полезных данных для Hitachi HUS156030VLS600 составляет около 200 Мбайт/с (см. график). Среднее время случайного доступа при чтении (по спецификациям) - 5,4 мс. Встроенный буфер - 64 Мбайт.

График скорости последовательного чтения/записи диска Hitachi Ultrastar 15K600 HUS156030VLS600

Тестовая система была основана на процессоре Intel Xeon 3120, материнской плате с чипсетом Intel P45 и 2 Гбайт памяти DDR2-800. SAS-контроллер устанавливался в слот PCI Express x16 v2.0. Испытания проводились под управлением операционных систем Windows XP SP3 Professional и Windows 7 Ultimate SP1 x86 (чистые американские версии), поскольку их серверные аналоги (Windows 2003 и 2008 соответственно) не позволяют работать некоторым из использованных нами бенчмарков и скриптов. В качестве тестов использовались программы AIDA64, ATTO Disk Benchmark 2.46, Intel IOmeter 2006, Intel NAS Performance Toolkit 1.7.1, C’T H2BenchW 4.13/4.16, HD Tach RW 3.0.4.0 и за компанию Futuremark PCMark Vantage и PCMark05. Тесты проводились как на неразмеченных томах (IOmeter, H2BenchW, AIDA64), так и на отформатированных разделах. В последнем случае (для NASPT и PCMark) результаты снимались как для физического начала массива, так и для его середины (тома массивов максимально доступной емкости разбивались на два равновеликих логических раздела). Это позволяет нам более адекватно оценивать производительность решений, поскольку самые быстрые начальные участки томов, на которых проводятся файловые бенчмарки большинством обозревателей, зачастую не отражают ситуации на остальных участках диска, которые в реальной работе также могут использоваться весьма активно.

Все тесты проводились пятикратно и результаты усреднялись. Подробнее нашу обновленную методику оценки профессиональных дисковых решений мы рассмотрим в отдельной статье.

Остается добавить, что при данном тестировании мы использовали версию прошивки контроллера 12.12.0-0036 и драйверы версии 4.32.0.32. Кеширование записи и чтения для всех массивов и дисков было активировано. Возможно, использование более современной прошивки и драйверов уберегло нас от странностей, замеченных в результатах ранних тестов такого же контроллера . В нашем случае подобных казусов не наблюдалось. Впрочем, и весьма сомнительный по достоверности результатов скрипт FC-Test 1.0 (который в определенных случаях тем же коллегам «хочется назвать разбродом, шатанием и непредсказуемостью») мы тоже в нашем пакете не используем, поскольку ранее многократно замечали его несостоятельность на некоторых файловых паттернах (в частности, наборах множества мелких, менее 100 Кбайт, файлов).

На диаграммах ниже приведены результаты для 8 конфигураций массивов:

1. RAID 0 из 5 дисков;
2. RAID 0 из 4 дисков;
3. RAID 5 из 5 дисков;
4. RAID 5 из 4 дисков;
5. RAID 6 из 5 дисков;
6. RAID 6 из 4 дисков;
7. RAID 1 из 4 дисков;
8. RAID 1 из 2 дисков.

Под массивом RAID 1 из четырех дисков (см. скриншот выше) в компании LSI, очевидно, понимают массив «страйп+зеркало», обычно обозначаемый как RAID 10 (это подтверждают и результаты тестов).

Результаты тестирования

Чтобы не перегружать веб-страницу обзора бесчисленным набором диаграмм, порой малоинформативных и утомляющих (чем нередко грешат некоторые «оголтелые коллеги»:)), мы свели детальные результаты некоторых тестов в таблицу . Желающие проанализировать тонкости полученных нами результатов (например, выяснить поведение фигурантов в наиболее критичных для себя задачах) могут сделать это самостоятельно. Мы же сделаем упор на наиболее важных и ключевых результатах тестов, а также на усредненных показателях.

Сначала взглянем на результаты «чисто физических» тестов.

Среднее время случайного доступа к данным при чтении на единичном диске Hitachi Ultrastar 15K600 HUS156030VLS600 составляет 5,5 мс. Однако при организации их в массивы этот показатель немного меняется: уменьшается (благодаря эффективному кешированию в контроллере LSI SAS9260) для «зеркальных» массивов и увеличивается - для всех остальных. Наибольший рост (примерно на 6%) наблюдается для массивов уровня 6, поскольку при этом контроллеру приходится одновременно обращаться к наибольшему числу дисков (к трем для RAID 6, к двум - для RAID 5 и к одному для RAID 0, поскольку обращение в этом тесте происходит блоками размером всего 512 байт, что существенно меньше размера блоков чередования массивов).

Гораздо интереснее ситуация со случайным доступом к массивам при записи (блоками по 512 байт). Для единичного диска этот параметр равен около 2,9 мс (без кеширования в хост-контроллере), однако в массивах на контроллере LSI SAS9260 мы наблюдаем существенное уменьшение этого показателя - благодаря хорошему кешированию записи в SDRAM-буфере контроллера объемом 512 Мбайт. Интересно, что наиболее кардинальный эффект получается для массивов RAID 0 (время случайного доступа при записи падает почти на порядок по сравнению с одиночным накопителем)! Это несомненно должно благотворно отразиться на быстродействии таких массивов в ряде серверных задач. В то же время, и на массивах с XOR-вычислениями (то есть высокой нагрузкой на процессор SAS2108) случайные обращения на записи не приводят к явному проседанию быстродействия - снова благодаря мощному кешу контроллера. Закнонмерно, что RAID 6 здесь чуть медленнее, чем RAID 5, однако разница между ними, по сути, несущественна. Несколько удивило в этом тесте поведение одиночного «зеркала», показавшего самый медленный случайный доступ при записи (возможно, это «фича» микрокода данного контроллера).

Графики скорости линейного (последовательного) чтения и записи (крупными блоками) для всех массивов не имеют каких-либо особенностей (для чтения и записи они практически идентичны при условии задействования кеширования записи контроллера) и все они масштабируются согласно количеству дисков, параллельно участвующих в «полезном» процессе. То есть для пятидискового RAID 0 дисков скорость «упятеряется» относительно одиночного диска (достигая показателя в 1 Гбайт/с!), для пятидискового RAID 5 она «учетверяется», для RAID 6 - «утрояется» (утраивается, конечно же:)), для RAID 1 из четырех дисков - удваивается (никаких «у2яица»! :)), а для простого зеркала - дублирует графики одиночного диска. Эта закономерность наглядно видна, в частности, по показателям максимальной скорости чтения и записи реальных крупных (256 Мбайт) файлов большими блоками (от 256 Кбайт до 2 Мбайт), что мы проиллюстрируем диаграммой теста ATTO Disk Benchmark 2.46 (результаты этого теста для Windows 7 и XP практически идентичны).

Здесь из общей картины неожиданно выпал лишь случай чтения файлов на массиве RAID 6 из 5 дисков (результаты многократно перепроверены). Впрочем, для чтения блоками 64 Кбайт скорость данного массива набирает положенные ему 600 Мбайт/с. Так что спишем данный факт на «фичу» текущей прошивки. Отметим также, что при записи реальных файлов скорость чуть повыше благодаря кешированию в большом буфере контроллера, причем разница с чтением тем ощутимее, чем меньше реальная линейная скорость массива.

Что же касается скорости интерфейса, измеряемой обычно по показателям записи и чтения буфера (многократные обращения по одному и тому же адресу дискового тома), то здесь мы вынуждены констатировать, что почти для всех массивов она оказалась одинакова благодаря включению кеша контроллера для этих массивов (см. таблицу). Так, показатели при записи для всех участников нашего теста составили примерно 2430 Мбайт/с. Заметим, что шина PCI Express x8 2.0 теоретически дает скорость 40 Гбит/с или 5 Гбайт/с, однако по полезным данным теоретический предел пониже - 4 Гбайт/с, и значит, в нашем случае контроллер действительно работал по версии 2.0 шины PCIe. Таким образом, измеренные нами 2,4 Гбайт/с - это, очевидно, реальная пропускная способность набортной памяти контроллера (память DDR2-800 при 32-битной шине данных, что видно из конфигурации ECC-чипов на плате, теоретически дает до 3,2 Гбайт/с). При чтении же массивов кеширование не столь «всеобъемлюще», как при записи, поэтому и измеряемая в утилитах скорость «интерфейса», как правило, ниже скорости чтения кеш-памяти контроллера (типичные 2,1 Гбайт/с для массивов уровней 5 и 6), и в некоторых случаях она «падает» до скорости чтения буфера самих жестких дисков (около 400 Мбайт/с для одиночного винчестера, см. график выше), помноженной на число «последовательных» дисков в массиве (это как раз случаи RAID 0 и 1 из наших результатов).

Что ж, с «физикой» мы в первом приближении разобрались, пора переходить к «лирике», то есть к тестам «реальных» пацанов приложений. К слову, интересно будет выяснить, масштабируется ли производительность массивов при выполнении комплексных пользовательских задач так же линейно, как она масштабируется при чтении и записи крупных файлов (см. диаграмму теста ATTO чуть выше). Пытливый читатель, надеюсь, уже смог предугадать ответ на этот вопрос.

В качестве «салата» к нашей «лирической» части трапезы подадим десктопные по своей природе дисковые тесты из пакетов PCMark Vantage и PCMark05 (под Windows 7 и XP соответственно), а также похожий на них «трековый» тест приложений из пакета H2BenchW 4.13 авторитетного немецкого журнала C’T. Да, эти тесты исходно создавались для оценки жестких дисков настольных ПК и недорогих рабочих станций. Они эмулируют выполнение на дисках типичных задач продвинутого персонального компьютера - работу с видео, аудио, «фотошопом», антивирусом, играми, своп-файлом, установкой приложений, копированием и записью файлов и др. Поэтому и их результаты в контексте данной статьи не стоит воспринимать как истину в последней инстанции - все-таки на многодисковых массивах чаще выполняются иные задачи. Тем не менее, в свете того, что сам производитель позиционирует данный RAID-контроллер, в том числе, для относительно недорогих решений, подобный класс тестовых задач вполне способен характеризовать некоторую долю приложений, которые в реальности будут выполняться на таких массивах (та же работа с видео, профессиональная обработка графики, свопирование ОС и ресурсоемких приложений, копирование файлов, анитивирус и пр.). Поэтому и значение этих трех комплексных бенчмарков в нашем общем пакете не стоит недооценивать.

В популярном PCMark Vantage в среднем (см. диаграмму) мы наблюдаем очень примечательный факт - производительность данного многодискового решения почти не зависит от типа используемого массива! К слову, в определенных пределах это вывод справедлив и для всех отдельных тестовых треков (типов задач), входящих в состав пакетов PCMark Vantage и PCMark05 (детали см. в таблице). Это может означать либо то, что алгоритмы прошивки контроллера (с кешем и дисками) почти не учитывают специфику работы приложений подобного типа, либо то, что основная часть данных задач выполняется в кеш-памяти самого контроллера (а скорее всего мы наблюдаем комбинацию этих двух факторов). Впрочем, для последнего случая (то есть выполнения треков в большой мере в кеше RAID-коннтроллера) средняя производительность решений оказывается не такой уж высокой - сравните эти данные с результатами тестов некоторых «десктопных» («чипсетаных») 4-дисковых массивов RAID 0 и 5 и недорогих одиночных SSD на шине SATA 3 Гбит/с (см. обзор). Если по сравнению с простым «чипсетным» 4-дисковым RAID 0 (причем на вдвое более медленных винчестерах, чем примененные здесь Hitachi Ultrastar 15K600) массивы на LSI SAS9260 быстрее в тестах PCMark менее чем вдвое, то относительно даже не самого быстрого «бюджетного» одиночного SSD все они однозначно проигрывают! Результаты дискового теста PCMark05 дают аналогичную картину (см. табл .; рисовать отдельную диаграмму для них смысла нет).

Похожую картину (с отдельными оговорками) для массивов на LSI SAS9260 можно наблюдать в еще одном «трековом» бенчмарке приложений - C’T H2BenchW 4.13. Здесь лишь два наиболее медленных (по строению) массива (RAID 6 из 4 дисков и простое «зеркало») заметно отстают от всех остальных массивов, производительность которых, очевидно, достигает того «достаточного» уровня, когда она упирается уже не в дисковую подсистему, а в эффективность работы процессора SAS2108 c кеш-памятью контроллера при данных комплексных последовательностях обращений. А радовать нас в этом контексте может то, что производительность массивов на базе LSI SAS9260 в задачах такого класса почти не зависит от типа используемого массива (RAID 0, 5, 6 или 10), что позволяет использовать более надежные решения без ущерба для итоговой производительности.

Впрочем, «не все коту Масленица» - если мы изменим тесты и проверим работу массивов с реальными файлами на файловой системе NTFS, то картина кардинально изменится. Так, в тесте Intel NASPT 1.7, многие из «предустановленных» сценариев которого имеют достаточно прямое отношение к задачам, типичным для компьютеров, оснащенных контроллером LSI MegaRAID SAS9260-8i, диспозиция массивов похожа на ту, что мы наблюдали в тесте ATTO при чтении и записи крупных файлов - быстродействие пропорционально нарастает по мере роста «линейной» скорости массивов.

На этой диаграмме мы приводим усредненный по всем тестам и паттернам NASPT показатель, тогда как в таблице можно видеть детальные результаты. Подчеркну, что NASPT прогонялся нами как под Windows XP (так обычно поступают многочисленные обозреватели), так и под Windows 7 (что в силу определенных особенностей этого теста делается реже). Дело в том, что Seven (и ее «старший братец» Windows 2008 Server) используют более агрессивные алгоритмы собственного кеширования при работе с файлами, нежели XP. Кроме того, копирование крупных файлов в «Семерке» происходит преимущественно блоками по 1 Мбайт (XP, как правило, оперирует блоками по 64 Кбайт). Это приводит к тому, что результаты «файлового» теста Intel NASPT существенно различаются в Windows XP и Windows 7 - в последней они намного выше, порой более чем вдвое! К слову, мы сравнили результаты NASPT (и других тестов нашего пакета) под Windows 7 с 1 Гбайт и 2 Гбайт установленной системной памяти (есть информация, что при больших объемах системной памяти кеширование дисковых операций в Windows 7 усиливается и результаты NASPT становятся еще выше), однако в пределах погрешности измерений мы не нашли никакой разницы.

Споры о том, под какой ОС (в плане политик кеширования и пр.) «лучше» тестировать диски и RAID-контроллеры, мы оставляем для ветки обсуждений этой статьи. Мы же считаем, что тестировать накопители и решения на их основе надо в условиях, максимально приближенных к реальным ситуациям их эксплуатации. Именно поэтому равную ценность, на наш взгляд, имеют результаты, полученные нами для обеих ОС.

Но вернемся к диаграмме усредненной производительности в NASPT. Как видим, разница между самым быстрым и самым медленным из протестированных нами массивов здесь составляет в среднем чуть менее трех раз. Это, конечно, не пятикратный разрыв, как при чтении и записи крупны файлов, но тоже весьма ощутимо. Массивы расположились фактически пропорционально своей линейной скорости, и это не может не радовать: значит, процессор LSI SAS2108 достаточно шустро обрабатывает данные, почти не создавая узких мест при активной работе массивов уровней 5 и 6.

Справедливости ради нужно отметить, что и в NASPT есть паттерны (2 из 12), в которых наблюдается та же картина, что и в PCMark c H2BenchW, а именно что производительность всех протестированных массивов практически одинакова! Это Office Productivity и Dir Copy to NAS (см. табл.). Особенно явно это под Windows 7, хотя и для Windows XP тенденция «сближения» налицо (по сравнению с другими паттернами). Впрочем, и в PCMark c H2BenchW есть паттерны, где налицо рост производительности массивов пропорционально их линейной скорости. Так что все не так просто и однозначно, как может некоторым хотелось бы.

Поначалу я хотел обсудить диаграмму с общими показателями быстродействия массивов, усредненными по всем тестам приложений (PCMark+H2BenchW+NASPT+ATTO), то есть вот эту:

Однако обсуждать здесь особо нечего: мы видим, что поведение массивов на контроллере LSI SAS9260 в тестах, эмулирующих работу тех или иных приложений, может кардинально различаться в зависимости от применяемых сценариев. Поэтому выводы о пользе той или иной конфигурации лучше делать, исходя из того, какие именно задачи вы собираетесь при этом выполнять. И в этом нам может заметно помочь еще один профессиональный тест - синтетические паттерны для IOmeter, эмулирующие ту или иную нагрузку на систему хранения данных.

Тесты в IOmeter

В данном случае мы опустим обсуждение многочисленных паттернов, тщательно измеряющих скорость работы в зависимости от размера блока обращения, процента операций записи, процента случайных обращений и пр. Это, по сути, чистая синтетика, дающая мало полезной практической информации и представляющая интерес скорее чисто теоретически. Ведь основные практические моменты касательно «физики» мы уже выяснили выше. Нам важнее сосредоточиться на паттернах, эмулирующих реальную работу - серверов различного типа, а также операций с файлами.

Для эмуляции серверов типа File Server, Web Server и DataBase (сервер базы данных) мы воспользовались одноименными и хорошо известными паттернами, предложенными в свое время Intel и StorageReview.com. Для всех случаев мы протестировали массивы при глубине очереди команд (QD) от 1 до 256 с шагом 2.

В паттерне «База данных», использующих случайные обращения к диску блоками по 8 Кбайт в пределах всего объема массива, можно наблюдать существенное преимущество массивов без контроля четности (то есть RAID 0 и 1) при глубине очереди команд от 4 и выше, тогда как все массивы с контролем четности (RAID 5 и 6) демонстрируют очень близкое быстродействие (несмотря на двукратное различие между ними в скорости линейных обращений). Ситуация объясняется просто: все массивы с контролем четности показали в тестах на среднее время случайного доступа близкие значения (см. диаграмму выше), а именно этот параметр в основном определяет производительность в данном тесте. Интересно, что быстродействие всех массивов нарастает практически линейно с ростом глубины очереди команд вплоть до 128, и лишь при QD=256 для некоторых случаев можно видеть намек на насыщение. Максимальная производительность массивов с контролем четности при QD=256 составила около 1100 IOps (операций в секунду), то есть на обработку одной порции данных в 8 Кбайт процессор LSI SAS2108 тратит менее 1 мс (около 10 млн однобайтовых XOR-операций в секунду для RAID 6; разумеется, процессор при этом выполняет параллельно и другие задачи по вводу-выводу данных и работе с кеш-памятью).

В паттерне файлового сервера, использующего блоки разного размера при случайных обращениях чтения и записи к массиву в пределах всего его объема, мы наблюдаем похожую на DataBase картину с той разницей, что здесь пятидисковые массивы с контролем четности (RAID 5 и 6) заметно обходят по скорости свои 4-дисковые аналоги и демонстрируют при этом почти идентичную производительность (около 1200 IOps при QD=256)! Видимо, добавление пятого диска на второй из двух 4-канальных SAS-портов контроллера каким-то образом оптимизирует вычислительные нагрузки на процессор (за счет операций ввода-вывода?). Возможно, стоит сравнить по скорости 4-дисковые массивы, когда накопители попарно подключены к разным Mini-SAS-разъемам контроллера, чтобы выявить оптимальную конфигурацию для организации массивов на LSI SAS9260, но это уже задача для другой статьи.

В паттерне веб-сервера, где, по замыслу его создателей, отсутствуют как класс операции записи на диск (а значит, и вычисление XOR-функций на запись), картина становится еще интереснее. Дело в том, что все три пятидисковых массива из нашего набора (RAID 0, 5 и 6) показывают здесь идентичное быстродействие, несмотря на заметную разницу между ними по скорости линейного чтения и вычислений по контролю четности! К слову, эти же три массива, но из 4 дисков, также идентичны по скорости друг другу! И лишь RAID 1 (и 10) выпадает из общей картины. Почему так происходит, судить сложно. Возможно, контроллер имеет очень эффективные алгоритмы выборки «удачных дисков» (то есть тех из пяти или четырех дисков, с которых первыми приходят нужные данные), что в случае RAID 5 и 6 повышает вероятность более раннего поступления данных с пластин, заранее подготавливая процессор для нужных вычислений (вспомним про глубокую очередь команд и большой буфер DDR2-800). А это в итоге может скомпенсировать задержку, связанную с XOR-вычислениями и уравнивает их в «шансах» с «простым» RAID 0. В любом случае, контроллер LSI SAS9260 можно только похвалить за экстремально высокие результаты (около 1700 IOps для 5-дисковых массивов при QD=256) в паттерне Web Server для массивов с контролем четности. К сожалению, ложкой дегтя стала весьма низкая производительность двухдискового «зеркала» во всех этих серверных паттернах.

Паттерну Web Server вторит наш собственный паттерн, эмулирующий случайное чтение небольших (64 Кбайт) файлов в пределах всего пространства массива.

Снова результаты объединились в группы - все 5-дисковые массивы идентичны друг другу по скорости и лидируют в нашем «забеге», 4-дисковые RAID 0, 5 и 6 тоже не отличить друг от друга по производительности, и лишь «зеркалки» выпадают из общей массы (к слову, 4 дисковая «зеркалка», то есть RAID 10 оказывается быстрее всех остальных 4-дисковых массивов - видимо, за счет того же самого алгоритма «выбора удачного диска»). Подчеркнем, что данные закономерности справедливы лишь для большой глубины очереди команд, тогда как при малой очереди (QD=1-2) ситуация и лидеры могут быть совсем иными.

Все меняется при работе серверов с крупными файлами. В условиях современного «потяжелевшего» контента и новых «оптимизированных» ОС типа Windows 7, 2008 Server т.п. работа с мегабайтными файлами и блоками данных по 1 Мбайт приобретает все более важное значение. В этой ситуации наш новый паттерн, эмулирующий случайное чтение 1-мегабайтных файлов в пределах всего диска (детали новых паттернов будут описаны в отдельной статье по методике), оказывается как нельзя кстати, чтобы более полно оценить серверный потенциал контроллера LSI SAS9260.

Как видим, 4-дисковое «зеркало» здесь уже никому не оставляет надежд на лидерство, явно доминируя при любой очереди команд. Его производительность также сначала растет линейно с ростом глубины очереди команд, однако при QD=16 для RAID 1 она выходит на насыщение (скорость около 200 Мбайт/с). Чуть «позже» (при QD=32) «насыщение» производительности наступает у более медленных в этом тесте массивов, среди которых «серебро» и «бронзу» приходится отдать RAID 0, а массивы с контролем четности оказываются в аутсайдерах, уступив даже прежде не блиставшему RAID 1 из двух дисков, который оказывается неожиданно хорош. Это приводит нас к выводу, что даже при чтении вычислительная XOR-нагрузка на процессор LSI SAS2108 при работе с крупными файлами и блоками (расположенными случайным образом) оказывается для него весьма обременительна, а для RAID 6, где она фактически удваивается, порой даже непомерна - производительность решений едва превышает 100 Мбайт/с, то есть в 6-8 раз ниже, чем при линейном чтении! «Избыточный» RAID 10 здесь применять явно выгоднее.

При случайной записи мелких файлов картина снова разительно отличается от тех, что мы видели ранее.

Дело в том, что здесь уже производительность массивов практически не зависит от глубины очереди команд (очевидно, сказывается огромный кеш контроллера LSI SAS9260 и немаленькие кеши самих винчестеров), зато кардинально меняется с типом массива! В безоговорочных лидерах тут «простенькие» для процессора RAID 0, а «бронза» с более чем двукратным проигрышем лидеру - у RAID 10. Все массивы с контролем четности образовали очень тесную единую группу с двухдисковой зеркалкой (детали по ним приведены на отдельной диаграмме под основной), троекратно проигрывая лидерам. Да, это, безусловно, тяжелая нагрузка на процессор контроллера. Однако такого «провала» я, откровенно говоря, от SAS2108 не ожидал. Порой даже софтовый RAID 5 на «чипсетом» SATA-контроллере (с кешированием средствами Windows и обсчетом при помощи центрального процессора ПК) способен работать шустрее… Впрочем, «свои» 440-500 IOps контроллер при этом все-таки выдает стабильно - сравните это с диаграммой по среднему времени доступа при записи в начале раздела результатов.

Переход на случайную запись крупных файлов по 1 Мбайт приводит к росту абсолютных показателей скорости (для RAID 0 - почти до значений при случайном чтении таких файлов, то есть 180-190 Мбайт/с), однако общая картина почти не меняется - массивы с контролем четности в разы медленнее RAID 0.

Любопытна картина для RAID 10 - его производительность падает с ростом глубины очереди команд, хотя и не сильно. Для остальных массивов такого эффекта нет. Двухдискове «зеркало» здесь снова выглядит скромно.

Теперь посмотрим на паттерны, в которых файлы в равных количествах читаются и пишутся на диск. Такие нагрузки характерны, в частности, для некоторых видеосерверов или при активном копировании/дуплицировании/резервировании файлов в пределах одного массива, а также в случае дефрагментации.

Сначала - файлы по 64 Кбайт случайным образом по всему массиву.

Здесь очевидно некоторое сходство с результатами паттерна DataBase, хотя абслютные скорости у массивов раза в три повыше, да и при QD=256 уже заметно некоторое насыщение производительности. Больший (по сравнению с паттерном DataBase) процент операций записи в этом случае приводит к тому, что массивы с контролем четности и двухдисковое «зеркало» становятся явными аутсайдерами, существенно уступая по скорости массивам RAID 0 и 10.

При переходе на файлы по 1 Мбайт данная закономерность в целом сохраняется, хотя абсолютные скорости примерно утраиваются, а RAID 10 становится таким же быстрым, как 4-дисковый «страйп», что не может не радовать.

Последним паттерном в этой статье будет случай последовательного (в противовес случайным) чтения и записи крупных файлов.

И тут уже многим массивам удается разогнаться до весьма приличных скоростей в районе 300 Мбайт/с. И хотя более чем двукратный разрыв между лидером (RAID 0) и аутсайдером (двухдисковый RAID 1) сохраняется (заметим, что при линейном чтении ИЛИ записи этот разрыв пятикратен!), вошедший в тройку лидеров RAID 5, да и подтянувшиеся остальные XOR-массивы не могут не обнадеживать. Ведь если судить по тому перечню применений данного контроллера, который приводит сама LSI (см. начало статьи), многие целевые задачи будут использовать именно данный характер обращений к массивам. И это определенно стоит учитывать.

В заключение приведу итоговую диаграмму, в которой усреднены показатели всех озвученных выше паттернов теста IOmeter (геометрически по всем паттернам и очередям команд, без весовых коэффициентов). Любопытно, что если усреднение данных результатов внутри каждого паттерна проводить арифметически с весовыми коэффициентами 0,8, 0,6, 0,4 и 0,2 для очередей команд 32, 64, 128 и 256 соответственно (что условно учитывает падение доли операций с высокой глубиной очереди команд в общей работе накопителей), то итоговый (по всем паттернам) нормированный индекс быстродействия массивов в пределах 1% совпадет со средним геометрическим.

Итак, средняя «температура по больнице» в наших паттернах для теста IOmeter показывает, что от «физики с матемачихой» никуда не уйти - однозначно лидируют RAID 0 и 10. Для массивов с контролем четности чуда не произошло - процессор LSI SAS2108 хоть и демонстрирует в некоторых случаях приличную производительность, в целом не может «дотянуть» такие массивы до уровня простого «страйпа». При этом интересно, что 5-дисковые конфигурации явно прибавляют по сравнению с 4 дисковыми. В частности, 5-дисквый RAID 6 однозначно быстрее 4-дискового RAID 5, хотя по «физике» (времени случайного доступа и скорости линейного доступа) они фактически идентичны. Также огорчило двухдисковое «зеркало» (в среднем оно равноценно 4-дисковому RAID 6, хотя для зеркала двух XOR-вычислений на каждый бит данных не требуется). Впрочем, простое «зеркало» - это очевидно не целевой массив для достаточно мощного 8-портового SAS-контроллера с большим кешем и мощным процессором «на борту». :)

Ценовая информация

8-портовый SAS-контроллер LSI MegaRAID SAS 9260-8i с полным комплектом предлагается по цене в районе 500 долларов, что можно считать достаточно привлекательным. Его упрощенный 4-портовый аналог еще дешевле. Более точная текущая средняя розничная цена устройства в Москве, актуальная на момент чтения вами данной статьи:

LSI SAS 9260-8i	LSI SAS 9260-4i
$571()	$386()

Заключение

Суммируя сказано выше, можно заключить, что единых рекомендаций «для всех» по 8-портовому контроллеру LSI MegaRAID SAS9260-8i мы давать не рискнем. О необходимости его использования и конфигурирования тех или иных массивов с его помощью каждый должен делать выводы самостоятельно - строго исходя из того класса задач, которые предполагается при этом запускать. Дело в том, что в одних случаях (на одних задачах) этот недорогой «мегамонстр» способен показать выдающуюся производительность даже на массивах с двойным контролем четности (RAID 6 и 60), однако в других ситуациях скорость его RAID 5 и 6 явно оставляет желать лучшего. И спасением (почти универсальным) станет лишь массив RAID 10, который почти с тем же успехом можно организовать и на более дешевых контроллерах. Впрочем, нередко именно благодаря процессору и кеш-памяти SAS9260-8i массив RAID 10 ведет себя здесь ничуть не медленнее «страйпа» из того же числа дисков, обеспечивая при этом высокую надежность решения. А вот чего однозначно стоит избегать с SAS9260-8i, так это двухдисковой «зеркалки» и 4-дисковых RAID 6 и 5 - для данного контроллера это очевидно неоптимальные конфигурации.

Благодарим компанию Hitachi Global Storage Technologies
за предоставленные для тестов жесткие диски.

Если дисков компьютере пара-тройка, подключение их простое. Но если дисков захотелось много - возникают особенности. На КДПВ SAS кабель с Али, уже проскакивавший в прошлом , так неожиданно тепло встреченным сообществом. Спасибо, камрады. Попробую затронуть тему, потенциально полезную чуть более широкому кругу. Хотя и специфическую. Начну с этого кабеля и обязательной программы, но только для затравки. Разные кусочки пазла приходится собирать в разных местах.
Хочу сразу предупредить, что текст получился плотный и довольно тяжёлый. Заставлять себя читать и понять всё это уж точно не обязательно. Много картинок!

Кто-то скажет, 9 баксов за тупой кабель? Что делать, в быту это применяется крайне редко, а на промышленные вещи тиражи ниже, а цены - выше. За сложный SAS кабель и сотню-другую баксов могут не моргнув глазом выставить. Так что китайцы ещё кратно снижают:)

Доставка и упаковка

Заказ 6 мая 2017, получено 17 мая - просто ракета. Трек был.

Обычный серый пакет, внутри ещё один - вполне достаточно, товар не хрупкий.

Спецификация

Мама-папа SFF-8482 SAS 29 пин кабель.
Длина 50 см
Масса нетто 66 г

Картинка продавца

Реальный внешний вид, как видите - отличается

За лишнюю пластмассу продавец получил 4 звезды вместо 5, но на работоспособность не влияет.

Про SAS и SATA разъёмы

Что такое SFF-8482 и с чем его едят? Во-первых, это самый массовый разъём на SAS устройствах (), например, на моём лентопротяге

А ещё SFF-8482 прекрасно садится на SATA диск (но не наоборот)


Сравните, у SATA между данными и питанием промежуток. А у SAS он заполнен пластмассой. Поэтому SATA разъём на SAS устройство не налезет.

Конечно, в этом есть смысл. По сигналам SAS и SATA разные. И SATA контроллер не сможет работать с SAS устройством. A SAS - контроллер сможет и с тем и с другим (хотя встречается совет не смешивать при определённых обстоятельствах, дома вряд ли реальных)

SAS контроллеры и экспандеры

Ну и что, спросит читатель. Что я выигрываю от такой совместимости? Мне и SATA контроллеров достаточно!

Истинная правда! Если достаточно - на этом месте можно нужно бросать читать. Вопрос был что делать, если МНОГО дисков?

Вот так выглядит простенький SAS контроллер из моего зипа - DELL H200.


Мой прошит в HBA, то есть все диски оси видны отдельно

А это древний SAS RAID HP

У обоих мы видим внутренние разъёмы (называются sff 8087 или, чаще, miniSAS) и один внешний - sff 8088

Сколько дисков можно подключить на один miniSAS? Ответ зависит. Тупым кабелем - 4шт, то есть 8 на такой контроллер. Кабель из моего ЗИП выглядит вот так

На одном конце miniSAS, на другом - 4шт SATA (и ещё один разъём, о нём ниже)

Но можно взять miniSAS-miniSAS кабель и подключить к экспандеру, то есть размножителю портов. И контроллер потянет до 256 (двухсот пятидесяти шести) дисков. Причём скорости канала хватит уж на десятки дисков - точно.
Экспандер как отдельная карта выглядит, например, как мой Ченбро

А может быть распаян на дисковой корзине. Тогда в неё может идти всего один miniSAS канал (а может - больше). Вот такими кабелями.


Согласитесь, кабель менеджмент несколько упрощается:)

Корзины

Понятно, диски прекрасно могут работать и без специальных корзин. Но иногда корзины могут быть полезны.

Вот так выглядит SATA корзинка старой модели Супермикро. Можно найти за 1000 р, но скорее за 5+ тыс.


Её лоток для диска


Вид изнутри, видно, что там SATA разъёмы.


Если корзинка SAS - ещё лучше, меньше проводов. Если SCSI или FC - использовать её вы не сможете. Я взял одну 19" FC на пробу - ничего полезного не сделал. Там, правда, лома цветмета оказалось почти на те деньги, за которые купил.


Вид сзади, видим 4 SATA, 2 MOLEX и тот самый порт, что был на кабеле. Предназначен для управления LED активности дисков.

Вот так выглядит одна из самых простых корзинок (моделей много разных, но похожих)


Именно такие уже не продают, так что детали не важны. Просто кусок металла с амортизаторами и карлсоном впереди.

Вот так это выглядело в 2013 году,


Картонный костыль внизу и третья корзина были только на момент для перекачки данных с 2T дисков на 4T. С тех пор работает 24/7.

SAS+SATA у меня

Точнее работало до того, как мне понадобилось подключить лентопротяг. Первым делом я воткнул второй SAS контроллер, купил кабель miniSAS на sff 8482, примерно такой

И включил. Всё заработало, но в режиме 24/7 каждый ватт стоит денег. Я искал переходники с sff 8482 на SATA, но решение оказалось ещё проще. Вы же помните, что SATA диск подключается на SAS sff 8482?

Вот я теперь тоже помню, но тогда пару месяцев тупил:) А потом вынул лишний контроллер, переключил один из дисков на чипсетный порт SATA порт, три остальных на sff 8482. Пришлось менять подключение питания, был разветвитель Molex-SATA, пришлось покупать на Али Molex-много Molex. Вот такой


, всё хорошо.

А лентопротяг переехал в другой корпус именно с использованием обозреваемого кабеля. Но это отдельная песня, а, караул, чувствую, устал:)

Где всё это выгоднее искать

Цены на новое серверное железо для дома запретительны. Так что бу, в том числе из ЗИП от выводимого из эксплуатации оборудования.
Кабели можно найти на месте. За сравнимые деньги на e-bay. На Али - несколько менее вероятно, но бывают исключения - я же купил.
Контроллеры - прежде всего на e-bay, причём из Европы. Можно из США, там сильно дешевле, если как-то решить вопрос с доставкой. Можно найти на Родине - авито. (На комке - дорого). В Китае покупать очень опасно. Множество жалоб на подделку из отбраковки. То работает, то нет. Никому ничего не докажешь.
Корзины разумнее искать локально. Есть даже варианты простейшие корзины покупать новые. Простые корзины без электроники можно брать и в Китае и в Европе и на барахолке. Корзины с экспандерами - см пункт про контроллеры.

ВАЖНО Запутаться - проще, чем потеряться в лесу. Консультируйтесь на форуме. SAS бывает разный -3, 6 и 12 Gb/s. Одни контроллеры шьются в то, что можно использовать с десктоп железом, другие нет, третьи вообще не заживут нигде, кроме матери родного производителя. И так далее.

На хоботе я MikeMac

PS Если для вас это стало выступлением Капитана Очевидность - прошу прощения за отнятое время.
Если бредом сивой кобылы - тем более мои искренние извинения. Трудно балансировать, хотелки, задачи и исходные у каждого свои.

Планирую купить +33 Добавить в избранное Обзор понравился +56 +106