Актуальные протоколы хранения данных и их перспективы

19.10.23СХД

Обеспечить эффективную работу компьютерных сетей и других вычислительных средств можно за счет качественного взаимодействия всех элементов системы ИТ. Интерфейс дает требуемую скорость передачи и обработки информации, но здесь важную роль играет удаленность хранилища и коммуникационных узлов. Удобный и эффективный интерфейс, надежный и практичный протокол для информационного хранилища – настоящее стратегическое преимущество. Как развивались подобные системы и каким сейчас видится их будущее? 

В этой статье предлагается небольшой обзор текущего состояния популярных SAN-протоколов, которые применяются в хранилищах данных. Обсуждается значение SAN-протоколов для использования в государственных и корпоративных системах связи, промышленности, бизнесе и научных исследованиях, где требуется внедрение алгоритмов эффективного хранения и быстрой обработки больших данных.

Fibre Channel (FC)

Разработка популярного протокола Fibre Chan­nel началась еще в конце 1980‑х гг. Целью создателей было обеспечение эффективного функционирования устройств с высокоскоростной передачей данных на существенные расстояния. Утверждение интерфейса Fibre Chan­nel (FC) произошло через ANSI (Американский национальный институт по стандартизации) в 1994 г., когда он начал внедряться в практику работы организаций техносферы.

Это был новый стандарт – открытый, промышленный, последовательный высокоскоростной вариант интерфейса, который способен поддерживать коммутацию сервера и хранилищ на удалении до 100 км. При этом скорость передачи информации достигала 2 Гбит/с.

С использованием протокола Fibre Chan­nel (FC) стала доступной реализация разных топологий соединения: «точка-точка» (Point-to-Point, актуально для соединения двух разных устройств), «петельное» (FC-AL, передача последовательная от одного источника к другому, канал замкнутый), «коммутация» (Fab­ric, передача данных от источника к потребителю).

Преимуществами данного протокола можно назвать:

  • Низкие задержки и высокую пропускную способность;
  • Гибкая топология при подключении рабочих устройств (что было позаимствовано у сетевой технологии);
  • Скоростные характеристики;
  • Возможность работать на существенном удалении от сервера;
  • Увеличение доступности данных и их управляемости (это обеспечивает архитектура FC);
  • Сеть можно масштабировать и включить в нее сотни устройств (сервера и хранилища);
  • Имеются встроенные механизмы flow con­trol (контроль потока), синхронизация портов по временным промежуткам и доступ к повтору информации, которая подверглась сбою (при это не нужно обращаться к протоколу высшего уровня).

Скоро ожидается выход технологии FC в новой версии – на 64 ГБ/с и 128 Гб/с. Важно, что они будут хорошо совместимы с предыдущими версиями, что открывает возможность модернизировать и масштабировать сеть.

Особенность FC, которая в некоторых случаях мешает – это более сложная структура, по сравнению с популярным Eth­er­net. Но у Fibre Chan­nel есть больше способов управления данными и вариантов мониторинга сети.

Аналитики прогнозируют, что в ближайшие годы Fibre Chan­nel так и останется доминантным интерфейсом, подходящим для сетей хранения информации. Но при этом разные группы разработчиков по всему миру занимаются созданием альтернативных проектов. В частности, многие заинтересованы в использовании IP-инфраструктуры, так как там снижается себестоимость SAN-сетей, как и обслуживание в целом.

FCoE (Fibre Channel over Ethernet)

Идея и сама разработка сетевого протокола FCoE заключена в консолидации всех операций по вводу-выводу данных и безопасного хранения на объединенном «проводе» разноплановых видов трафика. Этот проект был необходим для снижения себестоимости управления и содержания всей системы (ТСО). Достичь этого можно за счет сокращения количества всех лишних кабелей, сетевых адаптеров, экономии энергопотребления.

Если проводить сравнение с FC, то тут наблюдается не самый высокий уровень комфорта и эффективности. Доступность, производительность FCoE нельзя сопоставить с уровнем работы FC. Это объяснимо: передача информации все-таки требует дополнительного расхода для инкапсуляции данных в структуру Eth­er­net. Также прибавляется сложность в плане развертки и администрирования всей системы сразу. Это существенно повышает профессиональные требования к сотрудникам и поддержке самого технического решения.

Производители FCoE питали большие надежды на распространение и реальное внедрение своего детища на рынке SAN-протоколов. Однако он по сей день не смог потеснить Fibre Chan­nel. Развитие его идет довольно медленно, поэтому можно прогнозировать минимальное распространение FCoE.

iSCSI (Internet Small Computer System Interface)

Протокол Inter­net SCSI (iSC­SI) – это пример востребованной технологии в ближайшем будущем. Такие разработки нужны для проектирования систем/сетей хранения данных с основой в виде протокола IP. Эта структура помогает существенно упростить обмен через Intranet и глобальные сети, а также обеспечивает удаленный доступ к управлению хранилищем.

Ввиду широкой распространенности IP-сетей этот протокол оптимален для передачи данных посредством LAN, глобальных сетей или Intranet. Он может использоваться для формирования территориально распределяемых хранилищ. Особенности iSC­SI и его низкобюджетное решение делает протокол востребованным в организациях с развитыми SAN-сетями на базе Fibre Chan­nel. Здесь iSC­SI способствует удобной консолидации удаленных сетевых ресурсов и подключению серверов начального уровня к централизованной инфраструктуре хранения.

Если оценивать производительность этой технологии и делать сравнение с FC, то функционал у них почти аналогичный, особенно в отношении организации общей работы сетевого хранилища, серверов. Но есть минус – пропускная способность всего 1 Гбит/с, а у FC она в два раза выше – 2 Гбит/с. Однако все же есть серьезный плюс: можно передавать данные по обычной IP-сети между удаленными центрами вычислений и серверами, чего не может Fibre Channel.

Сейчас устройства с базовым iSC­SI-протоколом уже давно есть у известных крупных корпораций – IBM, Adaptec, Cis­co, Intel, Qlog­ic и не только. Развитие и перспективы использования iSC­SI очень позитивные, в будущем эта разработка поможет многим пользователям применить все преимущества SAN-сетей хранения данных, что актуально для предприятий средних масштабов. Такой протокол снижает все инвестиции в эксплуатацию систем хранения, существенно упрощает управление благодаря консолидации. Можно быстро и просто обеспечить процессы резервного копирования, как в сетевом хранении.

NFS (Network File System) и SMB (Server Message Block)

Также в сфере сетевого доступа немаловажна роль протоколов NFS и SMB в современных хранилищах данных.

NFS (Net­work File Sys­tem) был разработан еще в 1984 г. компанией Sun Microsys­tems и представляет собой протокол доступа к файловой системе на сервере.

Плюсы NFS:

  • Простая конфигурация;
  • Легкое администрирование (применяется от поверх Ethernet);
  • Скорость, степень задержки варьируются исключительно от реализации нижнего уровня сети, в основном это связано с лимитами стандарта 10GbE;
  • Можно использовать в качестве протокола нижнего уровня для виртуализации, данный тренд прогнозируется на ближайшие годы.

SMB (Serv­er Mes­sage Block) – еще один сетевой шифр для консолидированного подключения файлам. Он обеспечивает доступ приложений ПК к чтению и записи файлов, может запросить серверные программные службы в сети.

Это разработка Microsoft для собственной сети Win­dows и системы совместного использования принтеров и файлов. По мере роста пропускного потенциала в сети передачи данных SMB превратился в один из ключевых на сегодня протоколов доступа к файлам в СХД.

Особенность SMB: в хранилищах часто применяют его в сетях типа 10GbE, что ставит производительность в сильную зависимость от качества реализации и настроек, присутствующих в сети компонентов. Применение протокола до выхода версии 3.0 было чаще распространено для трансфера данных в LAN. Новая же версия с поддержкой механизма SMB-Direct (с применением RDMA) получила активное применение как протокол для доступа к совместному пулу хранения в виртуализационных кластерах на основе MS Hyper‑V.

Протоколы NFS и SMB сейчас распространены как шифры начального уровня в сетях виртуализации, и данный тренд также прогнозируется на ближайшие 5–10 лет.

InfiniBand (IB)

Infini­Band относится к протоколам с повышенной производительностью. Архитектура коммутируется для СХД и высокопроизводительных вычислений, объединения серверов, запоминающих видов техники и систем связи. Появился Infini­Band в 1999 г. на основе объединения двух разработок: Next Gen­er­a­tion I/O (совместный продукт корпораций Intel, Microsoft и Sun) и Future I/O (также общая разработка Com­paq, IBM и HP).

В основном планировалось применение данной технологии в качестве комплексной системной сети для объединения узлов процессора CPU, обеспечения быстрой передачи информации. Но постепенно Infini­Band получил популярность в коммерческих сетях, где данные обрабатываются со сниженными издержками и торможением, но хорошей пропускной способностью.

Особенности данной системы:

  • Можно управлять трафик-потоком и в архитектуре сети Infini­Band через программу-менеджер. Каждое из устройств системы активирует агент подсети, который отвечает за связь с центральным менеджером;
  • Коммутаторы IB – обязательный структурный элемент сети, что помогает всем устройствам получить соединение в разных комбинациях;
  • Здесь не используются маршрутизаторы, как в случае Eth­er­net/Wi-Fi;
  • Поддерживается скорость сразу нескольких гигабитных сетей – в пределах 56 Гбит/с и более, что варьируется от конфигурации;
  • Infini­Band поддерживает скорости нескольких гигабитных сетей, до 56 Гбит / с и выше, в зависимости от конфигурации.

Из минусов можно отметить:

  • Высокая сложность администрирования и мониторинга;
  • Приложения ограничены кластерными сетевыми системами, суперкомпьютерами;
  • Infini­Band изначально разрабатывался не для сетей общего назначения, он не должен и не может заменить, например, Интернет или Fibre Chan­nel в ЦОД;
  • Не применяются традиционные стеки для протоколов сети (TCP / IP) ввиду лимита их производительности. Но основные приложения поддерживаются.

Технокарта Infini­Band включает поддержку скорости 100 Гбит/с и выше в будущих версиях, что делает данный протокол важным в сфере хранения данных в последующие годы. Он пока не стал ключевой технологией, так как стандартный код библиотеки сетевого ПО (WinSock и др.) не работает с этим протоколом, если только не пожертвовать плюсами данной архитектуры, ее производительностью.

NVMe (NVM Express)

Относительно новый высокопроизводительный протокол NVMe (Non-Volatile Mem­o­ry) обеспечивает эффективную работу с накопителями «твердотельного» типа, которые подключаются посредством PCI Express-шины. Название протокола говорит о энергонезависимости памяти, которая задействуется как флэш-память типа NAND в архитектуре SSD.

Этот тип шифрования разработали с нуля для снижения издержек при повышении эффективности. Данная цель достигается за счет повышенного уровня параллельной работы накопителей твердых тел, которые получают иной, новый комплекс программных команд, а также иного механизма обработки очередности ввода/вывода данных. Механика оптимизирована под работу с новейшими процессорами последних поколений.

Сейчас NVMe не имеет фактически широкого распространения, применяется в основном для внутреннего подключения внутри серверов и СХД. За счет своей спецификации протокол может инкапсулироваться в другие – Eth­er­net, FC и Infini­Band. Также можно провести масштабирование в более глобальной сети. Латентность несущей довольно низкая, так как NVMe задействует прямой доступ к хранилищу памяти (RDMA).

В целом можно ожидать более активное распространение NVMe. Неоднократно разные поставщики серверных платформ презентуют новые разработки с поддержкой NVMe-устройств на 2 порта, а это дает возможность спроектировать более надежные и стойкие к отказу решения для хранилищ.

Ожидается, что в ближайшие несколько лет NVMe будет использоваться в качестве внешнего межсетевого интерфейса, аналогичного PCIe и Infini­Band. Например, он может использоваться в небольших специализированных сетях хранения из десятков узлов или устройств в однородной среде хранения. Гораздо шире NVMe будет использоваться в качестве внутреннего интерконнекта.

PCIe (Peripheral Component Interconnect Express)

Еще один протокол – PCIe – отличается сниженными финансовыми расходами на содержание. Он применяется в основном на сервере для внедрения плат расширения, для подключения высокопроизводительных технических устройств (например, NVMe дисков). Также можно применять PCIe в виде протокола подключения необходимых серверов через компактные коммутирующие устройства, поэтому налицо определенные ограничения и редкое использование в SAN-сетях малого масштаба.

Сейчас лишь некоторые производители СХД во всем мире применяют PCIe для внешней коммуникации. Можно определить такой протокол как узкоспециализированный. Он не задействует SCSI, ему нужен собственный шифр передачи данных, то он может нарастить пропускную способность благодаря снижению затрат. Фактически он функционирует на скорости от чистой линии PCIe. Что это означает? Потребуется набор проприетарных драйверов, а это означает сложность администрирования, в итоге не получится обеспечить гетерогенность рабочей инфраструктуры, внедрить это решение в уже имеющуюся SAN-сеть.

Если оценивать число линий, то PCIe может масштабироваться в большом диапазоне: 1–16 Гб/с. А стандарт PCIe 4.x помог повысить производительность вдвое, до 32 Гб/с. Поэтому перспективы новых версий PCIe в контексте хранения данных могут быть позитивными, хотя есть наглядные ограничения.

Протоколы объектного хранения

Принцип объектного хранения объединяет сейчас огромное число разных новейших технологий. Они работает посредством API минуя HTTP. Пример таких протоколов: SOAP, S3 и Open­Stack Swift. Многие разработаны с учетом имеющихся сегодня на предприятиях востребованных протоколов, что, конечно, важно для ПО, которое осуществляет резервное копирование.

Производительность данных видов шифрования всегда находится в зависимости от нижнего уровня, в основном тут присутствует Eth­er­net. Протоколы объектного доступа важны для использования в облачных хранилищах, для записи в «облаке» и ЦОД, так как взаимодействуют с неструктурированными данными.

Важная особенность таких протоколов: сильная зависимость от инфраструктуры Eth­er­net. Они работают с большими массивами метаданных, что существенно увеличивает накладные расходы. Если сравнить их с протоколами доступа блочного типа, эти будут экономичнее. Однако ближайшие 5–10 лет объектные разработки будут интересны для разработчиков и пользователей по мере удешевления и оптимизации.

Заключение

Если говорить об эволюции SAN-протоколов в области трансфера и хранения данных, можно говорить о масштабности пройденного пути данной технологии. Современные хранилища данных имеют большие перспективы для дальнейшего развития. Варианты реализации таких технологий могут быть разными. Но можно сказать, что прогресс SAN-протоколов во многом варьируется от уровня развития приложений, от дальнейшего развития профилей нагрузки.

SAN-протоколы будут востребованы в информационной аналитике, особенно на фоне триумфального распространения Big Data и активных архивов. Можно сказать, что разные типы нагрузок (НРС и пр.) будут толкать развитие SAN в направлении СХД. При этом грядет снижение издержек на поддержание таких систем, наряду с повышением пропускной способности. Могут также предлагаться форматы с разделяемым доступом (например, с применением протокола NVMe).

Для администраторов хранилищ данных можно порекомендовать следующее:

  • Не стоит использовать медленные блочные протоколы, они не слишком подходят для СХД гибридного типа и для нового поколения Flash.
  • Важно учесть, что ближайшие годы все-таки ключевым останется FC. Это связано с тем, что под него адаптирована практически вся инфраструктура. Но будет переход с 16–32 Гб/с на новые версии.
  • Если нужны протоколы для конечных устройств, межузловой коммуникации в кластерах, то для интерсоединения с низкими издержками подойдут Infini­Band, PCIe и NVMe.
  • Для минимальных издержек и максимизации пропускной способности в качестве внешних протоколов можно использовать FCoE, iSC­SI, NFS, SMB, если речь не идет о малых и узкоспециализированных SAN-сетях.

Объектные системы хранения будут развиваться, так как растет объем неструктурированных данных. Появляются новые сложные технические задачи, необходимость обработки информации на основе новых требований, что ведет к прогрессу протоколов ХД и других информационных технологий.