БЕСПЛАТНАЯ КОНСУЛЬТАЦИЯ

Бесплатная консультация

CAPTCHA на основе изображений
Введите код с картинки

Почему мы выбрали Infiniband

why-we-chose-infiniband

 

Предисловие

Пропускная способность внутри облака очень важна с технологической точки зрения. Это щепетильный момент, большинство поставщиков облачных услуг неохотно говорят на эту тему, не хотят раскрывать структуру своей сети.  В то же время, для потребителя услуги этот вопрос принципиален: от пропускной способности внутри облака зависит качество приобретаемого у провайдера продукта. Огромную роль в качестве работы инфраструктуры играет то, как ноды соединены между собой, на каких скоростях, по каким протоколам. Сервисы многих предприятий вполне могут работать на скоростях 1 гигабит в секунду (Gbps), но нужно учитывать, что большинство провайдеров используют 10G, и только самые продвинутые строят свои облака на 40G или InfiniBand 56G.

 

В своей облачной инфраструктуре SIM-Cloud и в наших дата-центрах мы используем оборудование Mellanox InfiniBand 56 Gbps. Для реализации наших задач на нынешнем этапе и в обозримом будущем этого более чем достаточно. Однако в перспективе, по мере роста нашей cloud IaaS, естественно, мы планируем переход на 100 Gbps. Протокол InfiniBand мы выбрали по нескольким причинам:

  • универсальность;
  • гиперконвергентность;
  • стоимость;
  • возможность роста.

 

Приводим несколько аргументов, склонивших чашу весов в пользу выбора именно InfiniBand при проектировании облачной IaaS SIM-Cloud.

 

InfiniBand: История происхождения

Технология InfiniBand существует достаточно давно, примерно столько же, сколько и Ethernet. Разница была лишь в предназначении: InfiniBand разрабатывалась для применения в суперкомпьютерах. В среде высокопроизводительных систем нужно было объединить большие кластеры связующей шиной для быстрого обмена данными.  Поскольку протокол разрабатывался для внедрения в суперсистемы, то и задачи, под которые он проектировался, и требования к производительности, задержкам и архитектуре диктовались кластерными системами. Однако, по мере развития интернета, динамика развития InfiniBand  оказалась не столь бурной, – скорее всего, по той причине, что этот стандарт достаточно нишевый. 

Ныне же, на фоне роста облачных технологий, когда использование облаков уже не ограничено высоковычислительными системами, а всё шире завоёвывает позиции на потребительском уровне, – InfiniBand обрёл второе дыхание. 

Протокол не только вырос в производительности, но и приобрел массовое распространение: прежде даже в высокопроизводительных средах скорость обмена данными была значительно меньше, всего 4,8 Gbps, а на сегодняшний день 56 гигабит – это общепринятый стандарт. Ряд производителей InfiniBand-оборудования, такие как Mellanox, уже продают оборудование с пропускной способностью 100 Gbps. Есть все основания полагать, что с такими темпами развития технологии InfiniBand-вендоры в ближайший год могут выпустить ещё более быстрое оборудование.

 

Почему мы выбрали InfiniBand именно от Mellanox? Ответ достаточно прост: как производитель оборудования InfiniBand, компания Mellanox, вносит наибольший вклад в развитие этого протокола: внедряет много новых функций и улучшает сам протокол. Стоит заметить, что решения Mellanox настолько хороши, что многие производители либо просто брендируют платформу Мellanox, либо впаивают чипы Mellanox в своё оборудование.

 

InfiniBand Vs. Ethernet: сходство и различия

Основные преимущества протокола InfiniBand – это большая пропускная скорость и, самое главное, — низкие показатели задержки. Сам стандарт и оборудование позволяют передать пакет в 10 раз быстрее, чем Ethernet. Для высокопроизводительных компьютеров и современных систем передачи данных это играет решающую роль.

 

Не менее важным является то, что эта технология уже усовершенствована в тех средах, где она была разработана. Этот стандарт уже имеет «правильную» архитектуру plug-in-play – все достаточно автоматизировано: постройка дерева, инфраструктуры и т.д. Поэтому инженеру не приходится прилагать значительных усилий по настройке. Кроме того, в самом протоколе уже заложен запас отказоустойчивости. 

Конечно, и в Ethernet все эти возможности присутствуют,  но, в отличие от InfiniBand, они реализуются целым пулом технологий, каждая из которых требует отдельной настройки, а затем – обязательной проверки на совместимость.  То есть при работе с Ethernet инженеру необходимо учитывать большее количество частей инфраструктуры.

 

Mellanox позиционирует оборудование InfiniBand как гиперконвергентное: всё оборудование можно использовать как для InfiniBand-сети, так и для Ethernet-сети (в последнем случае Ethernet реализуется поверх InfiniBand-сети). А это означает отсутствие необходимости ставить разные коммутаторы для разных сетей: достаточно поставить одно устройство, выделив на нём две группы портов – SAN и Ethernet 40 Gbps. Таким образом, в одном устройстве совмещается максимальное количество ролей — оборудование унифицируется. Вместе с тем, нужно сказать, что InfiniBand как технология – достаточно проста, в ней нет многих других функций, усложняющих управление, которые есть у стандарта Ethernet.

 

InfiniBand в прикладных задачах

Сейчас протокол InfiniBand активно используется на уровне SAN-сети в облачных средах. В настоящее время мы проектируем и планируем внедрить вторую архитектуру нашего облака SIM-Cloud, где будем полностью переходить на гиперконвергентную инфраструктуру – InfiniBand будет и на уровне SAN-сети, и на уровне WAN-сети. По сравнению с обычными коммутаторами, скорость такого оборудования будет выше и с меньшими задержками (что очень актуально для высоконагруженных приложений). Так, если при использовании Ethernet-протокола задержки составляют порядка 20--40 миллисекунд, то в InfiniBand задержка – 1-2 миллисекунды. Преимущество очевидно.

 

Ещё одна очень важная особенность Infiniband, «выросшая» из его «суперкомпьютерного прошлого»: возможность построения неблокирующей сети (с топологией толстого дерева – Fat Tree). То есть такой сети, в которой при одновременной передаче данных с 50% всех узлов сети другим 50% задержки и скорость передачи данных останутся на том же уровне, как и при коммуникации одной ноды с другой.

 

В настоящее время на рынке присутствуют системы all-flash, построенные на быстрых flash-дисках. Естественно, что для такого рода систем необходима быстрая среда для передачи данных. Иначе, при недостаточной скорости обмена данными между хранилищами, потребители услуги не получат ожидаемого качества работы системы, и тогда теряется весь смысл быстрой флеш-памяти (очевидно, что гоночный болид Ferrari не способен показать себя в всей красе на просёлке в осеннюю слякоть!). Впрочем, есть и такое мнение, что 50% ИТ-задач до сих пор не требуют столь высоких скоростей. Флеш-накопители уместны там, где есть большие базы данных и нужна высокая производительность для быстрой выборки данных, – там, где админы чаще всего жалуются: «Нужны помощнее процессоры… побыстрее диски…». Кроме того, большой скорости высокопроизводительного хранилища требуют решения типа DaaS, VDI, – например, когда все виртуальные машины обращаются к хранилищу, что приводит к так называемому бутсторму и «зависанию» хранилища. Но для других задач, менее сложных и более распространённых (как то: терминальные сервера, почтовые сервера и т.п.), хватает скорости дисков SSD и SATA. Поэтому мы считаем, что платить за ненужную скорость нет необходимости.

 

Наш кейс использования InfiniBand

Перед нами стояла задача построить достаточно гибко масштабируемое хранилище. Вариантов её реализации было два: либо мы строим классическое хранилище FiberChannal + обычные стореджи, либо – обращаем внимание на новомодные SDS (Sofware Define Storage). Второй вариант нам как смелым инноваторам, предпочитающим проактивно наращивать эффективность своих решений, показался более привлекательным. При более подробном изучении вопроса построения инфраструктуры с SDS выяснилось, что в этом случае важна не столько пропускная способность (в среднем, хватает и 15 Gbps на канал), сколько очень низкие задержки по передаче пакетов. Ethernet-коммутаторы с такими же малыми задержками, как у InfiniBand – слишком массивные и дорогостоящие агрегаты, которые не совсем подходят к нашей задаче (на наш взгляд, это оборудование более удобно для использования в VAN-сети, а не для сторедж-сети). Рассматривая предложения разных вендоров, мы выбрали в итоге на тест оборудование InfiniBand от Mellanox.

Результаты trial-периода целиком и полностью оправдали наши ожидания. Приятным открытием во время тестирования стал тот факт, что в презентациях Mellanox не было «чистого» маркетинга – все характеристики оборудования полностью соответствовали заявленному функционалу. Поэтому после успешного завершения тестов оборудование было установлено в нашей ИТ-инфраструктуре.

И, знаете, мы целиком и полностью довольны своим выбором!

 

Автор:  Aleksandr Boyko

Редактор:  Alice Kandeyeva

CALLBACK

CAPTCHA на основе изображений
Введите код с картинки

Chat

Callback

Помощь Online