Warum wir auf Infiniband setzen

why-we-chose-infiniband

 

Vorwort

Der Datendurchsatz in der Cloud ist aus der technologischer Sicht äußerst wichtig. Es ist ein delikater Punkt, und viele Dienstleistungsprovider in der Cloud sind auf dieses Thema nicht sehr gut anzusprechen, da sie die Struktur ihres Netzwerkes nicht gern öffentlich machen. Zur gleichen Zeit ist dieses Thema für den Kunden von prinzipieller Natur: von dem Datendurchsatz in der Cloud hängt die Qualität des vom Provider erworbenen Produkts maßgeblich ab. Ein wichtige Rolle bei der Qualität der Infrastruktur spielt, wie die Nodes miteinander verbunden sind, und mit welchen Geschwindigkeiten und unter welchen Protokollen sie funktionieren können. Dienste vieler Unternehmen können durchwegs mit Geschwindigkeiten um 1 Gbit/s arbeiten – man muss aber berücksichtigen, dass die Mehrheit der Provider 10G einsetzen uns nur die am meisten fortgeschrittenen bauen ihre Clouds mit 40G oder InfiniBand 56G.

 

In unserer Cloud-Infrastruktur SIM-Cloud und in unseren Rechenzentren setzen wir Mellanox InfiniBand 56G ein. Dies ist mehr als genug für die heutigen Aufgaben und bis hin in die absehbare Zukunft. Mit dem Wachstum unserer Cloud IaaS planen wir jedoch den Übergang zu 100Gbps. Das Protokoll InfiniBand haben wir nach mehreren Kriterien ausgewählt:

  • Vielseitigkeit;
  • Hyperkonvergenz;
  • Kostenpunkt;
  • Wachstumsmöglichkeit роста.

 

Hier sind einige Argumente, die uns beim Projektieren von IaaS SIM-Cloud letztendlich zur Wahl von InfiniBand bewegt haben.

 

InfiniBand: Die Entstehungsgeschichte

Technologie Infiniband Existiert Lange genug, etwa so lange wie Ethernet. Der einzige Unterschied war der Zweck: InfiniBand wurde für den Einsatz in Supercomputern entwickelt. In einer Hochleistungsumgebung war es notwendig, große Cluster mit einem Verbindungsbus anzuschließen, um schnelle Datenkommunikation zu ermöglichen.  Da das Protokoll für die Implementierung in Supersysteme entwickelt wurde, wurden die Aufgaben, unter denen es entworfen wurde, und die Anforderungen für Leistung, Latenz und Architektur von Clustern diktiert. Doch mit der Entwicklung des Internets zeigte sich die Dynamik der InfiniBand-Entwicklung als nicht so stürmisch - höchstwahrscheinlich, weil dieser Standard ist eine Nische darstellt. 

Jetzt, inmitten des Wachstums der Cloud-Technologien, wenn der Einsatz von Clouds nicht mehr auf High-Computing-Systeme beschränkt ist und zunehmend Positionen auf der verbraucherebene gewinnt, erlebt InfiniBand einen zweiten Frühling. 

Das Protokoll hat nicht nur die Produktivität gesteigert, sondern wurde auch massentauglich: früher war sogar in Hochleistungsumgebungen die Rate des Datenaustausches viel kleiner, nur 4,8 Gbit/s, und heute ist 56 Gbit ein allgemeiner Standard. Eine Reihe von Herstellern von InfiniBand-Geräten, wie z. b. Mellanox, verkaufen bereits Geräte mit einer Kapazität von 100 Gbit/s. Es gibt allen Grund zu glauben, dass mit einem solchen Tempo der technologischen Entwicklung InfiniBand-Anbieter im kommenden Jahr noch schnellere Ausrüstung auf den Markt bringen können.

 

Warum wählten wir InfiniBand von Mellanox? Die Antwort ist ganz einfach: als Hersteller von InfiniBand-Geräten trägt das Unternehmen Mellanox am meisten zur Entwicklung dieses Protokolls bei: führt viele neue Features ein und verbessert das Protokoll selbst. Es sei darauf hingewiesen, dass Lösungen von Mellanox so gut sind, dass viele Hersteller entweder am Brand der Plattform Mellanox mitziehen oder Chips von Mellanox in ihre Ausrüstung einbauen.

 

InfiniBand Vs. Ethernet: Gemeinsamkeiten und Unterschiede

Die Hauptvorteile des InfiniBand-Protokolls sind die hohe Durchsatzrate und vor allem niedrige Latenzraten. Der Standard und die Ausrüstung erlauben es, das Paket zehnmal schneller als Ethernet zu übertragen. Für Hochleistungsrechner und moderne Datenübertragungssysteme spielt dies eine entscheidende Rolle.

 

InfiniBand


Ebenso wichtig ist die Tatsache, dass diese Technologie bereits in den Umgebungen, in denen Sie entwickelt wurde, verbessert wurde. Dieser Standard hat bereits die "richtige" Plug-in-Play-Architektur, alles ist ganz automatisiert: Aufbau eines Baumes, Infrastruktur usw. Daher muss der Techniker keine nennenswerten Anstrengungen bei der Einrichtung unternehmen. Darüber hinaus hat das Protokoll selbst bereits eine Reserve an Ausfallsicherheit. 

Natürlich sind alle diese Funktionen in Ethernet vorhanden, aber im Gegensatz zu InfiniBand werden Sie von einem ganzen Pool von Technologien umgesetzt, von denen jede eine separate Konfiguration und dann eine obligatorische Kompatibilitätsüberprüfung erfordert. Das bedeutet, dass der Techniker bei der Arbeit mit Ethernet mehr Teile der Infrastruktur berücksichtigen muss.

 InfiniBand

Mellanox positioniert die InfiniBand-Ausrüstung als hyperkonvergent: alle Geräte können sowohl für InfiniBand-Netzwerk als auch für Ethernet-Netzwerke verwendet werden (im letzteren Fall wird Ethernet über das InfiniBand-Netzwerk implementiert). Dies bedeutet, dass keine unterschiedlichen Schalter für unterschiedliche Netze eingesetzt werden müssen: es genügt, ein Gerät einzusetzen und darin zwei Gruppen von Ports - SAN und Ethernet 40 Gbit/s -zuzuteilen. Daher ist die maximale Anzahl von Rollen in einem Gerät kombiniert – die Ausrüstung wird unifiziert. Gleichwohl muss erwähnt werden, dass InfiniBand als Technologie ganz einfach ist und viele von anderen Funktionen, die Ethernet besitzt, nicht hat.

 

InfiniBand in Anwendungsaufgaben

Heute wird das InfiniBand-Protokoll aktiv auf der SAN-Netzwerk-Ebene in Cloud-Umgebungen eingesetzt. Wir entwerfen und planen derzeit die Implementierung der zweiten Architektur unserer Cloud SIM-Cloud, bei der wir uns vollständig auf die hyperkonvergente Infrastruktur umstellen: InfiniBand wird sowohl auf der Ebene des SAN-Netzwerks als auch auf der WAN-Netzwerk-Ebene sein. Im Vergleich zu herkömmlichen Schaltern wird die Geschwindigkeit solcher Geräte höher und mit weniger Verzögerungen sein (was für Hochlastanwendungen sehr wichtig ist). Wenn also die Ethernet-Protokoll-Verzögerung etwa 20--40 Millisekunden beträgt, beträgt die InfiniBand-Verzögerung 1-2 Millisekunden. Der Vorteil liegt auf der Hand.

 InfiniBand

Ein weiteres sehr wichtiges Feature von InfiniBand, „entwachsen“ aus seiner "Supercomputer-Vergangenheit": die Möglichkeit, ein nicht blockierendes Netzwerk (mit einer Topologie des dicken Baums - FAT Tree) zu bauen. Das heißt, ein Netzwerk, bei dem gleichzeitig die Datenübertragung von 50% aller Netzwerkknoten auf die anderen 50% der Verzögerungs-und Datenübertragungsrate auf dem gleichen Niveau bleibt wie bei der Kommunikation eines Knotens zum anderen.

 InfiniBand

Derzeit gibt es auf dem Markt All-Flash-Systeme, die auf schnellen Flash-Discs aufbauen. Natürlich erfordern solche Systeme eine schnelle Umgebung zur Datenübertragung. Ansonsten, bei einer unzureichenden Geschwindigkeit der Datenübertragung zwischen Repositorien, werden die Verbraucher die erwartete Qualität der Systemfunktion nicht erhalten, was den Sinn des schnellen Flash-Speichers infrage stellt (es ist offensichtlich, dass ein Ferrari-Bolide auf einer Dorf-Nebenstraße nicht mit all seinen Rennqualitäten glänzen kann!). Allerdings gibt es auch Meinungen, dass 50% der IT-Aufgaben solche Geschwindigkeiten nicht benötigen. Flash-Speicher sind dort geeignet, wo es große Datenbanken gibt und hohe Produktivität beim schnellen Abrufen der Daten gefragt ist – dort, wo Systemadministratoren häufig „größere Prozessoren, schnellere Platten“ fordern. Darüber hinaus erfordern Lösungen wie DaaS und VDI hohe Geschwindigkeiten des Hochleistungsspeichers – z.B., wenn alle virtuelle Maschinen auf den Speicher zugreifen, was zu einem sogenannten „Boot storm“ und zum „Einfrieren“ des Speichers führt. Für andere Aufgaben aber, die weniger komplex und mehr verbreitet sind (wie: Terminalserver, Mailserver usw.) reicht die Geschwindigkeit der SSD-Platten und SATA aus. Daher glauben wir, dass es nicht nötig ist, für unbenutzte Geschwindigkeit draufzuzahlen.

 

Wie wir InfiniBand nutzen

Wir standen vor der Herausforderung, einen relativ flexiblen skalierbaren Speicher zu erstellen. Es gab zwei Varianten seiner Realisierung: entweder wir bauen einen klassischen Speicher - Fiberchannal + übliche Storages, oder wir achten auf die neumodischen SDS (Software Define Storage). Die zweite Variante schien uns, als mutige Innovatoren, die es vorziehen, die Effizienz der Entscheidungen proaktiv zu steigern, attraktiver. In einer detaillierteren Studie über die Frage des Infrastrukturaufbau mit SDS wurde klar, dass in diesem Fall nicht unbedingt der Durchsatz am wichtigsten ist (im Durchschnitt genügen 15 Gbit/s pro Kanal), sondern sehr geringe Verzögerungen bei der Paketübertragung. Ethernet-Switches mit der gleichen niedrigen Latenz wie InfiniBand sind viel zu massive und teure Geräte, die zu unserer Aufgabe nicht ganz passen (unserer Meinung nach sind diese Geräte besser geeignet für den Einsatz im VAN-Netzwerk, nicht im Speicher-Netzwerk). In Anbetracht der Angebote verschiedener Anbieter haben wir uns für das Testen des InfiniBand von Mellanox entschieden.

Die Ergebnisse der Testperiode haben unsere Erwartungen vollends erfüllt. Eine angenehme Entdeckung während der Tests war die Tatsache, dass die Präsentationen von Mellanox kein "reines" Marketing enthielten: alle Eigenschaften der Ausrüstung entsprachen voll der beworbenen Funktionalität. Nachdem die Tests erfolgreich abgeschlossen wurden, wurde die Hardware daher in unserer IT-Infrastruktur installiert.

Und wir müssen sagen, dass wir immer noch mit unserer Wahl voll zufrieden sind.

 

Autor:  Alexander Boyko

Redakteur:  Alisa Kandeeva

Teilen Sie diesen Artikel