Nachricht

Aug 10, 2023

Mission Apollo: Hinter Googles Revolution der optischen Schaltungsvermittlung

Wie Google in den letzten Jahren das Licht der Welt erblickte und seine Rechenzentren modernisierte

Wie Google das Licht erblickte und seine Rechenzentren überarbeitete

In den letzten Jahren hat Google in aller Stille seine Rechenzentren renoviert und seine Netzwerkinfrastruktur durch einen radikalen internen Ansatz ersetzt, der seit langem der Traum der Netzwerk-Community ist.

Es heißt Mission Apollo und es geht darum, Licht anstelle von Elektronen zu verwenden und herkömmliche Netzwerkschalter durch optische Schaltkreisschalter (OCS) zu ersetzen. Amin Vahdat, Leiter des Systems- und Service-Infrastrukturteams von Google, erklärte uns, warum das eine so große Sache ist.

Dieses Feature erschien in der neuesten Ausgabe des DCD Magazine. Abonnieren Sie noch heute kostenlos

Die Kommunikation im Rechenzentrum stellt eine grundlegende Herausforderung dar, eine Ineffizienz, die in der Tatsache begründet liegt, dass sie sich über zwei Welten erstreckt. Die Verarbeitung erfolgt elektronisch, sodass die Informationen auf Serverebene im elektrischen Bereich gespeichert werden. In der Welt des Lichts und der Optik ist es jedoch schneller und einfacher, Informationen zu transportieren.

In herkömmlichen Netzwerktopologien springen Signale zwischen elektrisch und optisch hin und her. „Es ist alles ein Sprung nach dem anderen, man stellt wieder auf Elektronik um, schiebt es wieder auf die Optik zurück und so weiter, sodass der Großteil der Arbeit im elektronischen Bereich verbleibt“, sagte Vahdat. „Das ist teuer, sowohl kosten- als auch energietechnisch.“

Mit OCS belässt das Unternehmen „Daten so lange wie möglich im optischen Bereich“, indem es winzige Spiegel verwendet, um Lichtstrahlen von einem Quellpunkt umzuleiten und sie als optischen Cross-Connect direkt an den Zielport zu senden.

„Dadurch, dass dies funktioniert, verringert sich die Latenz der Kommunikation, da man jetzt nicht mehr annähernd so viel im Rechenzentrum hin- und herwechseln muss“, sagte Vahdat. „Es eliminiert die Phasen des elektrischen Schaltens – das wäre das Rückgrat der meisten Rechenzentren der Menschen, auch unseres zuvor.“

Die traditionelle „Clos“-Architektur, die in anderen Rechenzentren zu finden ist, basiert auf einem Rückgrat aus elektronischen Paketschaltern (EPS), die auf Silizium von Unternehmen wie Broadcom und Marvell basieren und mit „Blättern“ oder Top-of-Rack-Switches verbunden sind.

EPS-Systeme sind teuer, verbrauchen ziemlich viel Strom und erfordern eine latenzintensive Verarbeitung pro Paket, wenn die Signale in elektronischer Form vorliegen, bevor sie zur Weiterübertragung wieder in die Lichtform umgewandelt werden.

OCS benötigt weniger Strom, sagt Vahdal: „Bei diesen Systemen verbrauchen diese Geräte im Wesentlichen nur Strom, um die Spiegel an Ort und Stelle zu halten. Das ist eine winzige Menge, da es sich um winzige Spiegel handelt.“

Licht gelangt durch ein Faserbündel in den Schalter des Projekts Apollo und wird von mehreren Siliziumwafern reflektiert, die jeweils eine winzige Spiegelanordnung enthalten. Bei diesen Spiegeln handelt es sich um mikroelektromechanische 3D-Systeme (MEMS), die individuell schnell neu ausgerichtet werden können, sodass jedes Lichtsignal sofort zu einer anderen Faser im Ausgangsbündel umgeleitet werden kann.

Jedes Array enthält 176 winzige Spiegel, aus Ertragsgründen werden jedoch nur 136 verwendet. „Diese Spiegel sind alle maßgefertigt, sie sind alle ein bisschen anders. Das bedeutet also, dass bei allen möglichen In-Outs die Kombination 136 zum Quadrat beträgt“, sagte er.

Das bedeutet 18.496 mögliche Kombinationen zwischen zwei Spiegelpaketen.

Der maximale Stromverbrauch des gesamten Systems beträgt 108 W (und normalerweise verbraucht es viel weniger), was mit etwa 3.000 Watt deutlich unter dem liegt, was ein ähnliches EPS erreichen kann.

In den letzten Jahren hat Google Tausende dieser OCS-Systeme bereitgestellt. Die aktuelle Generation, Palomar, „ist in allen unseren Infrastrukturen weit verbreitet“, sagte Vahdat.

Google geht davon aus, dass dies mit Abstand die größte Nutzung von OCS weltweit ist. „Wir beschäftigen uns schon seit einiger Zeit damit“, sagt Vahdat.

Für die Entwicklung des Gesamtsystems waren eine Reihe kundenspezifischer Komponenten sowie kundenspezifische Fertigungsanlagen erforderlich.

Die Herstellung des Palomar OCS erforderte die Entwicklung kundenspezifischer Tester, Ausrichtungs- und Montagestationen für die MEMS-Spiegel, Faserkollimatoren, den optischen Kern und seine Bestandteile sowie das vollständige OCS-Produkt. Es wurde ein maßgeschneidertes, automatisiertes Ausrichtungstool entwickelt, um jedes 2D-Linsenarray mit einer Genauigkeit im Submikrometerbereich zu platzieren.

„Wir haben auch die Transceiver und die Zirkulatoren gebaut“, sagte Vahdat. Letztere helfen dabei, das Licht durch verschiedene Anschlüsse in eine Richtung zu transportieren. „Haben wir Umwälzpumpen erfunden? Nein, aber ist es eine kundenspezifische Komponente, die wir entworfen, gebaut und im großen Maßstab eingesetzt haben? Ja.“

Er fügte hinzu: „Es gibt eine wirklich coole Technologie rund um diese optischen Zirkulatoren, die es uns ermöglicht, die Anzahl unserer Fasern im Vergleich zu allen früheren Techniken um den Faktor zwei zu reduzieren.“

Was die Transceiver betrifft, die zum Senden und Empfangen der optischen Signale im Rechenzentrum verwendet werden, hat Google kostengünstige Wellenlängenmultiplex-Transceiver über vier Generationen optischer Verbindungsgeschwindigkeiten (40, 100, 200, 400 GbE) mit einer Kombination aus mehreren Generationen mitentwickelt Entwicklung von Hochgeschwindigkeitsoptik, Elektronik und Signalverarbeitungstechnologie.

„Wir haben die Transceiver mit den richtigen Leistungs- und Verlusteigenschaften erfunden, denn eine der Herausforderungen dieser Technologie besteht darin, dass wir nun Einfügungsdämpfung auf dem Weg zwischen zwei elektrischen Schaltern einführen.“

Anstelle eines Glasfaserpfads gibt es jetzt optische Schaltkreise, die bewirken, dass das Licht beim Durchqueren der Anlage einen Teil seiner Intensität verliert. „Wir mussten Transceiver entwerfen, die die Kosten, die Leistung und die Formatanforderungen in Einklang bringen konnten, um sicherzustellen, dass sie mit moderaten Einfügungsverlusten zurechtkommen“, sagte Vahdat.

„Wir glauben, dass wir einige der energieeffizientesten Transceiver auf dem Markt haben. Und das hat uns wirklich dazu gebracht, dafür zu sorgen, dass wir alles durchgängig entwickeln können, um die Vorteile dieser Technologie zu nutzen.“

Teil dieser zusammenhängenden Vision ist eine softwaredefinierte Netzwerkschicht (SDN) namens Orion. Es existierte bereits vor der Apollo-Mission, „also waren wir bereits zu einer logisch zentralisierten Kontrollebene übergegangen“, sagte Vahdat.

„Der Übergang vom logisch zentralisierten Routing auf einer Spine-basierten Topologie zu einem, das diese Direktverbindungstopologie mit einem gewissen Maß an Verkehrstechnik verwaltet – ich sage nicht, dass es einfach war, es hat lange gedauert und viele Ingenieure erfordert, aber.“ Es war kein so großer Sprung, wie es gewesen wäre, wenn wir vorher nicht über die SDN-Verkehrstechnik verfügt hätten.“

Das Unternehmen „erweiterte Orion und seine Routing-Kontrollebene im Wesentlichen, um diese Direktverbindungstopologien zu verwalten und letztendlich Verkehrstechnik und Neukonfiguration der Spiegel durchzuführen, aber die logische Topologie in Echtzeit auf der Grundlage von Verkehrssignalen.“

„Das war also ein umfangreiches Unterfangen, aber es war eher ein vorstellbares als ein unvorstellbares.“

Eine der Herausforderungen von Apollo ist die Rekonfigurationszeit. Während Clos-Netzwerke EPS verwenden, um alle Ports über EPS-Systeme miteinander zu verbinden, ist OCS nicht so flexibel. Wenn Sie Ihre Direktverbindungsarchitektur ändern möchten, um zwei verschiedene Punkte zu verbinden, dauert die Neukonfiguration der Spiegel einige Sekunden, was deutlich langsamer ist, als wenn Sie bei EPS geblieben wären.

Der Trick zur Bewältigung dieses Problems besteht laut Google darin, seltener neu zu konfigurieren. Das Unternehmen stellte seine Rechenzentrumsinfrastruktur zusammen mit dem OCS bereit und baute es unter Berücksichtigung des Systems auf.

„Wenn Sie genügend Daten aggregieren, können Sie langlebige Kommunikationsmuster nutzen“, sagte Vahdat. „Ich verwende die Google-Terminologie ‚Superblock‘, die eine Ansammlung von 1-2000 Servern darstellt. Es gibt eine stabile Datenmenge, die an einen anderen Superblock geht.“

„Wenn ich 20, 30, 40 Superblöcke in einem Rechenzentrum habe – es könnten mehr sein – ist die Datenmenge, die im Verhältnis zu den anderen von Superblock

„Und so können wir die Dinge im optischen Bereich belassen und diese Daten zum Ziel-Superblock weiterleiten, sodass alles optisch bleibt. Wenn es zu Verschiebungen in den Kommunikationsmustern kommt, sicherlich zu radikalen, können wir dann die Topologie neu konfigurieren.“

Dadurch ergeben sich auch Möglichkeiten zur Neukonfiguration von Netzwerken innerhalb eines Rechenzentrums. „Wenn wir mehr elektrische Paketschalter benötigen, können wir im Wesentlichen dynamisch einen Superblock rekrutieren, der als Rückgrat fungiert“, sagte Vahdat.

„Stellen Sie sich vor, wir haben einen Superblock ohne angeschlossene Server. Sie können diesen Superblock jetzt rekrutieren, um im Wesentlichen als dediziertes Rückgrat zu fungieren“, sagte er, wobei das System einen Block übernimmt, der entweder noch keine Server hat oder nicht in Benutzung.

„Es muss keine Daten synchronisiert werden, es kann Daten weiterleiten. Ein Superblock, der keine Verkehrsquelle darstellt, kann im Wesentlichen zu einem Mini-Spine werden. Wenn Sie Graphentheorie und Routing lieben, ist das einfach ein wirklich cooles Ergebnis.“ . Und ich liebe die Graphentheorie.“

Immer online

Eine weitere Sache, die Vahdat und Google insgesamt lieben, ist, was das für die Betriebszeit bedeutet.

„Optische Schaltkreisschalter können jetzt Teil der Gebäudeinfrastruktur werden“, sagte er. „Den Photonen ist es egal, wie die Daten kodiert sind, daher können sie von 10 Gigabit pro Sekunde auf 40, auf 200, auf 400 auf 800 und mehr umsteigen, ohne dass unbedingt ein Upgrade erforderlich ist.“

Verschiedene Generationen von Transceivern können im selben Netzwerk betrieben werden, während Google in seinem eigenen Tempo aktualisiert, „im Gegensatz zum externen Stand der Technik, der im Grunde besagt, dass man, sobald man von einer Geschwindigkeitsgeneration zur anderen wechselt, die Geschwindigkeit reduzieren muss.“ „Wir müssen das gesamte Rechenzentrum zerstören und von vorne beginnen“, sagte Vahdat.

Unser bisher größtes Feature befasst sich mit der nächsten Welle der Computertechnik

„Aus der Sicht unserer Kunden ist es am schmerzhaftesten, dass Sie sechs Monate lang ausfallen und sie ihren Dienst für einen längeren Zeitraum migrieren müssen“, sagte er.

„Bei unserem Maßstab würde das bedeuten, dass wir die Leute ständig rein- und rausdrängen, weil wir jederzeit irgendwo etwas aktualisieren müssen und unsere Dienste auf der ganzen Welt mit mehreren Instanzen bereitgestellt werden, was wiederum bedeutet, dass unsere Dienste wären ständig diesen Bewegungen ausgesetzt.

Ebenso wurden die Investitionskosten gesenkt, da in jeder Generation das gleiche OCS verwendet werden kann, während EPS-Systeme zusammen mit Transceivern ausgetauscht werden müssen. Das Unternehmen geht davon aus, dass die Kosten um bis zu 70 Prozent gesunken sind. „Auch die Energieeinsparungen waren erheblich“, sagte Vahdat.

Wenn diese Kommunikation in einfacher Form gehalten wird, kann Google Milliarden einsparen, den Stromverbrauch senken und die Latenz verringern.

„Wir machen es auf Superblock-Ebene“, sagte Vahdat. „Können wir herausfinden, wie wir die optische Neukonfiguration häufiger durchführen können, damit wir sie noch weiter auf die Top-of-Rack-Ebene bringen können, denn das hätte auch einige wesentliche Vorteile? Das ist ein schwieriges Problem, das wir noch nicht vollständig gelöst haben.“ geknackt.“

Das Unternehmen möchte nun OCS-Systeme mit höherer Portanzahl, geringerer Einfügungsdämpfung und schnelleren Rekonfigurationszeiten entwickeln. „Ich denke, von da an steigen die Chancen für Effizienz und Zuverlässigkeit“, sagte Vahdat.

Die Auswirkungen können enorm sein, bemerkte er. „Die Halbierungsbandbreite moderner Rechenzentren ist heute vergleichbar mit dem Internet als Ganzes“, sagte er.

„Mit anderen Worten: Wenn Sie ein Rechenzentrum nehmen – ich spreche nicht nur von unserem, das wäre auch in Ihrem bevorzugten [Hyperscale-]Rechenzentrum der Fall – und Sie halbieren es und messen die Menge der übertragenen Bandbreite Wenn man die beiden Hälften betrachtet, ist das genauso viel Bandbreite, wie man sehen würde, wenn man das Internet halbieren würde. Es ist also einfach eine enorme Menge an Kommunikation.“