Parallelstore-CSI-Treiber der Google Kubernetes Engine

Parallelstore ist nur auf Einladung verfügbar. Wenn Sie Zugriff auf Parallelstore in Ihrem Google Cloud -Projekt anfordern möchten, wenden Sie sich an Ihren Vertriebsmitarbeiter.

Parallelstore ist ein vollständig verwaltetes, verteiltes Dateisystem mit niedriger Latenz, das die Anforderungen von KI/ML-Training und HPC-Arbeitslasten erfüllt, die eine extrem niedrige Latenz (unter einer Millisekunde), die vollständige POSIX-Semantik und einen hohen Durchsatz für Metadatenoperationen erfordern. Parallelstore kann auf Lesegeschwindigkeiten von 1 TB/s und Millionen von IOPS skaliert werden.

Verwenden Sie den Parallelstore CSI-Treiber (Container Storage Interface), um einen GKE-Cluster mit einer Parallelstore-Instanz zu verbinden. Mit dem Parallelstore CSI-Treiber können Sie die GKE API verwenden, um Parallelstore-Instanzen als Volumes für Ihre zustandsorientierten Arbeitslasten (z. B. Pods und Jobs) zu nutzen. Es ist für KI/ML-Trainingsarbeitslasten optimiert, insbesondere für solche mit kleineren Dateigrößen und zufälligen Lesezugriffen.

GKE aktiviert den CSI-Treiber standardmäßig, wenn Sie einen neuen GKE Autopilot-Cluster erstellen. In neuen und vorhandenen GKE Standardclustern müssen Sie den CSI-Treiber aktivieren.

Vorteile

Mit dem Parallelstore-CSI-Treiber können Sie von Hochleistungsspeicher profitieren. Mit dem Parallelstore-CSI-Treiber können Sie Ihre Hochleistungs-Computing- und KI/ML-Trainingslasten beschleunigen. Sie erhalten einen schnellen, konsistenten Zugriff auf freigegebene Daten für eine effiziente Verarbeitung und Analyse.

  • Über die Kubernetes APIs haben Sie Zugriff auf vollständig verwaltete parallele Dateisysteme als Speicher.
  • Der Parallelstore-CSI-Treiber der Google Kubernetes Engine unterstützt die Zugriffsmodi ReadWriteMany, ReadOnlyMany und ReadWriteOnce.
  • Sie können den CSI-Treiber für Parallelstore der Google Kubernetes Engine verwenden, um PersistentVolumes dynamisch bereitzustellen.
  • Sie können auf vorhandene Parallelstore-Instanzen in Kubernetes-Arbeitslasten zugreifen. Sie können Parallelstore-Instanzen auch dynamisch erstellen und in Kubernetes-Arbeitslasten mit einem StatefulSet oder einem Deployment verwenden.

Beschränkungen

  • Datenpersistenz: Parallelstore ist ein „Scratch-Plus“-Dateisystem. Sie wird von einem lokalen SSD mit 2+1-Entzifferungscodierung unterstützt und die durchschnittliche Zeit bis zum Datenverlust beträgt zwei Monate. Parallelstore ist kein Langzeitspeicher und sollte stattdessen als extrem schnelles Dateisystem für bestimmte Arbeitslasten betrachtet werden.

  • Begrenzung pro Pod: In GKE kann nur eine Parallelstore-Instanz pro Pod bereitgestellt werden.

Hinweis:Ab der GKE-Version 1.32.3 können Sie mit der Knotenbereitstellung des Parallelstore-CSI-Treibers mehrere Parallelstore-Instanzen pro Pod bereitstellen.
  • Datenübertragungen: Die Übertragung von Daten von Cloud Storage zu Parallelstore wird von der GKE API nicht unterstützt. Verwenden Sie die Parallelstore API, um die Übertragung durchzuführen.
Hinweis:Ab GKE-Version 1.31.1 können Sie den GKE Volume Populator verwenden, um während der dynamischen Bereitstellung Daten von Cloud Storage zu Parallelstore zu übertragen.
  • Nutzbare Kapazität: Sie können die Speicherkapazität von 12.000 GiB bis 100.000 GiB konfigurieren.
  • Unterstützte Zonen: Parallelstore wird in diesen Zonen unterstützt. Wenn sich die Region Ihres Clusters von der Ihrer Parallelstore-Instanz unterscheidet, sinkt die E/A-Leistung deutlich.
  • Einschränkungen von VPC-SC für Parallelstore: Wenn Sie sowohl eine freigegebene VPC als auch VPC Service Controls verwenden, benötigen Sie das Hostprojekt, das das Netzwerk und das Dienstprojekt mit der Parallelstore-Instanz im selben Perimeter bereitstellt, damit die Parallelstore-Instanz ordnungsgemäß funktioniert. Wenn Sie das Hostprojekt und das Dienstprojekt durch einen Perimeter trennen, sind die vorhandenen Instanzen möglicherweise nicht mehr verfügbar und es werden möglicherweise keine neuen Instanzen erstellt.
  • Unterstützung von ARM-Maschinen: Der Parallelstore-CSI-Treiber unterstützt nur Knoten mit amd64-Architektur. ARM-basierte Knoten werden derzeit nicht unterstützt.

Voraussetzungen

Damit Sie den Parallelstore-CSI-Treiber verwenden können, müssen Ihre Cluster die folgenden Anforderungen erfüllen:

  • Prüfen Sie, ob die neueste Version der Google Cloud CLI installiert ist. Die Mindestversion der gcloud CLI für diese Funktion ist 469.0.0 oder höher.
  • Verwenden Sie Google Kubernetes Engine-Clusterversion 1.29 oder höher.

Nächste Schritte