Skip to main content
CertRampLearning

Prüfungsglossar

NVIDIA NCA-AIIO: Glossar

Die Begriffe, die dir in der NVIDIA NCA-AIIO-Prüfung begegnen, mit kurzer Erklärung auf Deutsch. Die Prüfung findet auf Englisch statt: Lern den englischen Begriff mit, so wie er in der Prüfung steht.

39 Begriffe · Erklärungen mit der offiziellen Dokumentation abgeglichen am 13. November 2026 · In English

A

Artificial intelligence(AI)#Künstliche Intelligenz (KI)
Oberbegriff für Computersysteme, die Aufgaben lösen, für die sonst menschliche Intelligenz nötig ist. Maschinelles Lernen ist ein Teilgebiet der KI, Deep Learning ein Teilgebiet des maschinellen Lernens.
Prüfungsdomain: Essential AI Knowledge

B

Base Command Manager(BCM)#
NVIDIA-Software zum Bereitstellen, Verwalten und Überwachen von KI-Clustern, einschließlich der Einrichtung von Slurm oder Kubernetes.
Prüfungsdomain: AI Operations

C

CUDA#
NVIDIAs Plattform und Programmiermodell für paralleles Rechnen auf GPUs. Der größte Teil des NVIDIA-KI-Software-Stacks baut auf CUDA und seinen Bibliotheken auf.
Prüfungsdomain: Essential AI Knowledge

D

Data Center GPU Manager(DCGM)#Data Center GPU Manager (DCGM)
NVIDIA-Werkzeugsammlung für Überwachung, Zustandsprüfung und Diagnose von GPUs im Cluster. Die Messwerte werden oft an Prometheus und Grafana weitergegeben.
Prüfungsdomain: AI Operations
Data processing unit(DPU)#Datenverarbeitungseinheit (DPU)
Programmierbarer Prozessor auf der Netzwerkkarte, der Netzwerk-, Speicher- und Sicherheitsaufgaben von der Host-CPU übernimmt. NVIDIAs DPUs sind die BlueField-Familie.
Prüfungsdomain: AI Infrastructure
Deep learning(DL)#Deep Learning (tiefes Lernen)
Maschinelles Lernen mit neuronalen Netzen aus vielen Schichten. Die großen Matrixberechnungen sind der Hauptgrund, warum GPUs für KI eingesetzt werden.
Prüfungsdomain: Essential AI Knowledge
DGX#
NVIDIAs integrierte KI-Systeme: Server mit mehreren NVIDIA-GPUs, NVLink, Netzwerk und Software, geliefert als eine getestete Plattform.
Prüfungsdomain: AI Infrastructure
DGX SuperPOD#
NVIDIAs Referenzarchitektur für große KI-Cluster aus DGX-Systemen, mit festgelegtem Netzwerk, Speicher und Verwaltungssoftware.
Prüfungsdomain: AI Infrastructure

E

East-west traffic#Ost-West-Verkehr
Netzwerkverkehr zwischen Servern innerhalb des Rechenzentrums, etwa GPU-zu-GPU-Verkehr beim verteilten Training. Nord-Süd-Verkehr fließt in das Rechenzentrum hinein und heraus.
Prüfungsdomain: AI Infrastructure

G

GPU utilization#GPU-Auslastung
Anteil der Zeit, in der eine GPU beschäftigt ist. Hohe Auslastung allein beweist keine effiziente Nutzung; sie wird zusammen mit Speichernutzung, Leistung, Temperatur und Fehlerzählern bewertet.
Prüfungsdomain: AI Operations
GPUDirect#
NVIDIA-Technologien, mit denen Netzwerkkarten (GPUDirect RDMA) und Speicher (GPUDirect Storage) Daten direkt in den und aus dem GPU-Speicher übertragen, ohne Umweg über den CPU-Speicher.
Prüfungsdomain: AI Infrastructure
Graphics processing unit(GPU)#Grafikprozessor (GPU)
Prozessor mit Tausenden Rechenkernen für viele parallele Berechnungen. Eine CPU hat weniger, komplexere Kerne für sequenzielle, allgemeine Aufgaben.
Prüfungsdomain: Essential AI Knowledge

H

HGX#
NVIDIAs GPU-Baseboard-Plattform, um die Serverhersteller ihre eigenen KI-Server bauen.
Prüfungsdomain: AI Infrastructure

I

Inference#Inferenz
Ausführen eines trainierten Modells, um Vorhersagen oder Antworten zu erzeugen. Inferenz wird meist nach Latenz, Durchsatz und Kosten pro Anfrage bewertet.
Prüfungsdomain: Essential AI Knowledge
InfiniBand(IB)#
Netzwerktechnik mit geringer Latenz, hoher Bandbreite und eingebautem RDMA, verbreitet zur Verbindung der Server in KI-Trainingsclustern. NVIDIAs InfiniBand-Produktfamilie heißt Quantum.
Prüfungsdomain: AI Infrastructure

K

Kubernetes(K8s)#
Open-Source-Plattform zur Orchestrierung von Containern. Verbreitet für Inferenzdienste und zunehmend für Training; GPUs werden über den NVIDIA GPU Operator bereitgestellt.
Prüfungsdomain: AI Operations

L

Liquid cooling#Flüssigkeitskühlung
Wärmeabfuhr mit Flüssigkeit, etwa über Kühlplatten direkt auf den Prozessoren (Direct-to-Chip). Sie bewältigt die hohen Leistungsdichten moderner GPU-Racks besser als Luftkühlung.
Prüfungsdomain: AI Infrastructure

M

Machine learning(ML)#Maschinelles Lernen
KI-Verfahren, die Muster aus Daten lernen, statt fest programmierten Regeln zu folgen.
Prüfungsdomain: Essential AI Knowledge
Multi-Instance GPU(MIG)#Multi-Instance GPU (MIG)
Aufteilung einer unterstützten Rechenzentrums-GPU in bis zu sieben isolierte Instanzen mit jeweils eigenem Speicher, Cache und eigenen Recheneinheiten.
Prüfungsdomain: AI Operations

N

NGC catalog(NGC)#NGC-Katalog
NVIDIAs Sammlung GPU-optimierter Container, vortrainierter Modelle, Helm-Charts und SDKs.
Prüfungsdomain: Essential AI Knowledge
NVIDIA AI Enterprise#
NVIDIAs lizenzierte Softwareplattform zum Entwickeln und Betreiben von KI in der Produktion, mit Enterprise-Support. Sie umfasst Frameworks, vortrainierte Modelle und NIM-Microservices.
Prüfungsdomain: Essential AI Knowledge
NVIDIA GPU Operator#
Kubernetes-Operator, der die nötige GPU-Software auf jedem Knoten installiert und verwaltet: Treiber, Container-Toolkit, Device-Plugin und DCGM-Überwachung.
Prüfungsdomain: AI Operations
NVIDIA NIM(NIM)#
Vorgefertigte Inferenz-Microservices im Container, die ein Modell mit optimierter Laufzeitumgebung und Standard-API bündeln.
Prüfungsdomain: Essential AI Knowledge
NVIDIA Run:ai#
GPU-Orchestrierungssoftware auf Kubernetes, die GPUs bündelt und mit Kontingenten und Scheduling-Regeln zwischen Teams aufteilt.
Prüfungsdomain: AI Operations
nvidia-smi#
Kommandozeilenwerkzeug, das den Zustand der NVIDIA-GPUs eines Servers anzeigt und verwaltet: Auslastung, Speicher, Temperatur, Leistungsaufnahme und laufende Prozesse.
Prüfungsdomain: AI Operations
NVSwitch#
Switch-Chip, der viele GPUs über NVLink verbindet, sodass jede GPU mit jeder anderen mit voller NVLink-Geschwindigkeit kommunizieren kann.
Prüfungsdomain: AI Infrastructure

P

PCI Express(PCIe)#
Standard-Erweiterungsbus, der GPUs, Netzwerkkarten und Speicher im Server mit der CPU verbindet.
Prüfungsdomain: AI Infrastructure
Power usage effectiveness(PUE)#PUE (Energieeffizienz-Kennzahl)
Gesamter Energiebedarf des Rechenzentrums geteilt durch den Bedarf der IT-Geräte. Ein Wert näher an 1,0 bedeutet, dass weniger Energie in Kühlung und sonstigen Overhead fließt.
Prüfungsdomain: AI Infrastructure

R

RAPIDS#
Open-Source-Bibliotheken für GPU-beschleunigte Data Science und Datenaufbereitung, mit Schnittstellen nach dem Vorbild von pandas und scikit-learn.
Prüfungsdomain: Essential AI Knowledge
RDMA over Converged Ethernet(RoCE)#RDMA über Ethernet (RoCE)
RDMA über Ethernet-Netzwerke. Für gute Leistung braucht es ein sorgfältig konfiguriertes, verlustfreies oder staugesteuertes Ethernet.
Prüfungsdomain: AI Infrastructure
Remote direct memory access(RDMA)#Direkter Speicherzugriff über das Netz (RDMA)
Datenübertragung direkt zwischen dem Speicher zweier Rechner, ohne deren CPUs oder Betriebssysteme einzubinden; senkt Latenz und CPU-Last.
Prüfungsdomain: AI Infrastructure

S

Slurm#
Open-Source-Workload-Manager, verbreitet in HPC- und KI-Trainingsclustern. Er stellt Batch-Jobs in Warteschlangen und weist ihnen Knoten und GPUs zu.
Prüfungsdomain: AI Operations
Spectrum-X#
NVIDIAs Ethernet-Plattform für KI, die Spectrum-Switches mit BlueField-SuperNICs kombiniert, um die RoCE-Leistung in KI-Clustern zu verbessern.
Prüfungsdomain: AI Infrastructure

T

Tensor Core#Tensor Core (Tensorkern)
Spezialeinheiten in NVIDIA-GPUs, die die Matrix-Multiplikationen von Deep Learning beschleunigen, besonders bei reduzierter Rechengenauigkeit.
Prüfungsdomain: Essential AI Knowledge
TensorRT#
NVIDIA-SDK, das trainierte Modelle für schnellere Inferenz auf NVIDIA-GPUs optimiert, etwa durch Zusammenfassen von Schichten und reduzierte Genauigkeit.
Prüfungsdomain: Essential AI Knowledge
Training#
Phase, in der ein Modell seine Parameter aus Daten lernt. Das Training großer Modelle braucht viele zusammenarbeitende GPUs, schnelle Verbindungen zwischen den GPUs und hohen Speicherdurchsatz.
Prüfungsdomain: Essential AI Knowledge
Triton Inference Server#
Open-Source-Inferenzserver, der Modelle aus verschiedenen Frameworks auf GPUs und CPUs bereitstellt. NVIDIA führt ihn inzwischen als NVIDIA Dynamo-Triton.
Prüfungsdomain: Essential AI Knowledge

V

Virtual GPU(vGPU)#Virtuelle GPU (vGPU)
NVIDIA-Software, die eine physische GPU über den Hypervisor zwischen virtuellen Maschinen aufteilt.
Prüfungsdomain: AI Operations