Prüfungsglossar
NVIDIA NCA-AIIO: Glossar
Die Begriffe, die dir in der NVIDIA NCA-AIIO-Prüfung begegnen, mit kurzer Erklärung auf Deutsch. Die Prüfung findet auf Englisch statt: Lern den englischen Begriff mit, so wie er in der Prüfung steht.
39 Begriffe · Erklärungen mit der offiziellen Dokumentation abgeglichen am 13. November 2026 · In English
A
- Artificial intelligence(AI)#Künstliche Intelligenz (KI)
- Oberbegriff für Computersysteme, die Aufgaben lösen, für die sonst menschliche Intelligenz nötig ist. Maschinelles Lernen ist ein Teilgebiet der KI, Deep Learning ein Teilgebiet des maschinellen Lernens.
- Prüfungsdomain: Essential AI Knowledge
B
- Base Command Manager(BCM)#
- NVIDIA-Software zum Bereitstellen, Verwalten und Überwachen von KI-Clustern, einschließlich der Einrichtung von Slurm oder Kubernetes.
- Prüfungsdomain: AI Operations
C
- CUDA#
- NVIDIAs Plattform und Programmiermodell für paralleles Rechnen auf GPUs. Der größte Teil des NVIDIA-KI-Software-Stacks baut auf CUDA und seinen Bibliotheken auf.
- Prüfungsdomain: Essential AI Knowledge
D
- Data Center GPU Manager(DCGM)#Data Center GPU Manager (DCGM)
- NVIDIA-Werkzeugsammlung für Überwachung, Zustandsprüfung und Diagnose von GPUs im Cluster. Die Messwerte werden oft an Prometheus und Grafana weitergegeben.
- Prüfungsdomain: AI Operations
- Data processing unit(DPU)#Datenverarbeitungseinheit (DPU)
- Programmierbarer Prozessor auf der Netzwerkkarte, der Netzwerk-, Speicher- und Sicherheitsaufgaben von der Host-CPU übernimmt. NVIDIAs DPUs sind die BlueField-Familie.
- Prüfungsdomain: AI Infrastructure
- Deep learning(DL)#Deep Learning (tiefes Lernen)
- Maschinelles Lernen mit neuronalen Netzen aus vielen Schichten. Die großen Matrixberechnungen sind der Hauptgrund, warum GPUs für KI eingesetzt werden.
- Prüfungsdomain: Essential AI Knowledge
- DGX#
- NVIDIAs integrierte KI-Systeme: Server mit mehreren NVIDIA-GPUs, NVLink, Netzwerk und Software, geliefert als eine getestete Plattform.
- Prüfungsdomain: AI Infrastructure
- DGX SuperPOD#
- NVIDIAs Referenzarchitektur für große KI-Cluster aus DGX-Systemen, mit festgelegtem Netzwerk, Speicher und Verwaltungssoftware.
- Prüfungsdomain: AI Infrastructure
E
- East-west traffic#Ost-West-Verkehr
- Netzwerkverkehr zwischen Servern innerhalb des Rechenzentrums, etwa GPU-zu-GPU-Verkehr beim verteilten Training. Nord-Süd-Verkehr fließt in das Rechenzentrum hinein und heraus.
- Prüfungsdomain: AI Infrastructure
G
- GPU utilization#GPU-Auslastung
- Anteil der Zeit, in der eine GPU beschäftigt ist. Hohe Auslastung allein beweist keine effiziente Nutzung; sie wird zusammen mit Speichernutzung, Leistung, Temperatur und Fehlerzählern bewertet.
- Prüfungsdomain: AI Operations
- GPUDirect#
- NVIDIA-Technologien, mit denen Netzwerkkarten (GPUDirect RDMA) und Speicher (GPUDirect Storage) Daten direkt in den und aus dem GPU-Speicher übertragen, ohne Umweg über den CPU-Speicher.
- Prüfungsdomain: AI Infrastructure
- Graphics processing unit(GPU)#Grafikprozessor (GPU)
- Prozessor mit Tausenden Rechenkernen für viele parallele Berechnungen. Eine CPU hat weniger, komplexere Kerne für sequenzielle, allgemeine Aufgaben.
- Prüfungsdomain: Essential AI Knowledge
H
- HGX#
- NVIDIAs GPU-Baseboard-Plattform, um die Serverhersteller ihre eigenen KI-Server bauen.
- Prüfungsdomain: AI Infrastructure
I
- Inference#Inferenz
- Ausführen eines trainierten Modells, um Vorhersagen oder Antworten zu erzeugen. Inferenz wird meist nach Latenz, Durchsatz und Kosten pro Anfrage bewertet.
- Prüfungsdomain: Essential AI Knowledge
- InfiniBand(IB)#
- Netzwerktechnik mit geringer Latenz, hoher Bandbreite und eingebautem RDMA, verbreitet zur Verbindung der Server in KI-Trainingsclustern. NVIDIAs InfiniBand-Produktfamilie heißt Quantum.
- Prüfungsdomain: AI Infrastructure
K
- Kubernetes(K8s)#
- Open-Source-Plattform zur Orchestrierung von Containern. Verbreitet für Inferenzdienste und zunehmend für Training; GPUs werden über den NVIDIA GPU Operator bereitgestellt.
- Prüfungsdomain: AI Operations
L
- Liquid cooling#Flüssigkeitskühlung
- Wärmeabfuhr mit Flüssigkeit, etwa über Kühlplatten direkt auf den Prozessoren (Direct-to-Chip). Sie bewältigt die hohen Leistungsdichten moderner GPU-Racks besser als Luftkühlung.
- Prüfungsdomain: AI Infrastructure
M
- Machine learning(ML)#Maschinelles Lernen
- KI-Verfahren, die Muster aus Daten lernen, statt fest programmierten Regeln zu folgen.
- Prüfungsdomain: Essential AI Knowledge
- Multi-Instance GPU(MIG)#Multi-Instance GPU (MIG)
- Aufteilung einer unterstützten Rechenzentrums-GPU in bis zu sieben isolierte Instanzen mit jeweils eigenem Speicher, Cache und eigenen Recheneinheiten.
- Prüfungsdomain: AI Operations
N
- NGC catalog(NGC)#NGC-Katalog
- NVIDIAs Sammlung GPU-optimierter Container, vortrainierter Modelle, Helm-Charts und SDKs.
- Prüfungsdomain: Essential AI Knowledge
- NVIDIA AI Enterprise#
- NVIDIAs lizenzierte Softwareplattform zum Entwickeln und Betreiben von KI in der Produktion, mit Enterprise-Support. Sie umfasst Frameworks, vortrainierte Modelle und NIM-Microservices.
- Prüfungsdomain: Essential AI Knowledge
- NVIDIA GPU Operator#
- Kubernetes-Operator, der die nötige GPU-Software auf jedem Knoten installiert und verwaltet: Treiber, Container-Toolkit, Device-Plugin und DCGM-Überwachung.
- Prüfungsdomain: AI Operations
- NVIDIA NIM(NIM)#
- Vorgefertigte Inferenz-Microservices im Container, die ein Modell mit optimierter Laufzeitumgebung und Standard-API bündeln.
- Prüfungsdomain: Essential AI Knowledge
- NVIDIA Run:ai#
- GPU-Orchestrierungssoftware auf Kubernetes, die GPUs bündelt und mit Kontingenten und Scheduling-Regeln zwischen Teams aufteilt.
- Prüfungsdomain: AI Operations
- nvidia-smi#
- Kommandozeilenwerkzeug, das den Zustand der NVIDIA-GPUs eines Servers anzeigt und verwaltet: Auslastung, Speicher, Temperatur, Leistungsaufnahme und laufende Prozesse.
- Prüfungsdomain: AI Operations
- NVLink#
- NVIDIAs Verbindung zwischen GPUs mit hoher Bandbreite, deutlich schneller als PCIe, innerhalb eines Servers und mit NVLink Switch auch über ein Rack hinweg.
- Prüfungsdomain: AI Infrastructure
- NVSwitch#
- Switch-Chip, der viele GPUs über NVLink verbindet, sodass jede GPU mit jeder anderen mit voller NVLink-Geschwindigkeit kommunizieren kann.
- Prüfungsdomain: AI Infrastructure
P
- PCI Express(PCIe)#
- Standard-Erweiterungsbus, der GPUs, Netzwerkkarten und Speicher im Server mit der CPU verbindet.
- Prüfungsdomain: AI Infrastructure
- Power usage effectiveness(PUE)#PUE (Energieeffizienz-Kennzahl)
- Gesamter Energiebedarf des Rechenzentrums geteilt durch den Bedarf der IT-Geräte. Ein Wert näher an 1,0 bedeutet, dass weniger Energie in Kühlung und sonstigen Overhead fließt.
- Prüfungsdomain: AI Infrastructure
R
- RAPIDS#
- Open-Source-Bibliotheken für GPU-beschleunigte Data Science und Datenaufbereitung, mit Schnittstellen nach dem Vorbild von pandas und scikit-learn.
- Prüfungsdomain: Essential AI Knowledge
- RDMA over Converged Ethernet(RoCE)#RDMA über Ethernet (RoCE)
- RDMA über Ethernet-Netzwerke. Für gute Leistung braucht es ein sorgfältig konfiguriertes, verlustfreies oder staugesteuertes Ethernet.
- Prüfungsdomain: AI Infrastructure
- Remote direct memory access(RDMA)#Direkter Speicherzugriff über das Netz (RDMA)
- Datenübertragung direkt zwischen dem Speicher zweier Rechner, ohne deren CPUs oder Betriebssysteme einzubinden; senkt Latenz und CPU-Last.
- Prüfungsdomain: AI Infrastructure
S
- Slurm#
- Open-Source-Workload-Manager, verbreitet in HPC- und KI-Trainingsclustern. Er stellt Batch-Jobs in Warteschlangen und weist ihnen Knoten und GPUs zu.
- Prüfungsdomain: AI Operations
- Spectrum-X#
- NVIDIAs Ethernet-Plattform für KI, die Spectrum-Switches mit BlueField-SuperNICs kombiniert, um die RoCE-Leistung in KI-Clustern zu verbessern.
- Prüfungsdomain: AI Infrastructure
T
- Tensor Core#Tensor Core (Tensorkern)
- Spezialeinheiten in NVIDIA-GPUs, die die Matrix-Multiplikationen von Deep Learning beschleunigen, besonders bei reduzierter Rechengenauigkeit.
- Prüfungsdomain: Essential AI Knowledge
- TensorRT#
- NVIDIA-SDK, das trainierte Modelle für schnellere Inferenz auf NVIDIA-GPUs optimiert, etwa durch Zusammenfassen von Schichten und reduzierte Genauigkeit.
- Prüfungsdomain: Essential AI Knowledge
- Training#
- Phase, in der ein Modell seine Parameter aus Daten lernt. Das Training großer Modelle braucht viele zusammenarbeitende GPUs, schnelle Verbindungen zwischen den GPUs und hohen Speicherdurchsatz.
- Prüfungsdomain: Essential AI Knowledge
- Triton Inference Server#
- Open-Source-Inferenzserver, der Modelle aus verschiedenen Frameworks auf GPUs und CPUs bereitstellt. NVIDIA führt ihn inzwischen als NVIDIA Dynamo-Triton.
- Prüfungsdomain: Essential AI Knowledge
V
- Virtual GPU(vGPU)#Virtuelle GPU (vGPU)
- NVIDIA-Software, die eine physische GPU über den Hypervisor zwischen virtuellen Maschinen aufteilt.
- Prüfungsdomain: AI Operations