Was ist eine NPU? Der KI-Chip im Smartphone erklärt

Seit ein, zwei Jahren steht auf jedem Smartphone-Datenblatt eine NPU, und in der Werbung ist plötzlich alles „KI“. Die Abkürzung steht für Neural Processing Unit, auf Deutsch etwa neuronale Recheneinheit. Es ist ein eigener Teil des Chips, der nur eine Aufgabe hat: Künstliche Intelligenz direkt auf dem Gerät zu berechnen, ohne den Umweg über einen Server im Internet. Face ID, das Freistellen von Objekten in Fotos, Diktat und Live-Übersetzung laufen darüber. Dieser Artikel erklärt, was eine NPU eigentlich ist, warum es sie neben Hauptprozessor und Grafikchip überhaupt braucht und warum sie bei Apple, Qualcomm und Google jeweils einen anderen Namen trägt. Die Kurzfassung oben, die Technik darunter.

Das Wichtigste in Kürze

• Eine NPU ist ein spezialisierter Chip-Teil, der auf die Rechenart von künstlicher Intelligenz zugeschnitten ist. Sie sitzt meist mit im Hauptchip (dem SoC), neben Prozessor und Grafikeinheit.
• Sie rechnet KI direkt auf dem Gerät. Der Fachbegriff ist On-Device-KI. Der Vorteil: mehr Privatsphäre, kürzere Wartezeit und die Funktionen laufen auch ohne Internet.
• Sie ist auf eine Rechenart ausgelegt, die in neuronalen Netzen ständig vorkommt: viele einfache Multiplikationen und Additionen gleichzeitig, sogenannte Matrix- oder Tensor-Rechnungen.
• Sie ist vor allem sparsam. Dieselbe KI-Aufgabe kostet auf der NPU deutlich weniger Strom als auf dem Hauptprozessor. Das schont den Akku und hält das Handy kühler.
• Jeder Hersteller nennt sie anders. Bei Apple heißt sie Neural Engine, bei Qualcomm Hexagon NPU, Google spricht bei Tensor von einer TPU. Gemeint ist jeweils dieselbe Idee.
• Die Leistung wird oft in TOPS angegeben. Das steht für Billionen Rechenoperationen pro Sekunde und ist eine grobe Kennzahl, keine Garantie für ein besseres Erlebnis.

Die einfache Erklärung: der Spezialist neben dem Alleskönner

Stell dir den Chip in deinem Smartphone wie eine Werkstatt mit mehreren Handwerkern vor. Der Hauptprozessor, die CPU, ist der Alleskönner: Er erledigt alles, eins nach dem anderen, dafür schnell umgeschaltet. Die Grafikeinheit, die GPU, ist der Trupp, der viele gleiche Handgriffe parallel macht, ursprünglich zum Zeichnen von Bildpunkten. Die NPU ist der Spezialist, der genau eine Sorte Arbeit besonders effizient beherrscht: die Rechnungen, aus denen ein neuronales Netz besteht.

Qualcomm beschreibt diese Aufteilung als heterogenes Rechnen: Man nutzt für jede Aufgabe den Prozessor, der sie am besten kann. Die CPU ist stark bei Aufgaben, die Schritt für Schritt und sofort erledigt werden müssen. Die GPU ist stark bei großen, parallelen Datenströmen. Die NPU ist auf die Skalar-, Vektor- und Tensor-Rechnung von KI-Modellen ausgelegt. Würde man dieselbe KI-Aufgabe auf der CPU rechnen, ginge es langsamer und würde spürbar mehr Strom kosten. Genau deshalb gibt es die NPU zusätzlich, nicht als Ersatz für die anderen beiden.

Was die NPU im Alltag macht

Das Wort KI klingt nach Zukunft, aber die NPU arbeitet längst bei ganz alltäglichen Dingen mit:

• Gesicht entsperren. Face ID und ähnliche Verfahren gleichen dein Gesicht mit einem gespeicherten Modell ab. Diese Erkennung läuft auf der NPU, damit sie schnell ist und die Gesichtsdaten das Gerät nicht verlassen.
• Fotos. Motive erkennen, ein Objekt vom Hintergrund freistellen, in der Galerie nach „Hund“ oder „Strand“ suchen, Nachtaufnahmen zusammenrechnen: Das sind KI-Aufgaben.
• Sprache. Diktat, Sprachbefehle und Übersetzung setzen deine Worte in Text um, oft ohne Internet.
• Tastatur. Wortvorschläge und Autokorrektur werden zunehmend von kleinen Sprachmodellen berechnet.
• Neuere KI-Funktionen. Texte zusammenfassen, Bilder bearbeiten oder erzeugen, ein Assistent, der den Bildschirm versteht: Solche Funktionen der jüngeren Gerätegeneration stützen sich stark auf die NPU.

Warum nicht einfach die vorhandene CPU oder GPU?

Die naheliegende Frage: Warum baut man einen extra Chip-Teil ein, wenn Prozessor und Grafikeinheit doch schon da sind? Die Antwort ist Effizienz. Neuronale Netze bestehen aus enorm vielen sehr einfachen Rechnungen: Zahlen werden multipliziert, aufsummiert und durch eine einfache Funktion geschickt, und das millionenfach. Eine CPU kann das, aber sie ist für Vielseitigkeit gebaut, nicht für diese eine Sorte Massenrechnung. Eine GPU ist schon näher dran, weil sie parallel arbeitet, verbraucht dabei aber viel Strom.

Die NPU ist von Grund auf für genau dieses Muster entworfen. Dadurch schafft sie dieselbe KI-Aufgabe mit einem Bruchteil der Energie. Und Energie ist im Smartphone die härteste Währung: Was wenig Strom braucht, entlädt den Akku langsamer und erzeugt weniger Wärme. Deshalb wandert alles, was regelmäßig und im Hintergrund läuft, auf die sparsame NPU, während CPU und GPU frei bleiben für den Rest.

CPU, GPU und NPU im Vergleich

Für alle, die es genau wissen wollen: Tensoren, TOPS und die vielen Namen

Ab hier wird es technisch. Wer nur den praktischen Teil wollte, kann zum Abschnitt über den Gebrauchtkauf springen.

Was die NPU eigentlich rechnet

Ein neuronales Netz ist eine Kette von Schichten. In jeder Schicht wird eine Liste von Zahlen mit einer Tabelle von Gewichten verrechnet, indem man sehr viele Produkte bildet und aufsummiert. In der Mathematik heißt das Matrixmultiplikation, allgemeiner Tensor-Rechnung. Danach läuft das Ergebnis durch eine einfache Aktivierungsfunktion, die entscheidet, was weitergereicht wird. Qualcomm beschreibt eine Netzschicht genau so: Skalar-, Vektor- und Tensor-Rechnung, gefolgt von einer nichtlinearen Aktivierung. Eine NPU baut Recheneinheiten, die genau diese Multiplizier-und-Addier-Schritte massenhaft parallel und in einem Rutsch erledigen. Apple beschreibt die eigene Neural Engine entsprechend als energieeffiziente Einheit mit hohem Durchsatz für die KI-Auswertung auf dem Gerät, getrennt von CPU und GPU.

Warum kleinere Zahlen hier ein Vorteil sind

Ein wichtiger Kniff heißt Quantisierung. Beim Trainieren rechnen KI-Modelle oft mit sehr genauen Kommazahlen. Für die Auswertung auf dem Handy reicht meist eine gröbere Genauigkeit, etwa ganze Zahlen mit acht Bit. NPUs sind stark auf solche kleinen Zahlenformate ausgelegt, weil sich damit viel mehr Rechnungen pro Sekunde und pro Milliwatt erledigen lassen. Man tauscht ein winziges bisschen Präzision gegen sehr viel Tempo und Stromersparnis, ohne dass man den Unterschied im Ergebnis bemerkt.

Was TOPS bedeutet und was nicht

Als Kennzahl liest man oft TOPS, Billionen Operationen pro Sekunde. Sie sagt, wie viele dieser einfachen Rechenschritte eine NPU theoretisch pro Sekunde schafft. Zur Einordnung: Kleine NPUs für sparsame Geräte liegen laut Arm im Bereich von unter einer bis wenige TOPS, während NPUs in aktuellen Smartphones ein Vielfaches davon erreichen. Nimm die Zahl aber mit Vorsicht. TOPS ist ein Spitzenwert unter Idealbedingungen und sagt wenig darüber, wie gut ein bestimmtes Modell am Ende läuft. Speicheranbindung, Softwareunterstützung und das genutzte Zahlenformat entscheiden im Alltag mindestens genauso stark. Eine hohe TOPS-Zahl ist ein grober Anhaltspunkt, kein Versprechen.

Warum jeder Hersteller einen anderen Namen benutzt

Die Idee ist überall dieselbe, die Marketingnamen sind es nicht. Apple nennt seine Einheit Neural Engine und hat sie 2017 mit dem A11-Chip im iPhone eingeführt; sie steckt seither in iPhones, iPads und Macs. Qualcomm nennt seine Einheit Hexagon NPU und beschreibt sie als eigens für KI-Auswertung entworfen, mit Skalar-, Vektor- und Tensor-Beschleunigern und gemeinsamem Speicher; sie steckt in den Snapdragon-Chips vieler Android-Geräte. Google spricht bei seinen Tensor-Chips von einer TPU. Samsung verbaut in Exynos-Chips eine eigene NPU. Arm wiederum liefert mit der Ethos-Reihe fertige NPU-Baupläne, die andere Hersteller lizenzieren. Wenn du also NPU, Neural Engine, Hexagon oder TPU liest, meinen alle den KI-Beschleuniger im Chip.

Warum das direkt auf dem Gerät wichtig ist

Der eigentliche Zweck der NPU ist On-Device-KI, also KI ohne Cloud. Das hat drei handfeste Folgen. Erstens Privatsphäre: Dein Gesicht, deine Fotos und deine Diktate müssen nicht an einen fremden Server geschickt werden. Zweitens Tempo: Es entfällt der Weg ins Internet und zurück, die Antwort kommt sofort. Drittens Unabhängigkeit: Vieles funktioniert auch im Flugmodus oder bei schlechtem Empfang. Der Preis dafür ist die begrenzte Rechenkraft eines Handys, weshalb sehr große KI-Modelle weiterhin in Rechenzentren laufen. Die NPU ist der Baustein, der so viel wie möglich davon auf das Gerät selbst holt.

Was das für dich heißt, auch beim Gebrauchtkauf

Für den Alltag ist die wichtigste Erkenntnis beruhigend: Eine NPU ist nichts Exotisches und nichts brandneues, das nur das teuerste Modell hätte. Smartphones tragen seit vielen Jahren einen KI-Beschleuniger im Chip. Face ID, Foto-Suche und Diktat gibt es entsprechend lange. Für die meisten dieser Funktionen brauchst du also kein aktuelles Spitzengerät.

Beim Kauf lohnt es sich, die NPU nicht isoliert zu betrachten, sondern zu fragen, welche Funktionen du wirklich nutzt. Wer vor allem fotografiert, telefoniert und Nachrichten schreibt, ist mit einem geprüften, gebrauchten Smartphone aus den letzten Jahren bestens versorgt, dessen NPU all das mühelos leistet. Nur die jüngsten, besonders rechenhungrigen KI-Funktionen setzen bewusst eine aktuelle Gerätegeneration voraus. Ob du die brauchst, entscheidest du, nicht die TOPS-Zahl im Datenblatt. Wie lange ein Modell überhaupt mit Updates versorgt wird, ist beim Gebrauchtkauf oft das wichtigere Kriterium; das erklärt der Ratgeber Wie lange bekomme ich Updates für mein Smartphone.

Talkis Empfehlung

Die NPU ist einer dieser Begriffe, die größer klingen, als sie im Alltag sind. Im Kern ist sie ein sparsamer Spezialist neben Prozessor und Grafikeinheit, der KI-Aufgaben schnell und stromsparend direkt auf dem Gerät erledigt. Das ist praktisch, weil deine Daten dabei nicht in die Cloud müssen und vieles auch offline geht. Lass dich beim Kauf nicht von einer möglichst hohen TOPS-Zahl leiten. Frag stattdessen, welche Funktionen dir wichtig sind und wie lange das Gerät noch Updates bekommt. Für fast alles, was heute unter KI läuft, reicht ein geprüftes Smartphone aus den letzten Jahren völlig aus. Wenn du unsicher bist, welches Modell zu dir passt, frag mich.

Smartphones ansehen

Häufige Fragen

Was ist eine NPU im Smartphone? Eine NPU (Neural Processing Unit) ist ein spezialisierter Teil des Chips, der auf die Rechenart von künstlicher Intelligenz ausgelegt ist. Sie berechnet Aufgaben wie Gesichtserkennung, Foto-KI und Sprachverarbeitung schnell und stromsparend, meist ohne Umweg über das Internet.

Wozu braucht ein Handy eine NPU, wenn es doch schon einen Prozessor hat? Weil KI-Aufgaben aus sehr vielen gleichartigen Rechnungen bestehen, für die der Hauptprozessor nicht gebaut ist. Auf der CPU wäre dieselbe Aufgabe langsamer und würde deutlich mehr Strom kosten. Die NPU erledigt sie effizient und hält CPU und Grafikeinheit frei.

Was ist der Unterschied zwischen NPU, CPU und GPU? Die CPU ist der vielseitige Hauptprozessor für alle Aufgaben. Die GPU rechnet viele Dinge parallel, ursprünglich für Grafik. Die NPU ist auf die Matrix- und Tensor-Rechnung von KI-Modellen spezialisiert und dabei besonders sparsam. Moderne Chips haben alle drei und teilen die Arbeit auf.

Ist die Neural Engine dasselbe wie eine NPU? Ja. Neural Engine ist Apples Name für seine NPU. Qualcomm nennt sie Hexagon NPU, Google spricht bei Tensor von einer TPU, Samsung von einer NPU im Exynos. Gemeint ist jeweils derselbe KI-Beschleuniger im Chip.

Was bedeutet TOPS bei einer NPU? TOPS steht für Billionen Operationen pro Sekunde und gibt an, wie viele einfache Rechenschritte die NPU theoretisch pro Sekunde schafft. Es ist ein grober Leistungswert unter Idealbedingungen und sagt allein wenig darüber aus, wie gut eine bestimmte Funktion am Ende läuft.

Braucht man für KI-Funktionen unbedingt ein neues Smartphone? Für die meisten nicht. Ein KI-Beschleuniger steckt seit Jahren in Smartphones, entsprechend laufen Gesichtserkennung, Foto-Suche und Diktat auch auf älteren Geräten. Nur die jüngsten, besonders aufwendigen KI-Funktionen setzen bewusst eine aktuelle Gerätegeneration voraus.

Quellen und zum Weiterlesen

• Qualcomm: What is an NPU? And why is it key to unlocking on-device generative AI? (Definition NPU, Abgrenzung CPU/GPU, heterogenes Rechnen, Netzschicht aus Skalar-/Vektor-/Tensor-Rechnung plus Aktivierung).
• Qualcomm: Hexagon NPU (Hexagon als eigens für KI entworfene NPU mit Skalar-, Vektor- und Tensor-Beschleunigern und gemeinsamem Speicher, verbaut in Snapdragon-Plattformen).
• Apple Machine Learning Research: Deploying Transformers on the Apple Neural Engine (ANE als energieeffiziente Einheit mit hohem Durchsatz für ML-Inferenz, getrennt von CPU und GPU; Durchsatz von 0,6 auf 15,8 TFLOPS iPhone X → iPhone 13 Pro).
• Apple Newsroom: Apple introduces iPhone 16 and iPhone 16 Plus (16-Core Neural Engine, On-Device-KI als Rahmen für Apple Intelligence).
• Arm: Ethos-U85 und Ethos-U55 (NPU-Baupläne zum Lizenzieren, TOPS als Leistungsmaß, Einordnung kleiner Edge-NPUs im Bereich unter einer bis wenige TOPS).