Komprimierte KI - Wie Quantisierung große Sprachmodelle verkleinert
Abstract
Große Sprachmodelle wie ChatGPT benötigen große und teure Server und viel Energie. Man kann sie aber quantisieren, sodass sie mit viel weniger Speicher und Strom auskommen und sogar lokal auf einem Smartphone laufen. Wir erklären, warum quantisierte Modelle viel schneller antworten und trotzdem fast so schlau sind wie die großen Originale.
mehrMehr zum Titel
| Titel | Komprimierte KI - Wie Quantisierung große Sprachmodelle verkleinert |
|---|---|
| Medien | c't - Magzin für Computertechnik |
| Verlag | Heise |
| Heft | 2 |
| Band | 2025 |
| ISBN | --- |
| Verfasser/Herausgeber | Prof. Dr. René Peinl |
| Seiten | 120-125 |
| Veröffentlichungsdatum | 10.01.2025 |
| Projekttitel | M4-SKI |
| Zitation | Peinl, René (2025): Komprimierte KI - Wie Quantisierung große Sprachmodelle verkleinert . c't - Magzin für Computertechnik 2025 (2), S. 120-125. |