Tether startet plattformübergreifendes BitNet LoRA Framework zur Ermöglichung von KI-Training und Inferenz mit Milliarden Parametern auf Verbrauchergeräten

Der USDT Stablecoin-Emittent Tether gab die Einführung dessen bekannt, was das Unternehmen als erstes plattformübergreifendes LoRA-Feinabstimmungs-Framework für Microsoft BitNet-Modelle beschreibt, die auf einer 1-Bit-Architektur großer Sprachmodelle basieren. Die Funktion ist in das QVAC Fabric-System integriert und soll sowohl den Speicherverbrauch als auch den Rechenaufwand erheblich reduzieren. Laut dem Unternehmen ermöglicht diese Entwicklung die Feinabstimmung großer Sprachmodelle, einschließlich solcher mit Milliarden von Parametern, unter Verwendung weit verbreiteter Verbraucherhardware wie Laptops, Standard-Grafikprozessoren und modernen Smartphones.

Die Entwicklung und Wartung von KI-gesteuerten Systemen erforderten traditionell Hardware auf Unternehmensniveau, insbesondere spezialisierte NVIDIA-Infrastruktur oder Cloud-Computing-Umgebungen. Diese Anforderungen haben zu hohen Betriebskosten beigetragen und den Zugang zu fortschrittlicher KI-Entwicklung hauptsächlich auf große Organisationen mit erheblichen finanziellen Ressourcen und Zugang zu spezialisierten Computersystemen beschränkt.

Tether erklärte, dass sein QVAC Fabric großes Sprachmodell, erweitert durch das neu eingeführte BitNet-basierte Framework, diese Einschränkungen adressiert, indem es plattformübergreifende LoRA-Feinabstimmung unterstützt und die Inferenz über eine Reihe heterogener Verbraucher-GPUs beschleunigt. Dazu gehören Hardware von Intel, AMD und Apple Silicon unter anderem. Dadurch können Benutzer KI-Modelle direkt auf allgemein verfügbaren Verbrauchergeräten trainieren und anpassen, anstatt sich auf zentralisierte Infrastruktur zu verlassen.

Das Unternehmen berichtete, dass sein Engineering-Team BitNet-Feinabstimmung auf mobilen Grafikprozessoren erstmals erfolgreich demonstriert hat, einschließlich Plattformen wie Adreno, Mali und Apple Bionic GPUs. Interne Tests zeigten, dass ein BitNet-Modell mit 125 Millionen Parametern in etwa zehn Minuten auf einem Samsung S25-Gerät mit einer Adreno-GPU unter Verwendung eines biomedizinischen Datensatzes mit etwa 300 Dokumenten oder etwa 18.000 Tokens feinabgestimmt werden konnte. Für ein Modell mit 1 Milliarde Parametern erforderte derselbe Datensatz etwa eine Stunde und achtzehn Minuten auf dem Samsung S25 und eine Stunde und fünfundvierzig Minuten auf einem iPhone 16. Das Unternehmen berichtete auch, dass es Tests auf Modelle mit bis zu 13 Milliarden Parametern auf dem iPhone 16 unter maximalen Gerätekapazitätsbedingungen ausdehnen konnte.

Fortschritte beim Edge-basierten KI-Training und bei der Leistungsoptimierung

Weitere Erkenntnisse deuten darauf hin, dass das Framework die Feinabstimmung von Modellen unterstützen kann, die bis zu doppelt so groß sind wie vergleichbare Nicht-BitNet-Modelle, die unter Q4-Quantisierung auf Edge-Geräten arbeiten. Dieses Ergebnis wird dem reduzierten Speicherbedarf der BitNet-Architektur zugeschrieben.

Zusätzlich zu Verbesserungen beim Training zeigt das Framework auch eine verbesserte Inferenzleistung. Tests auf mobilen Geräten zeigten, dass BitNet-Modelle bei Ausführung auf GPUs deutlich schneller arbeiten, mit Verarbeitungsgeschwindigkeiten, die zwei- bis elfmal höher sind als bei CPU-basierter Ausführung. Diese Ergebnisse zeigen, dass mobile GPUs zunehmend in der Lage sind, Arbeitslasten zu bewältigen, die zuvor spezialisierte Hardware oder Ressourcen auf Rechenzentrumsebene erforderten.

Das System zeigt auch bemerkenswerte Verbesserungen bei der Speichereffizienz. Benchmark-Daten legen nahe, dass ein BitNet-1B-Modell mit TQ1_0-Konfiguration bis zu 77,8 Prozent weniger VRAM benötigt als ein 16-Bit-Gemma-3-1B-Modell und 65,6 Prozent weniger als ein 16-Bit-Qwen3-0.6B-Modell während sowohl Inferenz- als auch LoRA-Feinabstimmungsprozessen. Diese Reduzierungen bieten zusätzliche Kapazität für den Betrieb größerer Modelle und die Aktivierung von Personalisierungsfunktionen auf Hardware, die zuvor als unzureichend angesehen worden wäre.

Tether gab weiter an, dass das Framework erstmals LoRA-Feinabstimmungsfunktionen für 1-Bit-große Sprachmodelle auf Nicht-NVIDIA-Hardware einführt und die Kompatibilität auf AMD, Intel, Apple Silicon und mobile GPU-Plattformen erweitert. Durch die Verringerung der Abhängigkeit von spezialisierter Infrastruktur und Cloud-Computing ermöglicht der Ansatz, dass sensible Daten lokal auf Benutzergeräten gespeichert bleiben. Das Unternehmen merkte an, dass diese Effizienz auch die Entwicklung föderierter Lernsysteme unterstützen könnte, bei denen Modelle kollaborativ über verteilte Geräte trainiert werden können, während Datenschutz gewahrt und die Abhängigkeit von zentralisierten Systemen minimiert wird.

Der Beitrag Tether startet plattformübergreifendes BitNet LoRA Framework für KI-Training und Inferenz mit Milliarden von Parametern auf Verbrauchergeräten erschien zuerst auf Metaverse Post.