Bittensor's Subnet 3 Traint 72B AI-Model op Gedecentraliseerd Netwerk

TLDR:

• Covenant-72B scoorde 67,1 op MMLU zero-shot en versloeg LLaMA-2-70B's 65,6 onder identieke testomstandigheden.
• SparseLoCo verminderde de communicatie-overhead met 146x door gebruik te maken van sparsificatie, 2-bit kwantisatie en foutfeedback over knooppunten.
• Gauntlet beoordeelde de bijdrage van elk knooppunt via verliesevaluatie en OpenSkill-ranking, allemaal vastgelegd op de blockchain.
• $TAO steeg met 14% naar $236 na de aankondiging, waarbij Grayscale zijn TAO-trust uitbreidde voor toegang van institutionele beleggers.
  

Bittensor's Subnet 3 heeft een AI-model met 72 miljard parameters getraind zonder een centraal datacenter. Het model, genaamd Covenant-72B, werd gebouwd over meer dan 70 wereldwijde deelnemers.

Alle knooppunten zijn verbonden via standaard thuisinternet. Covenant-72B presteerde beter dan Meta's LLaMA-2-70B op de MMLU-benchmark, met een score van 67,1 tegen 65,6.

De test werd uitgevoerd onder identieke zero-shot omstandigheden. Deze uitkomst daagt langdurige aannames uit over wat gedecentraliseerde rekenkracht kan bereiken.

Twee technische innovaties stuurden de gedecentraliseerde training aan

Jarenlang beweerden AI-cryptoprojecten dat gedecentraliseerde rekenkracht kon wedijveren met gecentraliseerde labs. Bittensor's Subnet 3 ondersteunt die bewering nu met meetbare resultaten.

De training omvatte 1,1 biljoen tokens over meer dan 70 knooppunten wereldwijd. Elk knooppunt draaide op 500 Mb/s standaard internetverbindingen.

Twee kerninnovaties maakten deze schaal van training mogelijk. SparseLoCo verminderde de communicatie-overhead met 146 keer gedurende het proces.

Het combineerde top-k sparsificatie, 2-bit kwantisatie en foutfeedback om alle knooppunten gesynchroniseerd te houden. Er was geen centrale server nodig om coördinatie over het netwerk te beheren.

De tweede innovatie, Gauntlet, verzorgde vertrouwen en bijdragebeoordeling tijdens de training. Het evalueerde elk knooppunt door verliesevaluatie en OpenSkill-ranking.

Alle scores werden geregistreerd op de blockchain voor volledige transparantie. Dit gaf elke deelnemer een verifieerbaar record van hun bijdrage.

Milk Road rapporteerde over de uitkomst via sociale media, waarbij werd opgemerkt dat gedistribueerde netwerken nu grote modellen competitief kunnen trainen. De modelgewichten zijn beschikbaar op Hugging Face onder een Apache-licentie.

Iedereen kan kosteloos toegang krijgen tot, gebruiken of voortbouwen op Covenant-72B. Die open benadering onderscheidt het van veel beperkte, propriëtaire AI-modellen die vandaag beschikbaar zijn.

$TAO stijgt terwijl de markt reageert op Covenant-72B resultaten

De markt reageerde snel nadat het nieuws over de Covenant-72B training publiek werd verspreid. $TAO, Bittensor's native token, steeg met 14% en bereikte $236 na de aankondiging.

De token was ook met 36% gestegen in de voorafgaande periode van 30 dagen. Het handelsvolume groeide met 167% in de afgelopen zes maanden.

Grayscale breidde zijn TAO-trust uit in dezelfde week als de aankondiging. Die zet opende bredere institutionele toegang tot de token rechtstreeks.

Het kwam terwijl de belangstelling van beleggers voor aan AI-gekoppelde crypto-activa bleef groeien. De timing voegde verdere opwaartse druk toe aan de prijsbeweging van de token.

De combinatie van een technisch resultaat en institutionele belangstelling trok brede marktaandacht. Covenant-72B's MMLU-score geeft gedecentraliseerde rekenkracht een geloofwaardige, testbare benchmark.

Het resultaat is meetbaar en kan worden gereproduceerd onder standaardomstandigheden. Dat onderscheidt het duidelijk van veel eerdere niet-geverifieerde claims in de AI-cryptoruimte.

De Apache-gelicentieerde gewichten op Hugging Face stellen elke ontwikkelaar in staat om het werk onafhankelijk te verifiëren. Bittensor's benadering toont een functionerend framework voor gemeenschapsgedreven AI-modeltraining.

Het netwerk draaide over meer dan 70 deelnemers zonder centrale coördinatie op enig moment. Dit schept een werkend precedent voor gedistribueerde grootschalige modeltraining in de toekomst.

Het bericht Bittensor's Subnet 3 Trains 72B AI Model on Decentralized Network verscheen eerst op Blockonomi.