Lokal AI Del 3: Är det värt det?

I den tredje och avslutande delen av SweClockers artikelserie om lokal AI undersöker redaktionen om det är ekonomiskt försvarbart att använda lokal AI istället för molntjänster. De konstaterar att kostnadsfrågan är komplex, men fokuserar på mervärdet och de situationer där externa tjänster fortfarande är nödvändiga.

En Lenovo Legion 9i Gen 10-laptop med Nvidia Geforce RTX 5090, Intel Core Ultra 9 275HX och 192 GB primärminne användes för att hantera tunga AI-modeller lokalt. Nvidia har även släppt mjukvaran Pair, som möjliggör kluster av AI-enheter för samverkan, vilket SweClockers testat med flera grafikkort.

Mjukvaran skapar en pool av tillgänglig arbetskraft snarare än ett delat supergrafikkort. Redaktionen upplever att parallellt arbete via klustret kan minska arbetstiden med upp till 70-80 procent i vissa fall, förutsatt att uppgifterna kan delas upp effektivt.Hugins skriver