» »

Google: ustvarjanje besedila z LLM letos že 33-krat manj potratno kot lani

Google: ustvarjanje besedila z LLM letos že 33-krat manj potratno kot lani

Slo-Tech - Google je izdal krajše poročilo o okoljskih vplivih umetne inteligence, v katerem so ocenili tudi porabo energije za ustvarjanje besedila z velikimi jezikovnimi modeli. Čeprav celokupna poraba električne energije raste, je to posledica večje razširjenosti modelov, medtem ko posamezne poizvedbe porabijo čedalje manj energije. V letu dni se je potratnost poizvedb znižala za 33-krat, so ugotovili.

Energija se ne troši le za delovanje čipov, na katerih teče veliki jezikovni model, temveč tudi za podporni infrastrukturi. To so tako drugi deli strojne opreme, kot pomnilnik, shranjevanje podatkov in prenos podatkov, kot tudi hlajenje, transformatorji in ostalo. Google ocenjuje, da ena poizvedba v Geminiju potroši 0,24 Wh električne energije, kar ustreza nekaj sekundam dela na prenosnem računalniku. Temu pripada ogljični odtis 0,03 grama CO2 in 0,26 mililitra porabe vode.

Razčlemba po podatkovnem centru pa pokaže, da 58 odstotkov energije porabijo delujoči čipi za AI, 24 odstotkov pomnilnik in centralne procesorske enote, 10 odstotkov računalniki brez aktivnih nalog (idle), osem odstotkov pa podporna infrastruktura. Google se trudi še naprej zmanjšati porabo energije, so dodali, k čemur sodi tudi razvoj bolj specializiranih modelov za posamezne naloge, ki so lahko manjši.

4 komentarji

skumpl ::

Super. Jaz sem začel precej uporabljati AI.

cekr ::

Slovenščina in številke. Zelo zoprna reč, če to prebere nek tujec, nevešč naših nebuloz.
33-krat manj potratno? Se pravi, da imam že 32x elektrike v plus.
Sinclair ZX Spectrum [Zilog Z80A - 3.5 MHz, 48kB, dvojni kasetofon,
TV-OUT, radirke, Sinclair-Basic], Sinclair ZX-81 [Z80A, 3.25MHZ, 1kB]

pegasus ::

skumpl je izjavil:

Super. Jaz sem začel precej uporabljati AI.
Torej aktivno prispevaš k pretvarjanju elektrike v toploto. Kako je to super?

kow ::

Poraba je smesno nizka, ce delas nekaj poizvedb na dan. Resni porabniki so avtomatika, agenti itd.

Zgodovina sprememb…

  • spremenil: kow ()


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Osmina znanstvenih člankov ima prstne odtise umetne inteligence

Oddelek: Novice / Znanost in tehnologija
172669 (1208) Ales
»

Kitajska družba DeepSeek razburkala področje umetne inteligence s poceni jezikovnim m (strani: 1 2 3 4 )

Oddelek: Novice / Ostala programska oprema
16920280 (9595) kanarin
»

Qualcomm pokazal novega Snapdragona 8 Gen 3

Oddelek: Novice / Android
93592 (1959) kow
»

Microsoft in Epic bosta pripeljala GPT-4 v medicino

Oddelek: Novice / Znanost in tehnologija
284444 (2442) starfotr
»

Microsoft uradno predstavil z GPT podprt Bing

Oddelek: Novice / Ostala programska oprema
2113840 (10353) fikus_

Več podobnih tem