» »

Google: ustvarjanje besedila z LLM letos že 33-krat manj potratno kot lani

Google: ustvarjanje besedila z LLM letos že 33-krat manj potratno kot lani

Slo-Tech - Google je izdal krajše poročilo o okoljskih vplivih umetne inteligence, v katerem so ocenili tudi porabo energije za ustvarjanje besedila z velikimi jezikovnimi modeli. Čeprav celokupna poraba električne energije raste, je to posledica večje razširjenosti modelov, medtem ko posamezne poizvedbe porabijo čedalje manj energije. V letu dni se je potratnost poizvedb znižala za 33-krat, so ugotovili.

Energija se ne troši le za delovanje čipov, na katerih teče veliki jezikovni model, temveč tudi za podporni infrastrukturi. To so tako drugi deli strojne opreme, kot pomnilnik, shranjevanje podatkov in prenos podatkov, kot tudi hlajenje, transformatorji in ostalo. Google ocenjuje, da ena poizvedba v Geminiju potroši 0,24 Wh električne energije, kar ustreza nekaj sekundam dela na prenosnem računalniku. Temu pripada ogljični odtis 0,03 grama CO2 in 0,26 mililitra porabe vode.

Razčlemba po podatkovnem centru pa pokaže, da 58 odstotkov energije porabijo delujoči čipi za AI, 24 odstotkov pomnilnik in centralne procesorske enote, 10 odstotkov računalniki brez aktivnih nalog (idle), osem odstotkov pa podporna infrastruktura. Google se trudi še naprej zmanjšati porabo energije, so dodali, k čemur sodi tudi razvoj bolj specializiranih modelov za posamezne naloge, ki so lahko manjši.

6 komentarjev

skumpl ::

Super. Jaz sem začel precej uporabljati AI.

cekr ::

Slovenščina in številke. Zelo zoprna reč, če to prebere nek tujec, nevešč naših nebuloz.
33-krat manj potratno? Se pravi, da imam že 32x elektrike v plus.
Sinclair ZX Spectrum [Zilog Z80A - 3.5 MHz, 48kB, dvojni kasetofon,
TV-OUT, radirke, Sinclair-Basic], Sinclair ZX-81 [Z80A, 3.25MHZ, 1kB]

pegasus ::

skumpl je izjavil:

Super. Jaz sem začel precej uporabljati AI.
Torej aktivno prispevaš k pretvarjanju elektrike v toploto. Kako je to super?

kow ::

Poraba je smesno nizka, ce delas nekaj poizvedb na dan. Resni porabniki so avtomatika, agenti itd.

Zgodovina sprememb…

  • spremenil: kow ()

rekakitece ::

"umetne inteligence" no ja..LLM več kot dober pattern recognition ni

srus ::

Newspeak's core principle is a progressively shrinking vocabulary, a deliberate linguistic process to eliminate words with complex or rebellious meanings to limit thought and enforce control by the ruling Party in George Orwell's Nineteen Eighty-Four. The language aims to make "thoughtcrime" impossible by reducing concepts like freedom and dissent to simple, easily controlled ideas.

Takole se zmanjša poraba energije.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Osmina znanstvenih člankov ima prstne odtise umetne inteligence

Oddelek: Novice / Znanost in tehnologija
172673 (1212) Ales
»

Kitajska družba DeepSeek razburkala področje umetne inteligence s poceni jezikovnim m (strani: 1 2 3 4 )

Oddelek: Novice / Ostala programska oprema
16920288 (9603) kanarin
»

Qualcomm pokazal novega Snapdragona 8 Gen 3

Oddelek: Novice / Android
93594 (1961) kow
»

Microsoft in Epic bosta pripeljala GPT-4 v medicino

Oddelek: Novice / Znanost in tehnologija
284445 (2443) starfotr
»

Microsoft uradno predstavil z GPT podprt Bing

Oddelek: Novice / Ostala programska oprema
2113842 (10355) fikus_

Več podobnih tem