Gervigreindarlíkan Meta var þjálfað með 170 þúsund stolnum bókum

Þróun gervigreindar vekur ýmsar stórar spurningar þessi misseri. Meðal þeirra árekstra sem þegar eiga sér stað eru á milli stórfyrirtækjanna sem þjálfa stór mállíkön – OpenAI, Meta, og Google, eru þar í fararbroddi – og höfunda þess efnis sem stuðst er við til að þjálfa þessi líkön.

Mállíkan er heitið yfir hugbúnaðinn að baki til dæmis ChatGPT, sem margir kannast við. Í ljós hefur komið að við þjálfun mállíkansins LLaMA fóðraði Meta, móðurfyrirtæki Facebook, vélar sínar á 170 þúsund stolnum bókum. Frá þessu greinir í The Atlantic, síðasta laugardag.

Að mestu leyti er um að ræða nýleg verk, frá undanliðnu 20 árum, eftir höfunda á við Rebeccu Solnit, Haruki Murakami, Stephen King, Zadie Smith, Jonathan Franzen, bell hooks, Margaret Atwood o.s.frv. Bækurnar eru hluti gagnasarps sem innan fyrirtækisins nefnist Books3. Sama gagnasafn hefur raunar verið nýtt til þjálfunar fleiri líkana en LLaMA, til að mynda BloombergGPT, GPT-J frá EleutherAI, og sennilega fleiri, að sögn blaðamanns The Atlantic.

Þriðjungur bókanna í gagnasarpinum eru skáldskapur, tveir þriðju eru bækur almenns eðlis, eins og þær heita á íslensku, nonfiction. Bækurnar eru frá bæði smærri og stærri útgefendum, 30 þúsund titlar frá Penguin Random House, 14 þúsund frá HarperCollins, 1.800 frá Oxford University Press – og vinsta forlagið Verso er einnig þarna á meðal, meeð 600 titla.

Svo virðist vera, að sögn blaðamannsins, sem sarpurinn Books1, sem einnig hefur verið notaður til þjálfunar gervigreindarlíkana, innihaldi fyrst og fremst bækur utan höfundarréttar, sem deilt hefur verið á vettvangi Gutenberg-verkefnisins.

Við þurfum á þér að halda

Þú getur tekið þátt í að byggja upp öflugum fjölmiðli.

Samstöðin er í eigu lesenda, áhorfenda og áheyrenda. Með því að gerast áskrifandi getur þú orðið félagi í Alþýðufélaginu og þar með eigandi að Samstöðinni.

Áskrifendur borga fyrir það efni sem þeir nota en tryggja í leiðinni að aðrir geti notið þess. Þetta er því ekki eigingjörn áskrift heldur rausnarleg og samfélagslega ábyrg.

Samstöðin byrjaði sem umræðuþættir á Facebook en er nú orðinn að fréttavef, útvarps- og hlaðvarpsþáttum, skoðanapistlum og sjónvarpsdagskrá.

Við trúum að Samstöðin skipti máli fyrir samfélagið, að það sé þörf fyrir róttæka umræðu um málefni sem snerta fólk út frá sjónarhóli og hagsmunum almennings.

Ef þú ert sama sinnis skaltu endilega gerast áskrifandi að Samstöðinni og þar með einn af eigendum hennar.

Þitt framlag skiptir máli.

Ég vil styrkja Samstöðina arrow_forward

Rauða borðið
í beinni
Rauða borðið, 24. maí