BBC tyrimas atskleidė, kad AI kalbos robotai daro daug klaidų apibendrindami naujienas

BBC ir kitų Europos naujienų agentūrų analizė parodė, kad apie 45 procentai AI pokalbių robotų atsakymų, pagrįstų naujienų straipsniais, yra klaidingi. Šie rezultatai gali turėti rimtų pasekmių, nes technologijų platformos toliau juos reklamuoja.

„OpenAI“, „Google“, „Microsoft“ ir kitos įmonės skatina naudotojus bendrauti internete naudodami AI pokalbių robotus ir kitas priemones, skirtas informacijai apibendrinti ir analizei automatizuoti. Nors AI kūrėjai jau kelerius metus stengiasi sumažinti klaidas, įrodymai rodo, kad jiems dar toli iki tikslo – ir tai dar darant prielaidą, kad problema iš viso yra išsprendžiama.

BBC ir 22 viešosios žiniasklaidos organizacijos 18 šalių ir 14 kalbų suteikė pokalbių robotams prieigą prie savo turinio. Kai buvo užduoti klausimai apie konkrečius straipsnius, jie aptiko problemų beveik pusėje visų AI sukurtų atsakymų. Tai buvo netikslūs sakiniai, neteisingai pacituoti žodžiai ar pasenusi informacija, tačiau didžiausias iššūkis buvo šaltinių nurodymas.

Pokalbių robotai dažnai pateikdavo nuorodas, kurios neatitiko jų cituojamų šaltinių. Net kai jie tiksliai nurodydavo šaltinius, dažnai negalėdavo atskirti nuomonės nuo faktų arba satyros nuo įprastų naujienų.

Be faktinių klaidų ar neteisingai priskirtų citatų, pokalbių robotai gali lėtai atnaujinti informaciją apie politikus ir kitus lyderius. Pavyzdžiui, „ChatGPT“, „Copilot“ ir „Gemini“ neteisingai nurodė, kad popiežius Pranciškus yra dabartinis popiežius, nors po jo į pareigas eina Leonas XIV. „Copilot“ netgi teisingai nurodė Pranciškaus mirties datą, bet vis tiek apibūdino jį kaip dabartinį popiežių. „ChatGPT“ taip pat pateikė pasenusius atsakymus, nurodydamas dabartinį Vokietijos kanclerį ir NATO generalinį sekretorių.

Šie netikslumai pasikartojo įvairiomis kalbomis ir regionuose. Be to, „Google“ „Gemini“ yra kur kas mažiau tikslus nei „ChatGPT“, „Copilot“ ir „Perplexity“.