Nova studija identificira razlike između ljudskog i AI generiranog teksta

Tim istraživača Sveučilišta Carnegie Mellon krenuo je istražiti koliko precizno veliki jezični modeli (LLM) mogu odgovarati stilu teksta koji su napisali ljudi. Njihova otkrića nedavno su objavljena u časopisu Proceedings of the National Academy of Sciences.

“Mi ljudi prilagođavamo situaciji kako pišemo i kako govorimo. Ponekad smo formalni ili neformalni, ili postoje različiti stilovi za različite kontekste“, rekao je Alex Reinhart, glavni autor i izvanredni profesor na Odjelu za statistiku i podatkovnu znanost.

“Ono što smo naučili jest da LLM-ovi, poput ChatGPT-a i Llame, pišu na određeni način i ne prilagođavaju se nužno stilu pisanja. Kontekst i njihov stil zapravo su vrlo različiti od načina na koji ljudi inače pišu ili govore u različitim kontekstima. Nitko to nije mjerio ili kvantificirao na način na koji smo mi to učinili.“

Otkrili su velike razlike u gramatičkim, leksičkim i stilskim značajkama između teksta koji su napisali LLM-i i ljudi

U ovoj su studiji Reinhart i njegov tim uspjeli pokazati kako LLM-ovi pišu potaknuvši ih ulomcima pisanja iz različitih žanrova, kao što su TV scenariji i akademski članci.

Koristeći kod koji je napisao David West Brown, izvanredni profesor na Odsjeku za engleski jezik i koautor studije, otkrili su velike razlike u gramatičkim, leksičkim i stilskim značajkama između teksta koji su napisali LLM-i i ljudi.

Te su razlike bile najveće za modele prilagođene uputama, kao što je ChatGPT, koji prolaze dodatnu obuku za odgovaranje na pitanja i praćenje uputa.

Prema istraživačima, LLM-i su koristili glagolske priloge sadašnje dva do pet puta brže nego ljudski tekst, kao što je prikazano u ovoj rečenici koju je napisao GPT-4o: “Bryan, oslanjajući se na svoju agilnost, pleše oko ringa, izbjegavajući Showove teške udarce.“

Također su koristili nominalizacije 1,5 do dva puta brže od ljudi, a GPT-4o koristi pasivni glas bez agenta upola brže od ljudi. Ovo sugerira da su LLM-ovi obučeni pisati informativno gustim stilom koji je bogat imenicama, što ograničava njihovu sposobnost oponašanja drugih stilova pisanja.

Moramo biti svjesni nedostataka LLM-ova

Istraživači su također otkrili da instruction-tuned LLM-ovi imaju različite rječnike, koristeći neke riječi mnogo češće od ljudi koji pišu u istom žanru.

Na primjer, verzije ChatGPT-a koristile su “camaraderie” i “tapisetry” oko 150 puta češće nego ljudi, dok su varijante Llama koristile “unease” 60 do 100 puta češće. Oba modela imala su snažne preferencije za “opipljivo” i “zamršeno”.

“Poruka koju mislim da smo stvarno željeli prenijeti bila je da vrlo pažljivo razmislimo o tome pod kojim bi okolnostima korištenje LLM-a moglo biti dobro“, rekao je Brown. “Stalo mi je da su moje liječničke bilješke točne. Baš me briga da li su u stilu pisanja mojeg liječnika.

“Ali ako pišem molbu za posao gdje se želim istaknuti, to je jako važno. Kao instruktori, pisci i komunikatori, moramo biti svjesni nedostataka LLM-a.“

Reinhart je također primijetio rastuću zabrinutost oko toga što se događa ako studenti koriste LLM za dovršavanje zadataka.

“Neki ljudi će reći da je to kao kad smo dobili kalkulatore za satove matematike. A sada samo koristite kalkulator, i to je sjajno. Ono što smo naučili jest da ovo nije baš poput kalkulatora“, rekao je Reinhart. “Koristite kalkulator, on radi istu matematiku koju ste namjeravali učiniti opet i opet. Ali ovdje dobivate nešto drugačije od onoga što bi tipičan čovjek napisao.”