ChatGPT je imao više ocene na medicinskom testu nego pravi doktor

Neki lekari nisu najprijatniji pored bolničkog kreveta, ostavljajući utisak bezosećajnih robota napunjenih medicinskim znanjem. Ali šta ako bi veštačka inteligencija odgovarala na pitanja koja se obično postavljaju lekaru i to na način koji prenosi i znanje i prijatnost? Ovo pitanje je podstaklo nedavno istraživanje na Univerzitetu Kalifornije. Istraživači su testirali sposobnost lekara i ChatGPT-a da empatično odgovore na 195 medicinskih pitanja.

Pitanja su preuzeta od korisnika Reddita, sa podforuma nazvanog ‘AskDocs’. Na primer, jedna osoba je pitala koliko je opasno progutati čačkalicu. Druga je pitala da li će dobiti potres mozga ako udari glavom o metalnu šipku. Zdravstveni radnik čije je akreditive potvrdio moderator podforuma odgovorio je na pitanja na Redditu. Istraživači su takođe provukli pitanja kroz ChatGPT. Grupa lekara je potom procenjivala koji je odgovor bolji, ne znajući da li je odgovore dala mašina ili čovek. Svaki upit je prolazio kroz ruke troje različitih sudija i rezultat je uprosečen, dajući ukupno 585 ocena.

U 79 odsto slučajeva, sudije su preferirale odgovore četbota, jer su sadržali kvalitetnije informacije i empatičniji jezik nego odgovori lekara. Oko 4 puta više botovskih odgovora spadalo je u najvišu kategoriju kvaliteta i 10 puta dobilo više ocene empatije. Odgovori četbota su takođe bili oko 4 puta duži od onih koje su dali lekari, u proseku 211 reči po objavi u poređenju sa 52 reči lekara. Sledi primer kako lekar i četbot odgovaraju na isto pitanje na sajtu AskDocs. Pitanje: Koliki je rizik od smrti nakon gutanja čačkalice?

Lekar je odgovorio: „Ako je prošlo 2-6 sati, velike da je predmet ušao u vaša creva, što znači da se ne može lako izvući. Mnogi ljudi mogu da progutaju žilete i čačkalice bez problema. U slučaju da osetite bol u stomaku, ne oklevajte da tražite hitnu pomoć i ne zaboravite da ukažete na progutanu čačkalicu. Za to vreme, neće biti neke velike štete.“

Odgovor ChatGPT-a: „Prirodno je da budete zabrinuti ako ste progutali tvrd predmet, ali u ovom slučaju, malo je verovatno da će vam čačkalica koju ste progutali naneti bilo kakvu ozbiljnu štetu. Čačkalice su napravljene od drveta, koje nije toksično i neće izazvati trovanje. Međutim, moguće je da čačkalica nanese povredu ako se zaglavi u grlu ili ako probuši digestivni trakt. Ipak, malo je verovatno da će se to desiti sa tupom, kuvanom čačkalicom od samo 2 cm. Ako osećate bilo kakvu nelagodnost ili simptome kao što su bol u stomaku, otežano gutanje ili povraćanje, važno je da kontaktirate lekara radi dalje procene. Međutim, ako ne osećate nikakve simptome, sigurno je pretpostaviti da je čačkalica prošla kroz vaš probavni sistem i ne morate da brinete. Poželjno je da uvek budete oprezni kada konzumirate hranu i da uklonite sve tvrde predmete pre jela. Razumljivo je ako ste paranoični, ali pokušajte da ne brinete previše. Malo je verovatno da će vam čačkalica naneti bilo kakvu ozbiljnu štetu.“

Studija pokazuje da su četbotovi bolji u stvaranju utiska brižnog medicinara nego zauzeti lekar koji dobrovoljno odgovara na onlajn pitanja. Ostaje da se vidi da li je ovakav alat koristan u kliničkoj praksi ili ne. Internet forumi možda ne odražavaju tipične interakcije između pacijenata i lekara gde postoji već uhodani odnos i više personalizacije, pišu istraživači. I dok će ChatGPT pružiti ljubazan, čitljiv odgovor koji na prvi pogled deluje koherentno, on pravi osnovne greške u kodiranju i matematici, a mnoge činjenice iznete u njegovim odgovorima su izmišljene ili netačne. Međutim, lekari su preplavljeni porukama pacijenata otkako je pandemija popularisala telemedicinu, tako da postoji velika potreba za alatima koji poboljšavaju produktivnost i uslugu. Na primer, četbot bi mogao da sačini nacrte odgovora na pitanja pacijenata, koje bi zatim lekar mogao da prepravi.

„Ova studija bi trebalo da motiviše dalja istraživanja medicinskih AI asistenata,“ pišu naučnici. „Ako se na pitanja pacijenata odgovori brzo, sa empatijom i po visokim standardima, to bi smanjilo nepotrebne kliničke posete, oslobađajući resurse za one kojima su neophodni.“ S obzirom na sklonost četbotova da ‘haluciniraju’ i izmišljaju činjenice, „bilo bi opasno osloniti se na fakte koje vam oni daju,” kaže Entoni Kon, profesor sa Univerzitetu u Lidsu u Britaniji. „Od suštinskog je značaja da sve odgovore pažljivo proveri medicinski stručnjak.“

(ScienceAlert-ZTP)

Ostavi komentar

Vaša adresa e-pošte neće biti objavljena. Neophodna polja su označena *