AI hallutsinatsioonid: mis need on ja kuidas neid kõrvaldada?

Mis on AI hallutsinatsioonid?

Näiteks kui palume AI-l esitada 20 kasvava käibega Tallinna ettevõtte registrikoodid, võime saada näiliselt loogilise ja täieliku ettevõtete loendi, kuid… kõik esitatud registrikoodid on välja mõeldud.

Hallutsinatsioonidele on iseloomulik just see näiline loogilisus: vastused tunduvad veenvad ning AI ei väljenda vähimatki kahtlust. Seetõttu tuletatakse keelemudelite kasutajaliidestes meelde, et esitatud arve ja fakte tuleb kontrollida.

Miks AI hallutsinatsioonid tekivad?

Hallutsinatsioonid tekivad seega kolmel juhul:

• andmeid pole (peamine põhjus – mudel oletab);
• juhis on ebatäpne (mudel täidab lüngad ise);
• ülesanne on liiga keeruline (mudel püüab teha kõike korraga).

Probleem ei ole keelemudelites endis, vaid ligipääsus andmetele. Hallutsinatsioonid ei teki seega täiesti juhuslikult ega kontrollimatult. Vastupidi: nende põhjused on selged ja neid saab ennetada.

Kuidas AI hallutsinatsioone kõrvaldada?

AI hallutsinatsioone aitab vältida vahetu ja struktureeritud ligipääs andmetele. Sellises keskkonnas suudavad keelemudelid kõige paremini teavet tõlgendada, otsuseid teha ja järeldusi sõnastada.

Selleks on kolm meetodit, mida saab kasutada vastavalt oma tehnilistele võimalustele.

Andmefaili ettevalmistamine

Valmis andmete kasutamine on lihtsaim viis hallutsinatsioonide probleemi sisuliselt lahendada. Nii ei jäta me AI-le ruumi oma lugusid välja mõelda.

Algajad kasutajad käsitlevad keelemudelit sageli kui kõikvõimsat tööriista, mis on korraga otsingumootor, ETL-töövoog ja andmete kraapimise süsteem. Ent kui ülesanne nõuab andmete kogumist, puhastamist ja ühtlustamist, võib kontekstiaken täituda ning hallutsinatsioonide oht järsult suureneda.

Seepärast tasub andmete kogumine jagada mitmeks väiksemaks päringuks ja jooksvalt kontrollida, kas AI esitatud teave vastab tõele. See võib kõlada tüütu ja aeganõudvana, kuid nii loome kindla aluse, millel keelemudelid saavad näidata oma tegelikku tugevust: olemasolevate andmetega töötamist.

API kasutamine

API-ga ühendamine on selle probleemi tehniliselt keerukam lahendus: see võimaldab andmetele kiiremini ja suuremas mahus ligi pääseda ning hoiab need ajakohasena. Kui andmefaili ettevalmistamine on nagu ämbritäie vee ulatamine, siis API on nagu kraani avamine.

ChatGPT, Claude’i või Gemini kasutatav veebiotsing ei erine kuigi palju inimese omast. Keelemudelid otsivad teavet välistelt veebilehtedelt, näiteks Redditist või Wikipediast, ning koostavad selle põhjal vastuse.

Selle meetodi puhul ei saa aga kindel olla, et leitud sisu on õige ja ajakohane. Eri allikate andmed võivad olla erinevas vormingus ja eri aegadest ning sisaldada inimlikke vigu või arvamusi. API aitab seda puudust leevendada, pakkudes programmset ja püsivat ligipääsu puhastatud andmetele.

Näiteks Monitly API pakub ligipääsu kogu maailma statistikale, ühendudes otse selliste asutuste andmeallikatega nagu Statistikaamet, Eurostat, World Bank, WHO ja IMF. Nii ei pea AI teavet eri veebilehtedelt otsima, vaid saab teha API-le päringu ja saada värskeima tulemuse. See lihtsustab andmete analüüsimist ja tõlgendamist.

MCP-ga ühendamine

AI ühendamine MCP-ga (Model Context Protocol) annab keelemudelitele vahetu ligipääsu failidele, arvutustabelitele, koodile ja rakendustele. See vähendab märgatavalt hallutsinatsioonide ohtu, sest mudel saab töötada olemasolevate andmetega.

Näiteks ettevõtteandmete platvorm Compabase on loonud oma MCP-ühenduse, mille abil saab AI kiiresti kontrollida kohalike ettevõtete andmeid. Kui palume nüüd AI-l esitada 20 kasvava käibega Tallinna ettevõtte registrikoodid, saame väljamõeldud teabe asemel ühtse ja kontrollitud loendi. Asi pole selles, et mudel oleks äkitselt „targemaks” saanud. Varem puudus tal lihtsalt ligipääs neile andmetele; nüüd teeb ta andmebaasi lihtsa SQL-päringu ja saab valmis tulemuse.

Teisisõnu:

Ilma MCP-ta:

• osa ettevõtteid pole olemas;
• finantsandmed on juhuslikud;
• registrikoodid on välja mõeldud.

MCP-ga:

• mudel teeb andmebaasi päringu;
• saab vastuseks konkreetsed kirjed;
• tulemus on deterministlik.

Hallutsinatsioonid ei kao muidugi täielikult, kui nõuame mudelilt endiselt liiga ulatuslikku andmete töötlemist ja ühendamist. Kui aga loome keskkonna, kus andmed on juba struktureeritud, jõuavad mudelini reaalajas ja tõlgendamisruum on piiratud, lõpetab AI oletamise ning hakkab analüüsima tegelikult olemasolevat teavet.