Nyílt forrású könyvtár a nagy nyelvi modellek jellemző hallucinációinak kiszűrésére?

A kaliforniai székhelyű Arize AI fejlesztő cég, amely elsősorban gépi tanulórendszereivel szerzett magának hírnevet az amerikai piacon, most egy új szolgáltatással debütált.

A Phoenix egy nyílt forráskódú könyvtár, amit speciálisan azzal a céllal fejlesztettek ki, hogy segítsen kordában tartani a nagyon népszerűvé vált, de még számos hiányossággal küzdő LLM-rendszerek egyik jellemző problémáját: a hallucinációkat. A cég vélhetően jó ütemben lépett, ugyanis jelenleg már komplett iparágak kezdik felkarolni a nagy nyelvi modelleken alapuló technológiákat, köztük olyanok is, ahol a képzelgések nem férnek bele az adott szakma tolerancia határaiba.
Elsősorban az orvosi-gyógyászati szakterületek tipikusan intoleránsan a feltételezgetésekkel szemben, de a jogi szakma is ilyen; mivel ez is az élvonalában van az LLM-rendszereket egyre több üzleti folyamatba beépítő ágazatoknak.
A nagy nyelvi modellek ezeken a területeken a fejlesztők kedvenceivé váltak, és szinte futószalagon születnek a rájuk épített sokrétű alkalmazások, mint például a virtuális jogi tanácsadást nyújtó termékektől kezdve az orvosi vizsgálatok (angolszász megfogalmazásban: orvos-beteg találkozók) eredményeinek összegzésére szolgáló applikációkig. Nyilvánvaló, hogy ezeknél a felhasználási eseteknél már az apró torzításoknak vagy hallucinációknak is komoly következményei lehetnek.

A Phoenix úgy működik, hogy a felhasználó feltölti az általa ellenőrizni kívánt, chatbot által generált szövegeket az azokat kiváltó parancssorokkal, azaz promptokkal együtt és elindítja a szoftvert. A Phoenix automatikusan összeveti a szöveget a saját hallucináció-könyvtárával, majd gyorsan áttekinthető adatvizualizáció formájában tárja fel, hogy mely pontokon valószínűsíthető, hogy a chatbot téves választ generált. (via MI Újság)

Hírforrás:
Venture Beat