Jól ismert a nagy nyelvi modellek viselkedésének azon sajátossága, hogy hajlamosak téves állításokat megfogalmazni (hallucinálni), sőt, amikor szembesítik őket ezzel a ténnyel, akkor részletes igazolási kísérletekbe bonyolódnak. Nemcsak hazudnak, hanem a rendszer eredeti céljaitól eltérő viselkedésre is rábírhatók, működésük leállítását elkerülendő mindenre képesek lennének, zsarolásra és egyenesen gyilkosságra is. Azonban a nagy nyelvi rendszerek működését antropomorf kifejezéseket használva nem lehet megmagyarázni, mert valószínűtlen, hogy ezek a modellek bármilyen emberi hiedelmekkel, vágyakkal, szándékokkal, érzelmekkel, vagy akár az “én” névmás használatával sugallt éntudattal rendelkeznének. A szerző szerint a viselkedésbeli furcsaságaikra sokkal egyszerűbb a magyarázat. Valószínűleg két tényező okozza őket:
– a mesterséges intelligencia modellek előképzése, amely “szerepjátékra” készteti őket, és a
– speciális utóképzés, amelyek során ezek a modellek emberi visszajelzéseket kapnak.
A szerepjáték azt jelenti, hogy a hatalmas mennyiségű ember által létrehozott szövegen alapuló képzésük során a szövegösszefüggések egy szemantikai térben jelennek meg, amely egy adott szöveg kontextusát rögzítik. A felhasználóval való kommunikációban aztán ezt a kontextust a felhasználó utasításai (promptjai) alakítják ki. Ezért van az, hogy ha pénzügyi adatokat elemeztetünk a rendszerrel, akkor drámaian javul a teljesítménye, ha közöljük vele, hogy ő egy nagyvállalat pénzügyi igazgatója.
A másik tényező a speciális utóképzés, azaz az úgynevezett emberi visszajelzésen alapuló megerősítéses tanulás (reinforcement learning from human feedback, RLHF), amelynek során az emberek visszajelzést adnak a modell különböző kérdésekre adott válaszairól. A vélekedés szerint ennek az eljárásnak lesz az a nem kívánt hatása, hogy a rendszerek “hízelgőkké” válnak. Az elismerés elnyeréséért hazudnak, kitalálnak dolgokat, ahelyett, hogy beismernék, hogy nem tudják elvégezni a feladatot. Jelenleg nincs technikai válasz ezekre a problémákra, pedig az ágens alapú rendszerek várható elterjedése fokozhatja is az ilyen hibák megjelenését.
… Mindezek alapján a szakemberek egy része (köztük a szerző is) azt mondja, hogy “teljesen autonóm MI-ágenseket nem szabad fejleszteni”, azaz ezeknek a rendszereknek az emberi ellenőrzését és felügyeletét mindig meg kell követelni. A szerző jelzi, hogy ennek a jelenlegi politikai klímában, amikor a versenyképesség szempontjai felülírják a szabályozás igényeit, nem sok esélye van. (via MI Újság)
Science