Működhet-e a könyvtárakban a MI-ben nagyon bevált actor-critic módszer?

A számítógéptudósok [a MI tanítási funkcióinak optimalizálására – szerk.] azt a trükköt találták ki, hogy egyszerre két dolgot kell megtanulni: a cselekvést és az önértékelést. A rendszer fele, az úgynevezett kritikus, megtanulja megjósolni a végső pontszámot. Ez a neurális hálózat mindenkor felméri a játék állását, és próbálja megjósolni a jutalmat: inkább nyerem a játékot, vagy elveszítem? Stabil az egyensúlyom, vagy hamarosan elesek? A tesztek során kifejlesztett kritikának köszönhetően a rendszer már nemcsak a játék végén értékeli tevékenységét, hanem mindvégig. A hálózat másik fele, a cselekvő pedig felhasználhatja ezt az értékelést, hogy kijavítsa magát: Figyelem! Jobb elkerülnöm ezt vagy azt, mert a kritikus szerint ez növeli a veszteség kockázatát. A próbák során a cselekvő és a kritikus együtt halad: az egyik a leghatékonyabb cselekvésekre összpontosítva megtanul bölcsen cselekedni, míg a másik azt sajátítja el, hogy egyre finomabb módon értékelje ezeket a cselekedeteket.

Az “actor-critic” módszer a kortárs mesterséges intelligencia egyik leghatékonyabb stratégiája. Egy hierarchikus neurális hálózat támogatásával csodákra képes.

Szakértők egész gyűjteményét foglalja magába, akik küzdenek egymással, összehangolódnak, vagy értékelik egymást. Néhány agyterületünk megtanulja szimulálni, amit a többi művel; ezek teszik lehetővé, hogy előre jelezzük és elképzeljük cselekedeteink eredményét, néha a legjobb hamisítókhoz méltó realizmussal: képzeletünk nagy valósághűséggel mutatja meg nekünk a tengeröblöt, ahol tavaly nyáron fürödtünk, vagy az ajtókilincset, amelyet a sötétben fogtunk meg. Más területek megtanulják a többieket kritizálni: folyamatosan értékelik képességeinket, és meg tudják jósolni az általunk kapható jutalmakat vagy büntetéseket. Cselekvésre vagy hallgatásra késztetnek minket. Látni fogjuk, hogy az emberi tanulásban alapvető szerepet játszik a metakogníció: a képesség arra, hogy megismerjük és értékeljük önmagunkat, továbbá elménkben szimuláljuk, mi történne, ha ilyen vagy olyan módon cselekednénk. Az a vélemény, amelyet magunkról kialakítunk, elősegítheti a fejlődést, de ellenkezőleg, be is zárhat bennünket a kudarc ördögi körébe.