Miután január elején már bejelentette, az OpenAI elindított egy eszközt (OpenAI Text Classifier) , amely megpróbálja megkülönböztetni az ember által írt és az AI által generált szöveget – például a vállalat saját ChatGPT és GPT-3 modelljei által előállított szöveget. Egyenlőre nem különösebben pontos – az OpenAI megjegyzi, hogy a sikerességi aránya 26% körüli -, de szerintük más módszerekkel együtt használva hasznos lehet az AI szöveg generátorokkal való visszaélés megakadályozásában.
“Az eszköz célja, hogy segítsen csökkenteni a valótlan állításokat, miszerint az AI által generált szöveget ember írta. Azonban még mindig számos korlátja van – ezért a szöveg forrásának meghatározására szolgáló más módszerek kiegészítéseként kell használni, nem pedig elsődleges döntéshozatali eszközként” – mondta az OpenAI szóvivője.
Ezt a kezdeti eszközt azért tesszük elérhetővé, hogy visszajelzést kapjunk arról, hogy ezek az eszközök hasznosak-e, és reméljük, hogy a jövőben megoszthatjuk a továbbfejlesztett módszereket.”
Ahogy a generatív mesterséges intelligencia – különösen a szöveg generáló mesterséges intelligencia – körüli lelkesedés egyre nő, a kritikusok felszólították ezen eszközök alkotóit, hogy tegyenek lépéseket a potenciálisan káros hatásuk mérséklésére. Az Egyesült Államok néhány legnagyobb iskolai körzetében betiltották a ChatGPT-t a hálózatukon és eszközeiken, tartva a diákok tanulására és az eszköz által előállított tartalmak pontosságára gyakorolt hatásoktól. Az olyan oldalak, mint a Stack Overflow pedig megtiltották a felhasználóknak a ChatGPT által generált tartalmak megosztását, mondván, hogy a mesterséges intelligencia túlságosan megkönnyíti a felhasználók számára, hogy kétes válaszokkal árasszák el a fórumokat.
Mi az a OpenAI Text Classifier?
Az OpenAI eszköze- találóan OpenAI AI Text Classifier néven – szerkezetileg érdekes. A ChatGPT-hez hasonlóan ez is egy mesterséges intelligencia nyelvi modell, amelyet a világhálóról származó, nyilvánosan elérhető szövegek sok-sok példáján képeztek ki. A ChatGPT-vel ellentétben azonban arra van finomhangolva, hogy megjósolja, mennyire valószínű, hogy egy szövegrészletet mesterséges intelligencia generált – nem csak a ChatGPT, hanem bármely szöveggeneráló mesterséges intelligenciamodell.
Az OpenAI az OpenAI AI Text Classifier-t öt különböző szervezet 34 szöveg generáló rendszeréből származó szöveggel képezte ki, beleértve magát az OpenAI-t is. Ezt a szöveget párosították hasonló (de nem pontosan ugyan olyan), ember által írt szöveggel a Wikipédiából, a Redditen megosztott linkekből kinyert weboldalakkal és egy korábbi OpenAI szöveg generáló rendszerhez gyűjtött “ember által írt szövegek” készletével. (Az OpenAI szerint azonban előfordult, hogy véletlenül tévesen emberi szövegnek minősített néhány mesterséges intelligenciával írt szöveget, “tekintettel a mesterséges intelligencia által generált tartalmak elterjedtségére az interneten”).
Az OpenAI szöveg osztályozó nem működik bármilyen szöveggel. Legalább 1000 karakteres szövegre, azaz körülbelül 150-250 szóra van szüksége. Nem ismeri fel a plágiumot – ami különösen szerencsétlen korlátozás, tekintve, hogy a szöveg generáló mesterséges intelligencia bizonyítottan újrahasznosítja azt a szöveget, amelyen betanították. Az OpenAI szerint pedig az angol nyelvű adatállománya miatt nagyobb valószínűséggel téved a gyerekek által írt vagy az angoltól eltérő nyelven írt szövegek esetében.
A detektor csak tippel, amikor azt vizsgálja, hogy egy adott szöveg mesterséges intelligencia által generált-e. Bizalmi szintjétől függően a szövegeket az alábbiak szerint osztályozza:
- “nem valószínű, hogy” mesterséges intelligencia által generált (10%-nál kisebb az esélye),
- “valószínűtlenül” mesterséges intelligencia által generáltnak (10% és 45% közötti esély),
- “nem egyértelmű, hogy mesterséges intelligencia által generált-e” (45% és 90% közötti esély),
- “lehetséges” mesterséges intelligencia által generáltnak (90% és 98% közötti esély),
- “valószínűleg” mesterséges intelligencia által generáltnak (98% feletti esély) minősíti.
Van értelme használni az OpenAI Text Classifier-t?
Gyakorlati szinten nem találtam az osztályozót különösebben hasznosnak a rövidebb írások értékelésére. Az 1000 karakter valóban nehezen elérhető küszöbérték az üzenetek, például az e-mailek terén (legalábbis azok, amelyeket rendszeresen kapok). A korlátozások pedig elgondolkodtatóak – az OpenAI hangsúlyozza, hogy az osztályozót ki lehet kerülni a generált szövegben egyes szavak vagy mondatok módosításával.
Ez nem azt jelenti, hogy az osztályozó használhatatlan – távolról sem. De jelenlegi állapotában biztosan nem fogja megállítani az elkötelezett csalókat (vagy diákokat).
A kérdés az, hogy más eszközök vajon képesek lesznek-e?
A mesterséges intelligencia által generált szövegdetektorok iránti kereslet kielégítésére egyfajta háziipar alakult ki. A Princeton Egyetem egyik hallgatója által kifejlesztett ChatZero többek között a “perplexitás” (a szöveg összetettsége) és a “burstiness” (a mondatok változatossága) kritériumokat használja annak felismerésére, hogy a szöveg mesterséges intelligenciával íródott-e vagy sem.
A plágiumdetektor Turnitin saját mesterséges intelligencia által generált szövegdetektort fejleszt. Ezeken túl a Google-keresés legalább féltucatnyi más alkalmazást talál, amelyek azt állítják, hogy képesek elválasztani az AI által generált búzát az ember által generált pelyvától, hogy a metaforát tovább kínozzuk.
Ez valószínűleg macska-egér játék lesz. Ahogy a szöveg generáló mesterséges intelligencia fejlődik, úgy fognak fejlődni a detektorok is – ez egy véget nem érő oda-vissza játék lesz, hasonlóan a kiberbűnözők és a biztonsági kutatók között zajlóhoz. És ahogy az OpenAI írja, bár az osztályozók bizonyos körülmények között segíthetnek, soha nem lesznek megbízható egyedüli bizonyítékként annak eldöntésére, hogy a szöveg mesterséges intelligencia által generált-e.
Mindezzel azt akarom mondani, hogy a mesterséges intelligencia által generált szövegek problémáinak megoldására nincs csodafegyver. Valószínűleg soha nem is lesz.
