A Google „Chain of Thought Promting” a legjobb algoritmusokat erősítheti meg

Chain of Thought Prompting

A Google bejelentette a természetes nyelvfeldolgozás területén a Chain of Thought Prompting nevű áttörést jelentő kutatást, amely a kutatók szerint figyelemre méltó szintre emeli az olyan fejlett technológiák színvonalát, mint a PaLM és a LaMDA.

A Google közzétette egy olyan áttörést jelentő technológia részleteit, amely jelentősen javítja a Google legújabb élvonalbeli algoritmusait.

Az a tény, hogy a Chain of Thought Prompting ilyen jelentős mértékben képes javítani a PaLM és a LaMDA teljesítményét, nagy dolog.

LaMDA és PaLM

A kutatás két nyelvi modell, a Language Model for Dialogue Applications (LaMDA) és a Pathways Language Model (PaLM) segítségével végzett kísérleteket.

A LaMDA egy beszélgetésre összpontosító modell, mint egy chatbot, de számos más, beszédet, párbeszédet igénylő alkalmazáshoz is használható.

A PaLM egy olyan modell, amely a Google által Pathways AI-nek nevezett architektúrát követi, ahol egy nyelvi modellt képeznek ki, hogy megtanulja, hogyan oldjon meg problémákat.

Korábban a gépi tanulási modelleket egy bizonyos típusú probléma megoldására képezték ki, és lényegében arra a feladatra lettek kitalálva, hogy azt az egy dolgot nagyon jól csinálják. Ahhoz azonban, hogy valami másra is képes legyen, a Google-nek egy új modellt kellett betanítania.

A Pathways AI architektúra olyan modelleket hoz létre, amelyek képesek olyan problémák megoldására, amelyeket korábban még nem feltétlenül láttak.

Ahogy a Google PaLM ismertetőjében olvasható:

„…egy olyan modellt szeretnénk betanítani, amely nemcsak sok különálló feladatot képes kezelni, hanem a meglévő képességeire támaszkodva és azokat kombinálva gyorsabban és hatékonyabban képes új feladatokat megtanulni.”

Hogyan javítja az algoritmusokat?

A kutatási dokumentum három fontos áttörést sorol fel:

  1. Lehetővé teszi a nyelvi modellek számára, hogy összetett, többlépcsős problémákat lépések sorozatára bontsanak le.
  2. A „gondolati lánc” lehetővé teszi a mérnökök számára, hogy belelássanak a folyamatba, és amikor a dolgok rosszul mennek, ez lehetővé teszi számukra, hogy azonosítsák, hol romlott el a folyamat, és kijavítsák azt.
  3. Képes megoldani matematikai szöveges feladatokat, képes a józan gondolkodásra, és a kutatási tanulmány szerint (elvileg) bármilyen szóalapú problémát meg tud oldani, amire egy ember képes.

Többlépcsős „gondolkodós” feladatok

A kutatás példát ad egy többlépcsős érvelési feladatra, amelyen a nyelvi modelleket tesztelik:

K: A büfében 23 alma volt. Ha 20-at felhasználtak az ebéd elkészítéséhez, és még 6-ot vásároltak, hány almájuk van?

V: A menzán eredetileg 23 alma volt. Az ebéd elkészítéséhez 20-at használtak fel. Tehát 23 – 20 = 3 alma volt. Vettek még 6 almát, tehát 3 + 6 = 9 almájuk van. A válasz 9.”

A PaLM egy korszerű nyelvi modell, amely a Pathways AI architektúra részét képezi. Olyan fejlett, hogy képes megmagyarázni, miért vicces egy vicc.

Mégis, bármennyire is fejlett a PaLM, a kutatók azt állítják, hogy a Chain of Thought (gondolat lánc) jelentősen javítja ezeket a modelleket, és ez az, ami miatt ezt az új kutatást érdemes tudomásul venni.

A Google így magyarázza a dolgot:

„A gondolat lánc-érvelés lehetővé teszi, hogy a modellek összetett problémákat bontanak szét közbenső lépésekre, amelyeket egyenként oldanak meg.

Ráadásul a gondolkodási lánc nyelvi alapú jellege miatt bármilyen olyan feladatra alkalmazható, amelyet az ember a nyelv segítségével meg tud oldani”.

Eredmények

A Chain of Thought Promptinget a LaMDA-n és a PaLM-en is tesztelték, két matematikai adatkészlet segítségével.

  • GSM8K
  • MultiArith

Ezeket az adatkészleteket a kutatók arra használják, hogy összehasonlítsák a különböző nyelvi modellek hasonló problémákon elért eredményeit.

Az alábbiakban olyan grafikonok képei láthatók, amelyek a Chain of Thought Prompting használatának eredményeit mutatják a LaMDA-n.

Chain of Thought Prompting és LaMDA

A LaMDA skálázásának eredményei a MultiArith adathalmazon azt mutatják, hogy szerény javulást eredményezett. A LaMDA azonban jelentősen magasabb pontszámot ért el, amikor a Chain of Thought Promptinggal skálázták.

A GSM8K-adatkészleten elért eredmények szerény javulást mutatnak.

Chain of Thought Prompting és PaLM

Más a helyzet a PaLM nyelvi modellel.

Amint a fenti grafikonon látható, a PaLM Chain of Thought Promptinggel való skálázása révén elért nyereség hatalmas, méghozzá mindkét adathalmaz (MultiArith és GSM8K) esetében.

A kutatók az eredményeket figyelemre méltónak és a technika új fejlettségi szintjének nevezik.

Konklúzió

Egy kutatási tanulmány lezárása az egyik legfontosabb rész, amelyet ellenőrizni kell annak megértéséhez, hogy a kutatás előremozdítja-e a tudomány állását, vagy zsákutcába jutott, illetve további kutatásokat igényel.

A Google kutatási dokumentum következtetés szakasza erősen pozitív hangvételű.

Ez arra enged következtetni, hogy a Chain of Thought Prompting potenciálisan képes lehet arra, hogy a Google számára lehetővé tegye a különböző nyelvi modelljeik jelentős javítását, ami viszont jelentős javulást eredményezhet a Google által végezhető feladatok típusaiban.

Hivatkozások
A Google AI cikk elolvasása
A kutatási dokumentum letöltése és elolvasása (PDF)

Kövess engem

Talán ez is érdekel

error: Content is protected !!