„Manau, kad tai leidžia mums būti labiau apgalvotiems ir labiau apgalvoti saugos problemas“, – sako Altmanas. „Mūsų strategijos dalis yra tokia: laipsniški pokyčiai pasaulyje yra geriau nei staigūs pokyčiai. Arba, kaip pasakė „OpenAI“ viceprezidentė Mira Moratti, kai paklausiau jos apie saugos komandos, ribojančios atvirą prieigą prie programinės įrangos, darbą: „Jei norime išmokti įdiegti šias galingas technologijas, pradėkime, kai statymas bus labai mažas. .

Nors pats GPT-3 Superkompiuterių klasteryje Ajovoje veikianti 285 000 procesoriaus branduolių OpenAI veikia už San Francisko misijos srities, atnaujintoje bagažo gamykloje. Praėjusių metų lapkritį ten sutikau Ilją Sotskeferį, bandydamas išsiaiškinti, kaip iš tikrųjų veikia GPT-3.

„Tai pagrindinė GPT-3 idėja“, – įdėmiai pasakė Sotskeveris, pasilenkęs į priekį kėdėje. Jis turi įdomų atsakymo į klausimus būdą: kai kurios klaidingos pradžios – „galiu duoti aprašymą, maždaug atitinkantį aprašymą, kurio prašėte“ – pertraukiamos ilgos meditacinės pauzės, tarsi jis brėžia visą vykstantį atsakymą.

Galiausiai jis pasakė: „Pagrindinė GPT-3 idėja yra būdas susieti intuityvią supratimo sąvoką su kažkuo, ką galima išmatuoti ir suprasti mechaniškai, ir tai yra užduotis nuspėti kitą teksto žodį. Kitos dirbtinio intelekto formos bando užkoduoti informaciją apie pasaulį: didžiųjų meistrų šachmatų strategijas, klimatologijos principus. Tačiau GPT-3 intelektas, jei jį apibūdina intelektas, kyla iš apačios į viršų: per elementarų veiksmažodį nuspėti kitą žodį. GPT-3 mokymui modeliui pateikiamas „raginimas“ – keli sakiniai ar teksto pastraipos iš laikraščio straipsnio, pavyzdžiui, romano ar mokslinio darbo, ir tada prašoma pasiūlyti galimų žodžių sąrašą. gali užbaigti seką, suskirstytą pagal tikimybę. Ankstyvosiose mokymo stadijose siūlomi žodžiai yra nesąmonė. Paklauskite algoritmo tokiu sakiniu kaip „Rašytojas išbraukė paskutinį žodį iš pirmojo žodžio…“ ir spėjimai būtų tarsi nesąmonių srautas: sąrašas – pasirodo teisingas trūkstamas žodis: „pastraipa“. Tada programa sustiprina ir susilpnina bet kokias atsitiktines neuronines jungtis, kurios generuoja tą konkretų pasiūlymą Visi ryšiai, kurie sugeneravo neteisingus spėjimus. Tada jis perkeliamas į kitą maršrutizatorių. Laikui bėgant, atlikus pakankamai iteracijų, programa išmoksta.

Dar sausio mėn. OpenAI pridėjo funkciją, leidžiančią vartotojams pateikti tiesiogines GPT-3 instrukcijas kaip raginimą, o ne tik reikalauti išplėsti teksto pavyzdinį segmentą. Pavyzdžiui, naudojant žinyno režimą, GPT-3 kažkada buvo duotas raginimas: „Parašykite esė, aptardami metafikcijos vaidmenį Italo Calvino kūryboje“. Trumpa pastraipa, kuri prasidėjo taip:

Italų autorius Italo Calvino laikomas metafikcijos ekspertu, rašymo tipo, kuriame autorius sulaužo ketvirtą sieną, kad aptartų patį rašymo veiksmą. Calvino metafiction yra būdas ištirti tikrovės prigimtį ir būdus, kuriais istorijos gali formuoti mūsų pasaulio suvokimą. Jo romanuose dažnai yra žaismingų struktūrų ir labirintų, kurie manipuliuoja realybės ir fantazijos ribomis. Pavyzdžiui, jei keliautojas yra žiemos naktį, skaitytoją nuolat pertraukia diskusijos apie skaitymo veiksmą ir pasakojimo prigimtį. . . .

Galite pakartotinai pateikti GPT-3 tą patį raginimą ir kiekvieną kartą jis sugeneruos unikalų atsakymą, kai kurie įtikinamesni nei kiti, bet beveik visi nepaprastai aiškūs. Orientaciniai raginimai gali būti įvairių formų: „Duok man visų Bolonijos padažo ingredientų sąrašą“, „Parašyk eilėraštį apie Prancūzijos pajūrio kaimą John Ashbery stiliumi“, „Paaiškinkite Didįjį sprogimą ta kalba, kad 8 m. -senas supranta. kitas žodis.

Tačiau dirbtinis intelektas turi ilgą istoriją, kuriantis intelekto ar supratimo iliuziją, iš tikrųjų nepristatant prekių. adresu daug aptartas popierius Praėjusiais metais paskelbta Vašingtono universiteto kalbotyros profesorė Emily Bender, buvęs „Google“ tyrinėtojas Timnitas Gebru ir grupė bendraautorių pareiškė, kad dideli kalbų modeliai tebuvo „atsitiktinės papūgos“: tai yra, programa naudojo atsitiktinių atranką vien tam, kad permaišytų sakinius, kuriuos parašė žmonės.. Bender man neseniai elektroniniu paštu pasakė: „Tai, kas pasikeitė, nėra kažkoks žingsnis virš tam tikros slenksčio link „dirbtinio intelekto“. Tačiau, pasak jos, pasikeitė „techninė įranga, programinė įranga ir ekonominės naujovės, leidžiančios kaupti ir apdoroti didžiulius duomenų rinkiniai“ – taip pat kultūra Technologija, kurią „gali turėti žmonės, kurie kuria ir parduoda tokius daiktus“, toli gražu nėra paremta netikslių duomenų pagrindu.