„Apple“ šiandien išleido keletą atvirojo kodo didelių kalbų modelių (LLM), kurie skirti veikti įrenginiuose, o ne debesies serveriuose. LLM programos, vadinamos OpenELM (atvirojo kodo efektyvūs kalbos modeliai), pasiekiamos adresu Apsikabinančio veido centrasbendruomenė, skirta dalytis AI kodu.

Kaip parodyta baltame popieriuje [PDF]Iš viso yra aštuoni „OpenELM“ modeliai, iš kurių keturi yra paruošti naudojant „CoreNet“ biblioteką, o keturi – su instrukcijomis suderinti modeliai. „Apple“ naudoja sluoksnių mastelio keitimo strategiją, kuria siekiama pagerinti tikslumą ir efektyvumą.

„Apple“ pateikė kodą, mokymo žurnalus ir kelias versijas, o ne tik galutinį mokymo modelį, o projekto tyrėjai tikisi, kad tai paskatins greitesnę pažangą ir „patikimesnius rezultatus“ natūralios kalbos AI srityje.

OpenELM, atviras besivystantis kalbos modelis. „OpenELM“ naudoja sluoksnio mastelio keitimo strategiją, kad efektyviai paskirstytų parametrus kiekviename transformatoriaus modelio sluoksnyje, todėl pagerėja tikslumas. Pavyzdžiui, su maždaug 1 milijardo parametrų parametrų biudžetu, OpenELM tikslumas, palyginti su OLMo, pagerėjo 2,36 %, o norint iš anksto apmokyti reikia 2 kartus mažiau prieigos raktų.

Atsiribojant nuo ankstesnės praktikos, kai pateikiami tik modelio svoriai, išvadų kodas ir išankstinis mokymas privačiuose duomenų rinkiniuose, mūsų versija apima visą mokymo ir kalbos modelio vertinimo viešai prieinamuose duomenų rinkiniuose sistemą, įskaitant mokymo žurnalus, kelis kontrolinius taškus ir išankstinius taškų. Treniruočių konfigūracijos.

„Apple“ teigia, kad pristato „OpenELM“ modelius, siekdama „įgalinti ir praturtinti atvirą mokslinių tyrimų bendruomenę“ pažangiais kalbų modeliais. Dalijimasis atvirojo kodo modeliais suteikia mokslininkams galimybę ištirti riziką, duomenis ir modelių šališkumą. Kūrėjai ir įmonės gali naudoti šablonus tokius, kokie yra, arba juos keisti.

Atviras dalijimasis informacija tapo svarbia „Apple“ įrankiu įdarbinant geriausius inžinierius, mokslininkus ir ekspertus, nes tai suteikia galimybių moksliniams straipsniams, kurie paprastai nebūtų paskelbti pagal „Apple“ konfidencialumo politiką.

„Apple“ dar neturi įdiegti tokio tipo dirbtinio intelekto galimybių savo įrenginiuose, tačiau tikimasi, kad „iOS 18“ turės daugybę naujų AI funkcijų, o gandai rodo, kad „Apple“ planuoja įrenginyje paleisti savo didelių kalbų modelius privatumo sumetimais.