Od pojave ChatGPT-a pojavilo se mnogo alata čije je poštovanje privatnosti korisnika sumnjivo. Na sreću, pojavilo se nekoliko projekata otvorenog koda koji su to popravili. Ollama AI je alat za korištenje umjetne inteligencije u terminalu
Aplikacija hoće omogućava vam da koristite listu LLM-ova na vašem računarskom terminalu ili jednom uređaju sve dok je vaš hardver dovoljno moćan. Dobra stvar je što njihova biblioteka ima opcije za sve veličine.
LLM (Large Scale Language Models) se koriste za razumijevanje generiranja i prevođenja jezika na nivou koji je blizak prirodnom jeziku. Oni su obučeni sa ogromnim količinama tekstualnih podataka. Ovi modeli se mogu koristiti za širok spektar zadataka vezanih za jezik, kao što su odgovaranje na pitanja, sažimanje teksta, prevođenje na druge jezike, stvaranje koherentnog i kreativnog sadržaja, dovršavanje rečenica i pronalaženje jezičnih obrazaca.
Izraz "velikih razmera" odnosi se i na ogromnu količinu podataka (milijarde) i na parametre koje model koristi za uspostavljanje odnosa i pronalaženje obrazaca među podacima.
Parametri su faktor koji treba uzeti u obzir. Iako ima onih koji navode da su koristili Ollama AI na Raspberry Pi 4, ne mogu se svi modeli koristiti ako nemate dovoljno memorije. Koristio sam modele sa 7 milijardi parametara sa 6 GB RAM-a i bez grafičke kartice, a da to nije utjecalo na performanse sistema, ali nije mogao podnijeti onaj sa 13.
Modeli sa manje parametara govore španski na nivou parodije turista Yankee i nisu baš precizni u svojim odgovorima, pa treba biti oprezan kada ih koristite.
Ollama AI: Koristite umjetnu inteligenciju u terminalu
Prije nego što nastavimo, počnimo s kratkim objašnjenjem. LlaMa je algoritam za strojno učenje koji omogućava umjetnoj inteligenciji da nauči prepoznati i klasificirati slike objekata.
Za ovu vrstu modela Oni su obučeni sa označenim slikama tako da nauče da prepoznaju specifične karakteristike kao što su tekstura, oblik i boja koje im omogućavaju da se identifikuju u drugim kontekstima.
Budući da se ime algoritma izgovara isto kao i ime životinje, neke biblioteke su dobile imena po sličnim vrstama kao što su vicuna (Vicuña na jezicima koji ne koriste ñ) ili Alpaca.
Vraćajući se na Ollama AI, Omogućuje nam preuzimanje i pokretanje različitih modela otvorenog koda s terminala naše Linux distribucije. Instalira se naredbom:
curl https://ollama.ai/install.sh | sh
Za pokretanje modela pišemo naredbu:
ollama run nombre_del_modelo
Možemo vidjeti listu modela ovdje
Na primjer, da bismo instalirali TinyLlaama, model sa nešto više od terabajta parametara, koristimo naredbu:
ollama run tinyllama
Prvi put kada se ova komanda izvrši, model se preuzima na računar. Imajte na umu da neki zauzimaju nekoliko gigabajta prostora na disku.
Model možete izbrisati naredbom:
ollama rm nombre_del modelo
Da vidite listu instaliranih modela koristite naredbu:
ollama list
Informacije o svakom od instaliranih modela možete vidjeti sa:
ollama show
Zanimljiva opcija iz Ollama biblioteke modela su takozvane „necenzurisane“.. Najpoznatiji modeli umjetne inteligencije postavljaju ograničenja na određene vrste pitanja kako bi bili u skladu ne samo sa zakonom već i sa društvenim pritiscima političke korektnosti.
Sjećam se da sam davno zamolio Copilota, Microsoftovog pomoćnika na ChatGPT-u, da mi priča viceve o santi leda, a on mi je rekao da su ekološke katastrofe previše ozbiljna tema da bih se šalio.
Necenzurisani modeli Oni identifikuju prilike kada AI odbijaju da reaguju ili daju pristrasne odgovore iz osnovnih modela, uklanjaju ih i obučavaju sistem da pravilno reaguje.
Morao bih da uradim još testova da saznam koliko Ollama AI može biti koristan na računarima sa ograničenom količinom RAM-a i bez namenske grafičke kartice. U svakom slučaju, dobro je znati da se alternative otvorenog koda probijaju i dozvoljavaju da se eliminira cenzura.