Prije nekoliko dana moj partner Pablinux rekao im kako lokalno instalirati trendovski model umjetne inteligencije. U ovom postu ću navesti šta smatram boljim modelima od DeepSeeka i kako ih instalirati i pokrenuti na našem računaru.
Ostavljajući po strani bilo kakve političke simpatije ili antipatije, potez kineske vlade bio je remek djelo diplomatskog marketinga dostojno Sun Tzua. Za razliku od "Elephant in the Chinaware" stila Donalda Trumpa, najavili su model koji besplatno nudi iste karakteristike kao ChatGPT i koji troši manje resursa. To znamo samo mi koji pratimo temu Postoje mnogi drugi modeli otvorenog koda (neki iz sjevernoameričkih kompanija kao što je Meta) već duže vrijeme, a performanse DeepSeeka su samo uporedive sa ChatGPT-om u najčešćih 5% korištenja.
Jezički modeli velikih razmjera
ChatGPT, DeepSeek i drugi se nazivaju Large Scale Language Models. U osnovi Oni omogućavaju korisniku da komunicira sa računarom na jeziku sličnom onom koji se koristi za komunikaciju sa drugim ljudskim bićem. Da bi to postigli, oni su obučeni sa velikim količinama teksta i pravila koja im omogućavaju da proizvedu nove informacije iz onoga što već imaju.
Njegova glavna upotreba je odgovaranje na pitanja, sažimanje tekstova, prevođenje i reprodukcija sadržaja.
Bolji modeli od DeepSeeka i kako ih instalirati lokalno
Kao i Pablinux, mi ćemo koristiti Ollamu. Ovo je alat koji nam omogućava da instaliramo, deinstaliramo i koristimo različite open source modele sa Linux terminala. U nekim slučajevima pretraživač se može koristiti kao grafičko sučelje, ali to nećemo razmatrati u ovom članku.
Da bi Ollama pružila odgovarajuće korisničko iskustvo, najbolje je imati namjenski GPU.Posebno kod modela sa više parametara. Međutim, oni manje moćni se mogu koristiti na Raspberry Pi-u i kada sam čak testirao modele sa 7 milijardi parametara na računaru sa 6 gigabajta i bez namenskog GPU-a, računar je radio bez ikakvih problema. Isto se nije dogodilo ni sa jednom od 13 milijardi.
Parametri su pravila koja model koristi za izgradnju odnosa i konstruisanje obrazaca među podacima. Što više parametara i podataka, to će model biti moćniji, oni sa manje parametara govore španski kao Tarzan.
Ollamu možemo instalirati pomoću komandi
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Model možemo instalirati naredbom:
ollama pull nombre_del modelo
I pokrenite ga sa:
ollama run nombre_del_modelo
Deinstaliramo ga koristeći:
ollama rm nombre_del_modelo
Možemo vidjeti instalirane modele upisivanjem:
ollama list
Slijedi mala lista modela koji su mi najzanimljiviji: Kompletnu listu dostupnih modela možete pronaći ovdje ovdje:
lama2-necenzurisano
Llama je model opće namjene koji je kreirala Meta. U ovoj verziji su uklonjena sva ograničenja koja su uveli programeri originalnog projekta iz pravnih ili političkih razloga.. Ima dvije verzije, laganu koja ima 8GB i punu koja treba 64. Može se koristiti za odgovaranje na pitanja, pisanje tekstova ili u zadacima kodiranja.
Instalira se sa:
ollama pull llama2-uncensored
I radi sa:
ollama run llama2-uncensored
codegemma
CodeGemma je izbor laganih, ali moćnih predložaka koji vam omogućavaju obavljanje raznih programskih zadataka kako dovršiti kod ili ga napisati od nule. Razumije prirodni jezik, može slijediti upute i izvoditi matematičko zaključivanje.
Dolazi u 3 varijante:
- uputiti: On pretvara prirodni jezik u kod i može slijediti upute:
- Kod: Dovršite i generirajte kod iz dijelova postojećeg koda.
- 2b: Zadatak bržeg dovršavanja koda.
Tynillama
Kao što mu ime kaže, radi se o manjoj verziji originalnog Meta modela.. Dakle, neće imati tako dobre rezultate, ali ako želite vidjeti kako model umjetne inteligencije radi na skromnom hardveru, vrijedi pokušati. Ima samo 1100 milijardu parametara.
Lokalno korištenje modela ima prednosti privatnosti i pristupa necenzuriranim i nepristranim verzijama koje u nekim slučajevima imaju tendenciju da završe kao smiješne. Microsoftova AI je odbila da stvori sliku jazavčara za mene jer je smatrala da je izraz "kučka" uvredljiv. Najveći nedostatak su hardverski zahtjevi. Bit će to pitanje da isprobate modele i pronađete onaj koji je dovoljno dobar za ono što vam treba i koji može raditi na opremi koju imate.