Néhány napja a párom, Pablinux elmondta nekik hogyan telepítsük helyben a divatos mesterséges intelligencia modellt. Ebben a bejegyzésben felsorolom, hogy mit tartok jobb modelleknek, mint a DeepSeek, és hogyan telepítsük és futtassuk őket a számítógépünkön.
Ha eltekintünk minden politikai szimpátiától vagy ellenszenvtől, a kínai kormány lépése a diplomáciai marketing remekműve volt, amely Sun Tzuhoz méltó. Ellentétben Donald Trump "Elephant in the Chinaware" stílusával, olyan modellt jelentettek be, amely ingyenesen kínálja a ChatGPT-vel azonos szolgáltatásokat, és kevesebb erőforrást fogyaszt. Ezt csak mi tudjuk, akik követik a témát Sok más nyílt forráskódú modell létezik (néhány észak-amerikai cégektől, mint például a Meta), és a DeepSeek teljesítménye csak a leggyakoribb 5%-ban hasonlítható össze a ChatGPT-vel.
Nagyszabású nyelvi modellek
A ChatGPT-t, a DeepSeeket és másokat nagyléptékű nyelvi modelleknek nevezik. Alapvetően Lehetővé teszik a felhasználó számára, hogy egy másik emberrel való kommunikációhoz hasonló nyelven kommunikáljon a számítógéppel. Ennek eléréséhez nagy mennyiségű szöveggel és szabályokkal képezik ki őket, amelyek lehetővé teszik számukra, hogy új információkat állítsanak elő a már meglévőkből.
Fő felhasználása a kérdések megválaszolása, szövegek összefoglalása, fordítások készítése és tartalom reprodukálása.
Jobb modellek, mint a DeepSeek, és azok helyi telepítése
A Pablinuxhoz hasonlóan mi is az Ollamát fogjuk használni. Ez egy olyan eszköz, amely lehetővé teszi különböző nyílt forráskódú modellek telepítését, eltávolítását és használatát a Linux terminálról. Bizonyos esetekben a böngésző grafikus felületként is használható, de ebben a cikkben erre nem térünk ki.
Ahhoz, hogy az Ollama megfelelő felhasználói élményt biztosítson, a legjobb, ha egy dedikált GPU-val rendelkezik.Különösen a több paraméterrel rendelkező modelleknél. A kevésbé erősek azonban Raspberry Pi-n is használhatók, és amikor még teszteltem a 7 milliárd paraméterű modelleket egy 6 gigabájtos, dedikált GPU-val nem rendelkező számítógépen, a számítógép akadozás nélkül futott. Nem ez történt a 13 milliárd egyikével sem.
A paraméterek azok a szabályok, amelyeket a modell az adatok közötti kapcsolatok és minták felépítésére használ. Minél több paraméter és adat, annál erősebb lesz a modell, akik kevesebb paraméterrel beszélnek spanyolul, mint Tarzan.
A parancsokkal telepíthetjük az Ollamát
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
A modellt a következő paranccsal telepíthetjük:
ollama pull nombre_del modelo
És futtasd a következővel:
ollama run nombre_del_modelo
A következő használatával távolítjuk el:
ollama rm nombre_del_modelo
A telepített modelleket a következő beírással láthatjuk:
ollama list
Az alábbiakban egy kis lista az általam legérdekesebbnek tartott modellekről: Az elérhető modellek teljes listája itt található itt:
láma2-cenzúrázatlan
A Llama egy általános célú modell, amelyet a Meta készített. Ebben a verzióban az eredeti projekt fejlesztői által jogi vagy politikai okokból bevezetett összes korlátozást eltávolították.. Két verziója van, egy 8 GB-tal gazdálkodó könnyű és 64-et igénylő teljes. Kérdések megválaszolására, szövegírásra vagy kódolási feladatokra használható.
Telepítés:
ollama pull llama2-uncensored
És a következővel fut:
ollama run llama2-uncensored
codegemma
A CodeGemma könnyű, de nagy teljesítményű sablonok választéka, amelyek segítségével különféle programozási feladatokat hajthat végre hogyan kell a kódot befejezni vagy írni a semmiből. Érti a természetes nyelvet, követi az utasításokat és képes matematikai érvelésre.
3 változatban kapható:
- Utasítás: A természetes nyelvet kóddá alakítja, és követheti az utasításokat:
- Kód: Teljesíts és generálj kódot a meglévő kód részeiből.
- 2b: Gyorsabb kódbefejezési feladat.
Tynillama
Ahogy a neve is mutatja, az eredeti Meta modell kisebb változata.. Tehát nem lesz olyan jó eredmény, de ha meg akarod nézni, hogyan működik egy mesterséges intelligencia modell szerény hardveren, akkor érdemes kipróbálni. Mindössze 1100 milliárd paraméterrel rendelkezik.
A modellek helyben történő használata magában hordozza a magánélet védelmét és a cenzúrázatlan és elfogulatlan verziókhoz való hozzáférést, amelyek bizonyos esetekben nevetségessé válnak. A Microsoft mesterséges intelligenciája megtagadta, hogy egy tacskóról képet alkosson számomra, mert sértőnek tartotta a „suka” kifejezést. A legnagyobb hátrány a hardverigény. Az lesz a dolga, hogy kipróbálja a modelleket, és találjon olyat, amelyik elég jó ahhoz, amire szüksége van, és a meglévő felszereléssel is fut.