LLMy na własnym komputerze – Czyli „własny darmowy AI”

Krótki przegląd narzędzi do uruchomienia na własnym urządzeniu dużego modelu językowego – czyli sztucznej inteligencji. Wysyłaj prompty do lokalnego modelu bez udostępnienia danych do firm trzecich. Sprawdź możliwości i zweryfikuj zasoby swojego komputera przed instalacją.

Czemu nie mieć własnego „chat GPT” na swoim komputerze? Uruchamiać go w każdej chwili, bez opłat? Spróbuj i przetestuj dostępne rozwiązania. Poniżej przegląd wybranych, ale nie wszystkich! Sprawdź i eksperymentuj. Większość darmowych nie jest tak rozwinięta jak GPT-4o (aktualna wersja na dzień pisania tego wpisu.) Ale może do Twoich potrzeb czy to marketingowych, seo czy pracy własnej będzie wystarczający. Zaczynamy!

Duże modele językowe dostępne lokalnie

Rozpatrujemy tu darmowe dostępne do pobrania na lokalny komputer duże modele językowe. Jest to przegląd popularnych LLMów, jeśli znasz lepszy lub sprawdza Ci się inny konkretny podziel się tym w komentarzu. Może przyda się to komuś innemu.

GPT-Neo (EleutherAI)

• Obsługuje: Windows, MacOS, Linux
• Język polski: Tak
• Opis: GPT-Neo to otwarty odpowiednik GPT-3, stworzony przez EleutherAI. Używany do generowania tekstu, tłumaczeń i innych zadań NLP.

GPT-J (EleutherAI)

• Obsługuje: Windows, MacOS, Linux
• Język polski: Tak
• Opis: GPT-J to model językowy z 6 miliardami parametrów, stworzony przez EleutherAI. Wykorzystywany do zaawansowanych zadań generowania tekstu.

BLOOM (BigScience)

• Obsługuje: Windows, MacOS, Linux
• Język polski: Tak
• Opis: BLOOM to ogromny model językowy z 176 miliardami parametrów, stworzony przez BigScience. Służy do zaawansowanych zastosowań NLP, takich jak analiza sentymentu i tłumaczenia.

DistilBERT (Hugging Face)

• Obsługuje: Windows, MacOS, Linux
• Język polski: Tak
• Opis: DistilBERT to lżejsza i szybsza wersja BERT, stworzona przez Hugging Face. Używana do zadań takich jak klasyfikacja tekstu i odpowiedzi na pytania.

LIama 3

• Obsługuje: Windows, MacOS, Linux
• Język polski: Nie
• Opis: LIama 3 to model językowy opracowany przez Facebook AI Research. Wykorzystywany głównie do badań i eksperymentów w dziedzinie NLP.

Phi 3

• Obsługuje: Windows, MacOS, Linux
• Język polski: Nie
• Opis: Phi 3 to mniej znany model językowy, który znajduje zastosowanie w różnych zadaniach NLP. Twórcą jest niezależna grupa badawcza.

Falcon

• Obsługuje: Windows, MacOS, Linux
• Język polski: Nie
• Opis: Falcon to wszechstronny model językowy używany do generowania tekstu, klasyfikacji i innych zadań NLP. Stworzony przez Falcon AI.

Mistral

• Obsługuje: Windows, MacOS, Linux
• Język polski: Nie
• Opis: Mistral to model językowy skoncentrowany na zadaniach związanych z generowaniem tekstu. Opracowany przez Mistral AI.

Gemma

• Obsługuje: Windows, MacOS, Linux
• Język polski: Nie
• Opis: Gemma to model językowy używany do analizy tekstu i generowania odpowiedzi. Stworzony przez Gemma AI.

StarCoder

• Obsługuje: Windows, MacOS, Linux
• Język polski: Nie
• Opis: StarCoder to model językowy skoncentrowany na zadaniach kodowania i generowania kodu. Opracowany przez StarCoder AI.

Aplikacje do lokalnych LLM-ów:

Kiedy już znamy kilka LLMów dostępnych lokalnie, to sprawdźmy jakim interfejsem możemy je odpalić. Możliwości jest wiele. Istnieje bowiem „najłatwiejsza” ich wersja w konsoli, albo okienkowa w aplikacji z interfejsem graficznym.

• Hugging Face Transformers (Windows, MacOS, Linux)
• Mesh Transformer JAX (Windows, MacOS, Linux)
• LM Studio (Windows, MacOS, Linux*beta)

Przetestowałem na Windowsie wersje LM Studio, osobiście uważam to za dobry program na start. Bowiem szybko można pobrać za jego pośrednictwem kilka modeli i szybko przetestować w oknie „czatu” w interfejsie graficznym. Zabiera średnio na dzień dobry 6GB RAMu dlatego, zalecany jest dla urządzeń mających 16GB RAM i więcej do stabilnego działania. LLMy nie są takie duże tylko z nazwy. Podstawowe modele można pobrać już skompresowane i ważą od 3 do 9GB. Ale są też takie po 30-80GB i więcej. Wszystko zależy co potrzebujemy. Udanej zabawy i testów. Sprawdź co będzie dla Ciebie najlepsze. Upewnij się przed pobraniem czy zasoby Twojego sprzętu poradzą sobie. Najszybciej działa to na PC z kartami graficznymi (dedykowanymi) oraz MacBookach Pro z M2 i M3 Pro/Max. 16/32GB RAM>

Możliwości wykorzystania:

• Personalizacja treści: Twórz spersonalizowane kampanie marketingowe z GPT-Neo lub BLOOM, dostosowane do indywidualnych potrzeb klientów.
• Analiza sentymentu: Użyj DistilBERT do analizy opinii klientów, aby lepiej zrozumieć ich potrzeby i reakcje.
• Tworzenie treści: Generuj angażujące posty na blogi i media społecznościowe z GPT-J, oszczędzając czas i zasoby.
• Badania rynkowe: Wykorzystaj Falcon do analizy trendów rynkowych i przewidywania zachowań konsumentów.
• Automatyzacja zadań: Użyj StarCoder do automatyzacji pisania kodu i skryptów, usprawniając procesy programistyczne.
• Przetwarzanie języka naturalnego: Implementuj lokalne modele jak GPT-Neo do zadań NLP, takich jak tłumaczenia i analiza tekstu.
• Prywatność danych: Korzystaj z lokalnych modeli, aby przetwarzać dane bez konieczności przesyłania ich do chmury, zapewniając większą prywatność.
• Eksperymenty i nauka: Eksperymentuj z różnymi modelami jak Mistral i Gemma, aby lepiej zrozumieć ich działanie i możliwości.