Jeśli zasłonisz oczy, obrócisz się 50 razy i rzucisz kamieniem, nieuchronnie trafisz w model oparty na sztucznej inteligencji. Hype związany z tą technologią pozostawił za sobą wszelką kontrolę, ale poza wątpliwościami co do jakości i użyteczności, faktem jest, że instalacja stała się znacznie prostsza w typowych środowiskach. Właściwie projekt Ollama sprowadza cały proces do początkowego pobrania, kilku poleceń w PowerShell i kilku minut twojego czasu.
Może zastanawiasz się, dlaczego nie omawiam nowości związanych ze sztuczną inteligencją jak kiedyś. Prawda jest taka, że przechodzimy przez fazę „też to mamy”, która graniczy z desperacją. Liczba projektów nadużywających hasła „teraz z AI” jest absurdalna, a w większości przypadków ich wyniki są rozczarowujące. Do tego dochodzi natychmiastowa dostępność najważniejszych modeli, jak ChatGPT (który usunął wymóg logowania w wersji darmowej), Google Gemini i Copilot (którego Microsoft oferuje nam nawet do toalety). Jednak dziś prezentuję mały akt buntu w postaci modeli lokalnych, prywatnych i offline. Oczywiście będziesz potrzebować pewnej mocy obliczeniowej, aby działały bez zarzutu, ale wymagania programowe są bardzo proste. Pierwszym krokiem jest pobranie Ollamy.
Ollama: Skuteczny sposób na uruchamianie modeli AI offline
Po pobraniu i zainstalowaniu Ollamy zauważysz małą ikonę w zasobniku systemowym. To tylko wskaźnik działania środowiska. Możesz też wejść na http://localhost:11434/ i sprawdzić, czy pojawia się napis „Ollama is running”. Ollama nie ma interfejsu, ale nie potrzebuje go: czat działa bezpośrednio w PowerShell.
Zalecam uruchomienie PowerShell z podwyższonymi uprawnieniami, ponieważ Ollama będzie musiała pobrać modele, aby zapewnić ich lokalne działanie. Pełna lista znajduje się tutaj, ale Llama2 i Mistral to dwie interesujące opcje na początek. Na przykład po uruchomieniu polecenia „ollama run llama2” Ollama automatycznie pobierze kopię Llama2. Średnio to 4 gigabajty na model, więc musisz uzbroić się w cierpliwość i mieć wystarczająco dużo miejsca na dysku. Model będzie gotowy do użycia, gdy zobaczysz kursor z napisem „Send a message (/? for help)”.
Więc jak dobrze działa Ollama? Przyznaję, że środowisko jest bardzo dobre, ale jakość sesji zawsze będzie zależeć od możliwości danego modelu. Zarówno Llama2, jak i Mistral dobrze zaczynały, ale w mniej niż dziesięć minut już zaczynały bredzić z błędnymi informacjami. Mistral wymyślił amerykański projekt (Project ALFRED) oparty na RTG w połowie lat 60., o którym nie znalazłem nic. Z kolei Llama2 podał mi dwie różne daty wyborów powszechnych w Meksyku… i wymyślił nazwiska kandydatów. ¯\_(ツ)_/¯
Podsumowując, jako narzędzie do eksperymentów, Ollama jest solidna. Modele to inna historia. Link poniżej!
Oficjalna strona i pobieranie: Kliknij tutaj
