Kako pokrenuti Ollama lokalno na Windows sustavu

1. Instalacija Nvidia drivera sa Cudom

Prvi korak u instalaciji Ollama-e je preuzimanje i instalacija najnovijih Nvidia drivera sa podrškom za Cudu. To je ključno jer će omogućiti optimalan rad vašeg GPU-a pri korištenju Ollama-e.

Koraci:

1. Otvorite Nvidia web stranicu.
2. Odaberite vaš GPU model i operativni sustav (Windows).
3. Preuzmite i instalirajte najnovije drivere. Slijedite klasične upute za instalaciju (Next – Next – Finish).

2. Preuzimanje i instalacija Ollama-e

Sljedeći korak je preuzimanje Windows verzije Ollama-e.

Koraci:

1. Posjetite službenu web stranicu Ollama-e.
2. Preuzmite instalacijski paket za Windows.
3. Pokrenite instalacijski program i slijedite upute za instalaciju (Next – Next – Finish).

3. Provjera instalacije

Nakon instalacije, otvorite Command Prompt (cmd) i upišite:

 ollama 

Ako je instalacija uspješna, trebali biste vidjeti help informacije za korištenje Ollama-e.

4. Preuzimanje Llama3 modela

Kako biste mogli koristiti Llama3 model, potrebno je preuzeti ga. Preuzimanje se obavlja putem naredbe:

 ollama pull llama3 

Ako želite specifičnu verziju modela, poput Llama3:70b, upotrijebite:

 ollama pull llama3:70b 

5. Pokretanje Llama3 modela

Nakon preuzimanja modela, možete ga pokrenuti koristeći naredbu:

 ollama run llama3 

Nakon što se model učita, možete komunicirati s njim.

6. Korištenje Modelfile-a

Ako želite isprobati kako radi Modelfile, možete slijediti sljedeće korake.

Izrada Modelfile-a

1. Otvorite Notepad (ili bilo koji drugi tekst editor).
2. Napravite novi dokument i nazovite ga “Modelfile”.
3. U dokument upišite sljedeći sadržaj:

FROM llama3
# sets the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
# sets the context window size to 4096, this controls how many tokens the LLM can use as context to generate the next token
PARAMETER num_ctx 4096

# sets a custom system message to specify the behavior of the chat assistant
SYSTEM You are Mario from super mario bros, acting as an assistant.

4. Spremite dokument.

Kreiranje i pokretanje modela

Da biste kreirali model koristeći Modelfile, upišite sljedeću naredbu u cmd:

 ollama create super-mario -f ./Modelfile 

Zatim, kako biste pokrenuli kreirani model, upišite:

 ollama run super-mario 

7. Brisanje modela

Ako želite izbrisati kreirani model, koristite naredbu:

 ollama rm super-mario 

Slijedeći ove korake, uspješno ćete instalirati, konfigurirati i koristiti Ollama-e na vašem Windows sustavu. Ako naiđete na probleme ili imate dodatnih pitanja, preporučujem posjetiti službenu dokumentaciju Ollama-e ili kontaktirati podršku.