counter free hit invisible

Ollama

Ollama, kullanıcıların büyük dil modellerini (Large Language Model – Kısaca LLM) yerel olarak kolayca kurup çalıştırmasına olanak tanıyan gelişmiş bir yapay zeka aracıdır. Başka bir deyişle kendinize ait ChatGPT kurmanıza olanak tanıyan bir araçtır. Linux, Mac ve Windows üzerinde kurup çalıştırabilirsiniz.

Ollama ‘yı İndir

Bundan sonraki yazılar Linux üzerinde çalışan Ollama için sanırım diğer işletim sistemlerinde de aynıdır, denemedim.

Ollama’yı yükledikten sonra terminalde ollama serve komutu ile başlatabilirsiniz.

ollama serve

Çalıştırdığınızda localhost (127.0.0.1) 11434 portu üzerinden çalışmaya başlayacak ve ve siz istek yaptıkça gelen istekleri bu terminal ekranında görmeye başlayacaksınız.

Ollama ‘yı çalıştırdıktan sonra kullanmak istediğimiz model ‘i de ollama ‘ya indirmemiz gerekiyor. Bir çok model bulunuyor bunlar büyük firmaların paylaştığımı modeller ve değişik özellikleri var. Bunların listesini https://ollama.com/library adresinde görebilirsiniz. Örneğin llma3 Meta (facebook) firmasının bir modeli, hi3 Microsoft’un modeli, qwen2 Alibaba’nın modeli ve Çince destekliyor. Modeli indirmek için ollama pull model adı yazıyoruz. Örneğin ollama pull llama3.

ollama pull llama3

Ollama ‘ya bir den çok model indirip istediğimizi kullanabiliyoruz. Bunları listelemek için ollama list komutunu kullanıyoruz.

ollama list

Aşağıda benim yüklemiş olduğum 3 modeli console da listelediğimi görüyorsunuz.

Bu modeller gördüğünüğüz gibi boyutları büyük dosyalar, kullanmadığınızı simek için ollama rm model adı komutunu kullanıyoruz.

ollama rm aya-latest

ollama da modelimizi seçmek ve kullanmak için de ollama run modeladı komutunu veriyoruz.

ollama run llama3

Şimdi sadece sohbete başlamanız yeterli :

Ollama yı kullanmak genel olarak bu şekilde, bir sonraki yazımda ollama ile kendi dokümanlarımızla sohbet etmek olacak.

Ollama ‘yı laptopunuzda yada görece zayıf bir bilgisayarda kullanıyorsanız cevaplarını oldukça yavaş verdiğini göreceksiniz. Daha hızlı çalışması için daha küçük modellerini kullanabilirsiniz. bunun için aşağıdaki komutlardan size uygun olanı deneyin.

ollama run llama3:8b

yada

ollama run llama3:70b-instruct-q2_K

Yorum yapın