Bulut tabanlı yapay zeka servislerine bağımlılıktan sıkıldınız mı? Bilgisayarınızın gücünü kullanarak kendi yerel yapay zeka asistanınızı kurmak, sadece gizlilik ve veri egemenliği değil, aynı zamanda dikkate değer bir performans avantajı da sunuyor. Özellikle internet bağlantısının olmadığı durumlarda dahi sürekli erişim imkanı sunan bu yöntem, kişisel veya geliştirme odaklı projeler için güçlü bir temel oluşturuyor. İşte adım adım kendi internetsiz yapay zeka asistanı kurulum rehberiniz.

Gerekli Donanım ve Minimum Sistem Gereksinimleri

Yerel bir yapay zeka modeli çalıştırmak, sisteminizden belirli bir donanım gücü bekler. Genel bir kural olarak, büyük dil modelleri (LLM'ler) yoğun miktarda RAM ve işlem gücüne ihtiyaç duyar. Minimum gereksinim olarak, 16 GB RAM ve dört çekirdekli, modern bir işlemci (Intel Core i5 veya AMD Ryzen 5 dengi) yeterli olabilir ancak bu, en küçük modeller için başlangıç seviyesidir.

Optimum performans için ise 32 GB veya daha fazla RAM, sekiz çekirdekli veya üzeri bir işlemci (Intel Core i7/i9 veya AMD Ryzen 7/9) ve özellikle NVIDIA RTX 30 serisi veya daha yeni bir ekran kartı önerilir. Bu ekran kartları, LLM'lerin çıkarım (inference) süreçlerini CPU'dan çok daha hızlı gerçekleştirebilen Tensor çekirdekleri içerir. Örneğin, NVIDIA'nın 3060 12GB VRAM'e sahip kartı, daha büyük modellerin bile bir kısmını bellekte tutarak önemli hızlanmalar sağlayabilirken, Apple'ın M serisi çipleri de birleşik bellek mimarisi sayesinde oldukça verimli çalışmaktadır.

Yazılım Seçimi ve Model Eko-sistemi

Yerel yapay zeka modelinizi çalıştırmak için çeşitli platformlar mevcuttur. En popüler seçeneklerden bazıları Ollama ve LM Studio'dur. Bu rehberde, kurulum ve kullanım kolaylığı nedeniyle Ollama'yı temel alacağız. Ollama, GGUF (GGML Unified Format) adı verilen özel bir dosya formatını kullanan modelleri çalıştırmak için tasarlanmıştır. Bu format, modellerin CPU ve GPU kaynaklarını daha verimli kullanmasını sağlayarak, daha düşük donanımlarda bile tatmin edici performans elde edilmesine olanak tanır.

Model seçimi ise tamamen ihtiyaçlarınıza bağlıdır. Mistral 7B, Llama 2 7B/13B, Gemma 2B/7B ve Phi-2 gibi modeller, farklı yetenekler ve boyutlar sunar. Daha küçük modeller (örn. 2B-7B) daha az sistem kaynağı tüketirken, daha büyük modeller (örn. 13B-70B) daha gelişmiş muhakeme yetenekleri ve daha doğru yanıtlar sağlayabilir. Genellikle, 4-bit nicemlenmiş (quantized) sürümler (Q4_K_M gibi), performans ve model büyüklüğü arasında iyi bir denge sunar ve NVIDIA RTX 3060 12GB gibi kartlarda sorunsuz çalışabilir.

Adım 1: Ollama Yazılımını Yükleme

Öncelikle Ollama'nın resmi web sitesine (ollama.ai) gidin ve işletim sisteminize (Windows, macOS veya Linux) uygun yükleyiciyi indirin. Yükleyici dosyasını çalıştırın ve ekrandaki talimatları izleyerek kurulumu tamamlayın. Kurulum genellikle birkaç dakika sürer ve herhangi özel bir yapılandırma gerektirmez.

Kurulum tamamlandığında, terminalinizi (komut istemi) açarak Ollama'nın doğru şekilde yüklenip yüklenmediğini kontrol edebilirsiniz. Bunun için `ollama --version` komutunu yazın ve enter tuşuna basın. Eğer bir sürüm numarası görüyorsanız, Ollama başarıyla yüklenmiş demektir.

Adım 2: Yapay Zeka Modelini Seçme ve İndirme

Ollama, birçok popüler modeli kendi kütüphanesinde barındırır. Bu modelleri görmek için terminalde `ollama list` komutunu kullanabilirsiniz, ancak bu başlangıçta boş olacaktır. Modelleri keşfetmek için ollama.ai/library adresini ziyaret edebilirsiniz. Bu kütüphanede, farklı model boyutları ve nicemleme seviyeleri ile çeşitli modeller bulunur.

Örnek olarak, popüler ve nispeten hafif bir model olan Mistral 7B'yi indirmek için terminalinize `ollama pull mistral` komutunu yazın ve enter tuşuna basın. Bu işlem, internet bağlantınızın hızına bağlı olarak birkaç dakika sürebilir, zira Mistral 7B Q4_K_M modeli yaklaşık 4.1 GB boyutundadır. İndirme tamamlandığında, model yerel diskinize kaydedilecektir ve artık internet bağlantısı olmadan da kullanılabilir olacaktır.

Adım 3: Asistanı Çalıştırma ve Kullanım

Model başarıyla indirildikten sonra, asistanınızı çalıştırmak son derece basittir. Terminalde `ollama run mistral` komutunu yazarak Mistral modelini başlatabilirsiniz. Bu komutu çalıştırdığınızda, Ollama modeli yükleyecek ve size bir komut satırı arayüzü sunacaktır.

Artık modelinizle sohbet etmeye başlayabilirsiniz. Örneğin, "Bana 5 maddede İstanbul'u anlat." veya "Python'da bir web sunucusu nasıl yazılır?" gibi sorular sorabilirsiniz. Model, yerel olarak çalışan donanımınızın performansına bağlı olarak birkaç saniye içinde yanıt üretecektir. Sohbeti sonlandırmak için `exit` yazıp enter tuşuna basabilir veya `Ctrl+D` kısayolunu kullanabilirsiniz.

Sistem Kaynakları Yönetimi ve Optimizasyon İpuçları

Yerel bir LLM çalıştırırken sistem kaynaklarını gözlemlemek önemlidir. Görev Yöneticisi (Windows) veya Etkinlik Monitörü (macOS) gibi araçlarla RAM ve GPU kullanımını takip edebilirsiniz. Özellikle GPU'nuz varsa, modelin GPU belleğine (VRAM) ne kadar yüklendiğini görmek, modelin performansını anlamanıza yardımcı olur. Ollama, varsayılan olarak GPU'yu kullanmaya çalışır, ancak yetersiz VRAM durumunda CPU'ya düşebilir.

Daha iyi performans elde etmek için nicemleme seviyesini düşürülmüş modelleri tercih edebilirsiniz (örn. Q2_K veya Q4_K_M). Bu modeller daha az RAM ve VRAM kullanır ancak genellikle orijinal tam hassasiyetli modellere göre çok küçük bir doğruluk kaybına sahiptir. Gelişmiş kullanıcılar, Ollama'nın API'sini kullanarak kendi uygulamalarını yazabilir veya `ollama serve` komutuyla yerel bir API sunucusu çalıştırıp diğer uygulamalarla entegrasyon sağlayabilir. Bu, modelin arayüz katmanını tamamen özelleştirmenize olanak tanır.

Kişisel Veri Egemenliğinin Yükselişi: Yerel Yapay Zekanın Geleceği

Kendi masaüstünüzde bir yapay zeka asistanı çalıştırma yeteneği, sadece bir teknoloji rehberinden öte, kişisel veri gizliliği ve egemenliği açısından çığır açan bir adımdır. Bulut tabanlı çözümlerin getirdiği güvenlik riskleri ve veri transfer maliyetleri göz önüne alındığında, yerel yapay zeka, kullanıcıların verileri üzerinde tam kontrol sahibi olmasını sağlar. Bu model, özellikle hassas kişisel veya kurumsal verilerle çalışan bireyler ve işletmeler için vazgeçilmez bir çözüm sunar.

Gelecekte, daha optimize edilmiş modeller, gelişmiş yerel yapay zeka donanımları ve kullanıcı dostu arayüzler sayesinde, her ev bilgisayarı güçlü ve tamamen özel bir yapay zeka merkezi haline gelebilir. Edge AI (uç yapay zeka) ve Sovereign AI (egemen yapay zeka) kavramları, bu yerel yaklaşımların temelini oluşturacak ve kişisel asistanlardan sağlık hizmetlerine, otonom sistemlerden akıllı ev otomasyonuna kadar geniş bir yelpazede yeni inovasyon kapıları açacaktır. Kendi yapay zeka asistanınızı kurarak, bu heyecan verici geleceğin sadece bir parçası olmakla kalmıyor, aynı zamanda aktif bir mimarı haline geliyorsunuz.