Yapay zeka modellerinin kullanımı hızla yaygınlaşıyor. Ancak bu durum, bellek ve işlem maliyetlerini tavan yaptırıyor. Özellikle bulut tabanlı platformlarda hem sağlayıcılar hem de kullanıcılar için yapay zeka oldukça pahalı bir hale geldi. Bunun yanında, kişisel verilerin chatbot'lara ne kadar açıldığına dair gizlilik endişeleri de giderek artıyor. Tüm bu sorunların çözümü, modelleri doğrudan kendi cihazlarımızda çalıştırmaktan geçiyor. Telefonumuzdaki e-postaları özetleyen Gemini'nin Nano modelleri veya bilgisayarımızda görsel oluşturan LoRA'lar, internet bağlantısı olmadan da çalışan güçlü birer araç. Ancak bu, söylemesi yapmasından daha kolay. Büyük dil modellerini kendi cihazınızda çalıştırmak, hem yüksek hızlı ve pahalı bellek hem de bu hesaplamaları yapacak bir hızlandırıcı gerektiriyor.
Akıllı telefonlarımız uzun süredir bu amaç için NPU (Sinirsel İşlem Birimi) desteğine sahip. Ama tescilli API'ler ve yazılım desteğindeki tutarsızlıklar, yaygınlaşmanın önüne geçti. Dahası, amiral gemisi ve orta segment telefonların yetenekleri çok farklı olduğu için geliştiriciler çoğu zaman birden fazla kod yolu oluşturmak ya da daha yavaş CPU tabanlı çözümlere dönmek zorunda kalıyordu. Cihaz içi yapay zeka harika olsa da, tescilli API'ler ve donanımlar arasında parçalanmış bir durumda. Bu yüzden, temel yapay zeka iş yüklerini CPU üzerinde hızlandırmak, giderek daha popüler bir orta yol haline geliyor. NVIDIA'nın 5090 serisi bir ekran kartında GPT-OSS çalıştırmak kadar hızlı veya yetenekli olmasa da, CPU'yu hedeflemek, aracın hemen hemen her cihazda, tescilli sürücüler ve API'lerin geliştirme zahmeti olmadan çalışmasını sağlıyor. Doğru yapı taşları CPU'nun derinliklerine yerleştirildiğinde, bu ilk başta duyulduğu kadar yavaş olmak zorunda değil.
CPU'lar Yapay Zeka Yeteneklerini Nasıl Geliştiriyor
Mobil CPU gelişmeleri, 2021'de Armv9 ile daha yetenekli yapay zeka işleme kapasitelerine doğru yöneldi. Armv9, SVE2'yi tanıttı. SVE2, sabit genişlikli tek talimat çoklu veri (SIMD) tasarımından ziyade, donanıma bağlı olarak SIMD genişliğini 128 bit'ten 2048 bit'e kadar ölçeklendirebilen, vektör uzunluğundan bağımsız bir model kullanıyor. Yani paralel olarak hızlı matematik işlemleri yapmak için daha esnek bir yaklaşım sunuyor. Ayrıca INT8 nokta çarpım işlemlerine ve FP16 gibi düşük hassasiyetli aritmetiğe de destek ekleyerek, modern nicelenmiş yapay zeka iş yükleri için oldukça uygun hale geldi.
Ancak asıl değişim SME ve SME2 ile yaşandı. SME2, CPU'yu yeni bir matris kaydı ve GEMM tarzı işlemler için donanım desteği içeren özel bir matris yürütme moduyla genişletiyor. Geleneksel vektör yürütmesinden farklı olarak SME2, özellikle dönüştürücü ve büyük dil modeli (LLM) iş yüklerine hakim olan yoğun doğrusal cebir kalıpları için tasarlanmış. Bu da matris çarpımı ağırlıklı görevler için bellek trafiğini önemli ölçüde azaltıp verimi artırıyor. Arm, SME2 gibi yeniliklerin, güç tüketen özel hızlandırıcılarla performans farkını kapatamasa da, eski CPU'lara göre 3 ila 5 kat daha iyi performans sunduğunu belirtiyor. Önemli olan, düşük güç tüketmeleri, çok az ek yer kaplamaları ve Arm'ın KleidiAi gibi yaygın kütüphanelerinde zaten yerleşik olmaları nedeniyle geliştirici açısından hedeflemesi daha kolay olmaları. SME2, halihazırda MediaTek'in Dimensity 9500 işlemcisinde mevcut ve Arm'ın C1 Ultra çekirdeklerinden veya lisanslı mimarilerinden üretilen daha fazla yeni nesil yonga setinde karşımıza çıkacak.
x86 Platformu da Boş Durmuyor
Bu tarih dersini bir kenara bırakırsak, son haberlerde AMD ve Intel, gelecekteki CPU'lara Yapay Zeka Hesaplama Uzantıları (ACE) getirmek için ortak bir girişim duyurdu. Tıpkı Arm'ın yaptığı gibi, bu da x86 ISA'ya yerel matris talimatları getiriyor. Ayrıca tanıdık CPU talimat setinden küçük INT4 alt bayt türlerinin yanı sıra daha geleneksel BF16 ve FP16 veri türlerini de destekliyor. Bu, mevcut AVX talimatları üzerine inşa ediliyor ve x86 platformunda satıcılar arasında tutarlı, geliştirilmiş işlevsellik ve daha hızlı paralel matematik işleme sağlıyor. Böylece yapay zeka iş yüklerini tüketici ürünlerine getirmek isteyen geliştiricilerin işini çok daha kolaylaştırıyor.
Neden Bu Kadar Önemli
Tıpkı modern telefon işlemcileri gibi ACE de doğrudan CPU işlem hattına entegre edilmiş durumda. Bu da harici GPU/NPU boşaltma veya harici API'lere gerek olmadığı anlamına geliyor. Uygulama detayları satıcılara göre değişse de, SME2 ve ACE, boşaltma tarzı hızlandırıcı mimarileri yerine sıkı bir şekilde entegre edilmiş CPU matris yürütme yeteneklerini temsil ediyor. CPU'lar, vektör SIMD'nin ötesine geçerek tensor ve matris hesaplamalarını yerel olarak destekleyen mimarilere doğru evriliyor. GPU'ların muazzam paralel yapısı, büyük ölçekli eğitim ve en büyük modelleri çalıştırmak için baskın kalmaya devam edecek. Ancak CPU'lar, cihaz içi ve düşük gecikmeli yapay zeka çıkarım iş yükleri için hızla çok daha yetenekli hale geliyor. Belki de en önemli kısım, geliştiricilerin tescilli GPU veya NPU API'lerine güvenmeden, telefonlar, dizüstü bilgisayarlar ve PC'ler arasında CPU tabanlı yapay zeka hızlandırmayı hedeflemesinin çok daha kolay olacak olması. Bu da cihaz içi yapay zeka teknolojilerinin Türkiye'deki kullanıcılar için de yaygınlaşmasının önünü açıyor, günlük hayatımızda yapay zekayı daha erişilebilir ve özel hale getiriyor.
Sadece Yeni Nesil Cihazlar Bu Yenilikten Faydalanıyor
Bu gelişmelerin tek dezavantajı ise, mevcut telefon ve dizüstü bilgisayarların bu yeniliklerden faydalanamayacak olması. Ancak bir sonraki teknoloji yükseltmenizle birlikte, çok daha akıllı ve yetenekli bir cihaza sahip olacaksınız.