Foundry Core AI — Cihaz İçi Türkçe RAG Asistanı

Microsoft Summer School staj programı kapsamında geliştirdiğim, Microsoft Foundry Local üzerinde tamamen çevrimdışı çalışan bir kurumsal soru-cevap asistanı. Şirketlerin izin politikası, masraf prosedürü, BT talimatları gibi iç belgeleri bulut tabanlı bir yapay zekâya verilemez; Foundry Core AI aynı deneyimi, veri tek bir bayt bile makineden çıkmadan sunar. Dil modeli, embedding modeli, vektör deposu ve arama katmanının tamamı aynı bilgisayarda çalışır; Azure aboneliği veya internet bağlantısı gerekmez.

Program online yürütüldü; süreç boyunca Microsoft Türkiye ofis ziyaretleri ve Microsoft Türkiye üst düzey yöneticileriyle haftalık online toplantılar yaptık. Projeyi bu toplantılarda aşama aşama sunup geri bildirimle geliştirdim.

Nasıl çalışır: Belgeler (txt, pdf, docx) 1000 karakterlik örtüşmeli parçalara bölünür, 1024 boyutlu vektörlere çevrilir ve harici bir vektör veritabanı yerine tek bir SQLite dosyasında float32 BLOB olarak saklanır. Soru geldiğinde iki ayaklı hibrit arama devreye girer: anlamsal (dense) arama ile SQLite FTS5 tabanlı BM25 kelime araması, Reciprocal Rank Fusion ile birleştirilir. Türkçenin sondan eklemeli yapısı ("izin", "izinleri", "izne") ve "ı" harfi gibi detaylar için özel bir normalizasyon katmanı yazıldı. Bulunan parçalar yerel dil modeline (qwen2.5-1.5b) bağlam olarak verilir ve yanıt kaynak belgeleriyle birlikte token token akarak gelir.

Bilmediğini söyler: Benzerlik eşiğini geçen hiçbir parça yoksa dil modeli hiç çağrılmaz ve doğrudan "belgelerde bilgi yok" yanıtı döner. Bu tek karar hem uydurmayı imkânsız kılar hem de yanıtı iki kattan fazla hızlandırır (6.7 sn / 15 sn).

Ölçerek geliştirildi: 166 birim testinin yanında, asistanın cevaplarını puanlayan ayrı bir değerlendirme seti (cevaplanabilir, cevaplanamaz ve tuzak sorular) kurdum. Bu set sayesinde sistem promptundaki reddetme kuralının konumunu değiştirerek uydurma oranını belirgin şekilde düşürdüm ve genel başarıyı %60'tan %79'a çıkardım. 2 GB VRAM'li bir dizüstü bilgisayarda embedding modelini CPU'ya, sohbet modelini GPU'ya ayırarak yanıt süresini 80 saniyeden 12–17 saniyeye indirdim. Vektör araması 0.047 ms sürüyor.

Ürün olarak hazır: Birden fazla firmaya kurulabilecek şekilde tasarlandı. scrypt ile parola saklama, sunucu tarafı oturum token'ları, admin/kullanıcı rolleri, kaba kuvvet kilidi ve sorgu denetim kaydı içeren bir kimlik doğrulama katmanı; tek komutluk Windows kurulum betiği, CI hattı, iki dilli (TR/EN) web arayüzü ve her teknik kararın gerekçesini anlatan mimari karar kayıtları (ADR) bulunuyor.