RAG / 01

RAG, LLM ve Kurumsal Bilgi

Dokümanları, veri tabanlarını, ticket sistemlerini ve ürün bilgisini tek retrieval katmanında birleştiririz. Retrieval katmanı izin filtreli kanıtı getirir; generation katmanı bu kanıta dayalı yanıt ve atıf üretir. Atıf tek başına doğruluk garantisi olmadığından her iki katmanı ayrı ayrı değerlendiririz.

Projenizi konuşalım

Çalışma zamanı akışıRAG / 01

01Kaynaklar
02İzin filtresi
03Retrieval
04Üretim katmanı
05Atıflı cevap

Problem

Çözümden önce problemi netleştiririz.

Kurumsal bilgi nadiren tek yerde durur. Sözleşmeler dosya sunucusunda, ürün bilgisi wiki'de, müşteri geçmişi ticket sisteminde, kurallar ise kimsenin güncellemediği bir PDF'te bulunur. Bir çalışan doğru cevaba ulaşmak için bunların hepsini tek tek taramak zorunda kalıyorsa sorun modelin zekâsı değil, bilginin erişilebilir olmamasıdır.

RAG tam bu noktada devreye girer: model yanıt üretmeden önce ilgili kanıtı getirir ve cevabı bu kanıta dayandırır. Ancak üretimde çalışan bir RAG sistemi, bir vektör veritabanına doküman yüklemekten ibaret değildir. Chunking stratejisi, metadata, erişim izinleri, hibrit arama, yeniden sıralama ve atıf kalitesi ayrı ayrı tasarlanır ve ayrı ayrı ölçülür. Bu katmanları tek bir erişim mimarisi olarak kurar, kalitesini gerçek sorulardan oluşan bir değerlendirme setiyle doğrularız.

Kullanım senaryoları

Bu sistem hangi işlerde karşımıza çıkar?

Kurumsal bilgi asistanı

Dağınık dokümantasyon, wiki ve ticket arşivini tek soru-cevap arayüzünde toplayan; her cevabın hangi belgeden geldiğini gösteren dahili asistan.

Destek ekibi yardımcısı

Destek ekibinin geçmiş çözümler, ürün dokümanı ve politika metinleri arasında saniyeler içinde doğrulanabilir cevap bulmasını sağlayan katman.

Sözleşme ve mevzuat araması

Uzun hukuki veya düzenleyici metinlerde ilgili maddeyi bulup alıntılayan; yorum yerine kaynak sunan arama katmanı.

Teknik dokümantasyon asistanı

Sürümler arasında değişen teknik bilgiyi güncel tutan, eski sürüme ait cevapları ayırt eden dokümantasyon katmanı.

Sistem ne kazandırır?

Atıf yapılan kaynaklarla doğrulanabilir yanıtlar

Rol ve yetki bazlı bilgi erişimi

Güncel veriyle çalışan kurumsal arama

Teslim kapsamı

Model değil, işletilebilir bir ürün teslim ederiz.

01
Kaynak ve veri hazırlık analizi
02
Chunking, embedding ve retrieval mimarisi
03
Değerlendirme veri seti ve kalite panosu
04
API, arayüz ve kurumsal entegrasyonlar

Nasıl kuruyoruz?

Teknik bileşenleri operasyon adımlarıyla birlikte tasarlarız.

Kaynakları bağla

Doküman, DB, wiki ve ticket kaynaklarını güvenli ingest katmanına alırız.

Retrieval tasarla

Arama, reranking, metadata ve izin filtrelerini kullanım senaryosuna göre kurarız.

Kaliteyi ölç

Gerçek sorularla doğruluk, kaynak sadakati, latency ve maliyeti ölçeriz.

Üretime al

İzleme, geri bildirim ve sürümleme ile sistemi canlı operasyona taşırız.

Teknik yaklaşım

Kullandığımız katmanlar ve araçlar.

Retrieval: Hibrit arama, yeniden sıralama, metadata ve izin filtreleri
Embedding: BGE-M3 ve çok dilli embedding modelleri
Servis: FastAPI, Docker, Qdrant, PostgreSQL
Değerlendirme: RAGAS, Langfuse ve projeye özel değerlendirme setleri

Sık sorulan sorular

Karar vermeden önce bilinmesi gerekenler.

01RAG mı fine-tuning mi kullanmalıyız?

Güncel ve özel kurumsal bilgi için çoğu durumda önce RAG değerlendirilir. Davranış, format veya görev performansı değiştirilecekse fine-tuning ayrıca gündeme gelir.

02Veri şirket içinde kalabilir mi?

Evet. Mimariyi public cloud, private cloud, on-premise veya hibrit çalışacak şekilde tasarlayabiliriz.

03Sistem yanlış cevap verdiğinde bunu nasıl fark ederiz?

Atıf tek başına doğruluk kanıtı değildir; doğru kaynağa atıf yapıp yanlış sonuç çıkaran cevaplar mümkündür. Bu yüzden gerçek sorulardan bir değerlendirme seti kurar, retrieval isabetini ve cevabın kaynağa sadakatini ayrı ölçer, kullanıcı geri bildirimini de bu ölçüme bağlarız.

04Ne kadar sürede canlıya çıkar?

Süreyi model değil veri hazırlığı belirler. Kaynakları erişilebilir, formatı düzenli ve izin modeli net olan bir kapsamda ölçülebilir bir pilot hızla kurulabilir. Taranmış belgeler, dağınık sürümler veya belirsiz yetki kuralları varsa takvim bu hazırlığa göre şekillenir; keşif aşamasında hangi durumda olduğunuzu birlikte netleştiririz.

05Hangi durumlarda RAG doğru çözüm değildir?

Cevap tek bir yapılandırılmış veri tabanından sorguyla alınabiliyorsa, bilgi zaten tek ve güncel bir kaynakta duruyorsa veya asıl ihtiyaç modelin davranışını ve çıktı formatını değiştirmekse RAG gereksiz karmaşıklık ekler. Bu durumları keşifte söyler, daha basit çözümü öneririz.