MLOPS / 04

MLOps, LLMOps ve AI Altyapısı

Model, prompt, retrieval ve agent sürümlerini tek üretim disiplini altında yönetir; değerlendirme, tracing, CI/CD, güvenlik ve maliyet görünürlüğünü sistemin parçası haline getiririz.

Projenizi konuşalım

Çalışma zamanı akışıMLOPS / 04

01Değişiklik
02Değerlendirme
03Kademeli yayın
04İzleme
05Geri alma yolu

Problem

Çözümden önce problemi netleştiririz.

Bir AI sistemi yayına çıktığı gün bitmez; asıl ömrü o gün başlar. Model sürümü değişir, prompt güncellenir, retrieval kaynağı büyür, sağlayıcı fiyatlandırması değişir, veri dağılımı kayar. Bu değişikliklerden hangisinin kaliteyi düşürdüğünü ölçemiyorsanız sistemi işletmiyor, yalnızca çalışmasını umuyorsunuz demektir.

MLOps ve LLMOps katmanını tek bir üretim disiplini olarak kurarız: model, prompt, retrieval ve agent sürümleri birlikte izlenir; değerlendirme setleri CI/CD akışına bağlanır; tracing ile her isteğin gecikmesi ve maliyeti görünür olur; olay anında izlenecek geri dönüş yolu önceden tanımlıdır. Amaç daha fazla araç eklemek değil, bir değişikliğin etkisini yayından önce görebilmektir.

Kullanım senaryoları

Bu sistem hangi işlerde karşımıza çıkar?

Model ve prompt sürüm yönetimi

Hangi sürümün canlıda olduğunu, neyin ne zaman değiştiğini ve bir değişikliğin hangi metriği etkilediğini tek kayıtta izleyen yapı.

Değerlendirme ve regresyon testi

Her değişikliği yayından önce sabit bir soru setiyle sınayan; kalite düşüşünü pull request aşamasında yakalayan otomatik kontrol.

Maliyet ve gecikme görünürlüğü

Token kullanımını, gecikmeyi ve hata oranını uç nokta ve adım bazında ayrıştıran; pahalı adımı isimlendiren izleme katmanı.

Olay müdahalesi ve geri dönüş

Kalite kaybı veya kesinti anında hangi sürüme, kim tarafından, hangi onayla dönüleceğinin önceden tanımlı olduğu operasyon planı.

Sistem ne kazandırır?

Tekrarlanabilir ve kontrollü yayın süreçleri

Kalite, drift, latency ve maliyet görünürlüğü

Hızlı rollback ve güvenli sürüm yönetimi

Teslim kapsamı

Model değil, işletilebilir bir ürün teslim ederiz.

01
Mevcut altyapı ve risk analizi
02
Model/prompt registry ve sürümleme
03
Değerlendirme, tracing ve izleme panoları
04
CI/CD, güvenlik ve olay müdahale planı

Nasıl kuruyoruz?

Teknik bileşenleri operasyon adımlarıyla birlikte tasarlarız.

Baseline oluştur

Kalite, latency, maliyet ve hata sınıfları için başlangıç ölçüleri belirleriz.

Sürümleri yönet

Model, prompt, veri ve retrieval değişikliklerini birlikte izleriz.

Yayını otomatikleştir

Test, onay, canary ve rollback adımlarını CI/CD akışına bağlarız.

Canlı sistemi izle

Drift, kalite kaybı, maliyet ve olayları tek operasyon görünümünde toplarız.

Teknik yaklaşım

Kullandığımız katmanlar ve araçlar.

Sürümleme: Model ve prompt registry, veri ve değerlendirme seti sürümleme
Yayın: Docker, CI/CD, kademeli yayın ve geri alma adımları
İzleme: Langfuse tracing, kalite, drift ve maliyet panoları
Altyapı: AWS, GCP ve mevcut bulut kurulumunuza uyumlu servis katmanı

Sık sorulan sorular

Karar vermeden önce bilinmesi gerekenler.

01MLOps yalnızca özel modeller için mi gerekir?

Hayır. Hazır LLM kullanan uygulamalar da prompt, retrieval, değerlendirme, tracing, maliyet ve güvenlik katmanlarını işletmek zorundadır.

02Mevcut cloud altyapımıza uyum sağlar mı?

Evet. Bulut sağlayıcınızı değiştirmeden mevcut CI/CD, gözlemlenebilirlik ve güvenlik araçlarına entegre olabiliriz.

03Değerlendirme setini nasıl oluşturuyorsunuz?

Sentetik sorularla değil, sistemin gerçekten karşılaştığı taleplerle. Kullanıcı sorularından örneklem alır, beklenen davranışı alan uzmanıyla birlikte tanımlar ve bilinen hata vakalarını da sete ekleriz. Set canlıdan gelen yeni hata tipleriyle büyür; küçük ama gerçek bir set, büyük ve yapay bir setten daha güvenilirdir.

04Mevcut ekibimiz sistemi devralabilir mi?

Teslim kapsamı bunu içerecek şekilde tasarlanır. Mimari kararlar, operasyon kılavuzu, panolar ve olay müdahale adımları belgelenir; ekibinizle birlikte çalışılan bir devir süreci planlanır. Amaç bağımlılık yaratmak değil, sistemi işletebilir halde bırakmaktır.

05Hangi noktada MLOps yatırımı erken olur?

Henüz canlıda kullanıcısı olmayan, tek bir prototipten ibaret ve doğruluğun iş sonucuna bağlanmadığı bir çalışmada ağır bir MLOps kurulumu erkendir. Bu aşamada basit bir değerlendirme seti, sürüm etiketleme ve temel loglama yeterlidir; kalanı sistem gerçek kullanım gördüğünde eklenir.