Başarısız olan yapay zeka projelerinin çoğu kurulum sırasında başarısız olmadı. Başlangıçta başarısız oldular; sistemin ne işe yarayacağı üzerinde anlaşılmadan bir model seçildiğinde. Boşluk ise ancak aylar sonra, sonucun gidecek bir yeri olmadığı fark edildiğinde göründü.
Aşağıdaki yedi soru, herhangi bir bütçe ayrılmadan önce cevaplanmaya değer olanlardır. Hiçbiri modeller, çerçeveler veya tedarikçilerle ilgili değildir. Dürüstçe cevaplamak birkaç gün sürer ve projenin biçimini, sonrasında gelecek her teknik karardan daha fazla değiştirir.
Birkaçı cevaplanamıyorsa, bulgu budur. Bunlar olmadan başlayan bir proje sorulardan kaçmaz - onları teker teker, her birinin ilerlemeyi durdurduğu ve çözülmesinin en pahalı olduğu noktada keşfeder.
1. Hangi Kararı İyileştirecek?
Hangi süreci değil, hangi departmanı değil. Hangi kararı, hangi kişinin verdiğini, ne sıklıkta.
"Müşteri desteğinde yapay zeka kullanmak" değerlendirilemez. "Bir temsilcinin cevap vermeden önce geçerli garanti maddesini bulmak için harcadığı süreyi azaltmak" değerlendirilebilir: kimin hareket ettiğini, bugün ne yaptığını ve neyin değişeceğini adlandırır.
Test şudur: mevcut yolu bir cümleyle, hedeflenen yolu bir cümleyle tarif edebiliyor musunuz? Mevcut yol tarif edilemiyorsa süreç, bir parçasını otomatikleştirecek kadar anlaşılmamıştır ve onu haritalamak ilk iştir.
Bu soru ayrıca aslında raporlama talebi olan projeleri de eler. Çıktı, kimsenin ona göre hareket etmediği bir panoysa sistem kurulur, kısa süre beğenilir ve terk edilir.
2. Çıktıyı Kim, Hangi Aracın İçinde Kullanacak?
Benimsenmeyi, çıktının nerede göründüğü belirler.
Kullanıcılar yapay zekanın ne düşündüğüne bakmak için ikinci bir uygulama açmaz. Ayrı bir portalda duran çıktı, insanlar gözlendiği için pilot sırasında kullanılır, sonra sessizce açılmaz olur. Yeteneğin, işin zaten yapıldığı araca ulaşması gerekir - CRM'e, talep sistemine, ERP ekranına, e-posta istemcisine.
Bunun hangi sistem olduğunu, çıktıyı gösterebilip gösteremeyeceğini ve o yüzeyi kimin kontrol ettiğini sorun. Cevap genişletilemeyen bir tedarikçi ürünüyse entegrasyon kısıtı gerçektir ve sonda sürpriz olmak yerine tasarımı şekillendirmelidir.
Kullanıcının farklı olarak ne yapması beklendiğini de sorun. Dürüst cevap "aynı şeyi, ama fazladan bilgiyle" ise değer göründüğünden küçüktür ve birinci sorudaki metriği kıpırdatmak zor olacaktır.
3. Veri Erişilebilir mi?
Var olmak ile erişilebilir olmak farklı durumlardır ve bunları karıştırmak, takvim aşımlarının en yaygın sebebidir.
Veri; programatik olarak, sistemin ihtiyaç duyduğu sıklıkta, görevin gerektirdiği alanları içerecek şekilde ve bu amaçla kullanma izniyle alınabildiğinde erişilebilirdir.
Tek dürüst test, gerçek üretim erişim yolundan gerçek bir örnek çekmektir - bir meslektaşınızın hazırladığı dışa aktarımdan değil; o, aradığınız her sorunu gizler. Bunu yapmaya harcanan bir hafta, bir aylık veri stratejisi toplantısından fazlasını ortaya çıkarır.
Tipik olarak beliren şunlardır: kaynak sistemin API'si yok; alanlar var ama kategori varsayılan yerde serbest metin; kayıtlar ancak belli bir yıldan sonra tutarlı; erişim, hızlı hareket etmek için teşviki olmayan bir ekibin onayını gerektiriyor; ya da hukuk bu verinin bu şekilde kullanılıp kullanılamayacağını hiç karara bağlamamış.
Bunların hiçbiri projeyi bitirmez. Hepsi uzatır ve hepsini şimdi bulmak çok daha ucuzdur.
4. Başarı Ne Demek — Hem de Zaten Var Olan Rakamlarla?
Başarıyı, kurumun zaten takip ettiği bir metriğe göre tanımlayın ve hiçbir şey kurulmadan önce mevcut değerini kaydedin.
Burada iki şey ters gider. Birincisi, kimsenin ölçmediği bir başarı kriteri - "daha iyi müşteri deneyimi" - ki değerlendirilemez ve proje izlenime göre yargılanır. İkincisi, iş metriğinin yerine geçen bir model metriğidir. %94 doğruluk bir sonuç değildir; sonuç daha az yükseltme, daha hızlı işlem, daha az yeniden çalışma veya daha düşük hurdadır.
Neyin başarısızlık sayılacağına da karar verin. Başarısızlık koşulu olmayan bir proje dürüstçe değerlendirilemez ve maliyetini hak ettiği noktanın çok ötesinde yaşamaya eğilimlidir. Hangi sonucun "dur" anlamına geleceğini önceden kararlaştırmak rahatsız edicidir ve mevcut en ucuz yönetişim aracıdır.
5. Nereye Bağlanması Gerekiyor?
Bunun okuyacağı ve yazacağı sistemleri listeleyin ve her biri için üç şeyi kontrol edin: bir arayüz var mı, sahibi kim ve onda bir değişiklik ne gerektiriyor.
Yazma tarafı özel dikkat hak eder. Okumak genellikle mümkündür; bir kayıt sistemine yazmak ise çoğu zaman doğrulama kuralları, onay akışı, denetim yükümlülükleri ve neyin hangi yetkiyle yazıldığını haklı olarak bilmek isteyecek bir ekip içerir.
Gereken bir sistemin yazma arayüzü yoksa, onu inşa etmek bu projenin parçasıdır ve tahmine dahil edilmelidir. Sıklıkla yapay zeka işinin kendisinden büyüktür ve bunu geç keşfetmek, üç aylık bir projeyi dokuz aylığa çeviren şeydir.
6. İnsan Nerede Karar Veriyor?
Her yapay zeka sistemi bazen yanılır. Bu soru o zaman ne olacağını sorar ve tasarımdan önce cevaplanmalıdır, ilk olaydan sonra değil.
Hangi çıktıların otomatik hareket edeceğine, hangilerinin bir kişi gerektirdiğine karar verin. Kullanışlı sinyaller geri alınabilirlik, büyüklük ve genişliktir: geri alınamaz bir eylem, büyük bir eylem veya aynı anda çok sayıda kaydı etkileyen bir eylem, model kalitesi ne olursa olsun insan kararının arkasına aittir.
Sonra süzülüp geçen hataları neyin yakalayacağına karar verin - eylemden önce inceleme, sonrasında denetim örneklemi, aşağı akışta bir kontrol veya hiçbiri. "Hiçbiri", gerçekten düşük riskli çıktı için meşru bir cevaptır ama ihmal değil karar olmalıdır.
İlgili soru asimetridir. Yanlış pozitif ile yanlış negatif nadiren aynı maliyettedir ve çalışma noktasını 0,5'lik bir varsayılan değil, o oran belirlemelidir. Yetkili birinin bunu söylemesi gerekir.
7. Yayına Aldıktan Sonra Sahibi Kim?
Sessiz başarısızlığın en yaygın nedeni teknik değil organizasyoneldir. Sistem bir proje ekibi tarafından kurulur, proje biter ve sistem kimse sorumlu olmadan çalışmaya devam eder.
Kurulum başlamadan önce sahibi belirleyin ve kapsamını tanımlayın: kaliteyi kim izliyor, bozulduğunda kime haber veriliyor, değişikliği kim onaylıyor, geri almayı kim yapabiliyor ve ne kadar hızlı. O kişi ayrıldığında ne olacağını da ekleyin.
Test basittir. Bu sistem altı ay sonra yanlış bir sonuç ürettiğinde bunu kim öğrenir ve ne yapma yetkisi vardır? Cevap "proje ekibi, ama o proje bitmiş olacak" ise sistemin sahibi yoktur - ve sahipsiz sistemler dışarıdan biri fark edene kadar bozulur; o biri genellikle müşteridir.
Bu soru, idari göründüğü için en sık atlanan sorudur. Sistemin bir yıl sonra hâlâ çalışıp çalışmadığını, herhangi bir mimari seçimden daha güvenilir şekilde belirler.
Cevapları Okumak
Yedisine de net cevap, projenin gerçek bir yolu olduğu ve kalan riskin uygulama olduğu anlamına gelir.
Net olmayan bir cevap ilk işi tanımlar. Onu kurulumla yan yana değil, ondan önce sıraya koyun - özellikle üçüncü ve beşinci sorular için; çözülmemiş bir cevap, örnek veride demo veren ama üretim verisinde çalışamayan bir sistem üretir.
Üç veya daha fazla net olmayan cevap, bunun henüz bir yapay zeka projesi olmadığı anlamına gelir. İleride bir tanesini mümkün kılacak bir süreç ve veri projesidir. Bunu kabul edip temele bir çeyrek harcayan ekipler, kurmaya başlayıp aynı boşluklarla teker teker karşılaşan ekiplerden daha erken üretime ulaşır.
Bu sorular geçilecek bir kapı değildir. Tasarımın kendisidir. Onları cevaplayabilen bir proje büyük ölçüde tanımlanmıştır; cevaplayamayan bir proje ise yalnızca hayal edilmiştir.