Ayrılmış test setinde %98 doğruluğa ulaşan bir görsel muayene modeli, üretim hattından bir ay içinde kaldırılabilir. Model bozulmamıştır; hat değişmiştir. Yeni tedarikçi biraz farklı yüzey dokusuna sahip parça göndermiştir, bir lamba yaşlanmıştır, kamerayı taşıyan aparat bakım sırasında yerinden oynamıştır ve gece vardiyası aynı ürünü daha yüksek hızda çalıştırmaya başlamıştır.
Kalite muayenesi, üzerine kamera takılmış bir sınıflandırma problemi değildir. Modelin yalnızca değiştirilebilir bir bileşen olduğu operasyonel bir sistemdir. Sistemin ayakta kalıp kalmayacağını belirleyen unsurlar - optik, aydınlatma, hata tanımları, eşik politikası, güncelleme prosedürü ve operatörün sistemle aynı fikirde olmama yetkisi - büyük ölçüde daha kimse model eğitmeden önce kararlaştırılır.
Bu yazı o sistemin nasıl tasarlanacağını ele alıyor: veri toplamadan önce neyin sabitlenmesi gerektiği, görü görevinin nasıl seçileceği, çıkarımın nerede çalışacağı, yanlış kabul ile yanlış retin maliyeti farklıyken eşiğin nasıl belirleneceği ve bir pilotun hatta yer edinmek için neyi kanıtlaması gerektiği.
Görüntü Sinyali Modelden Önce Gelir
Sonraki her karar, görüntünün kalitesini miras alır. Aynı parça iki kez fotoğraflandığında belirgin biçimde farklı iki görüntü üretiyorsa, hiçbir model kapasitesi kararlı bir karar üretemez.
Dört değişken belirleyicidir.
Aydınlatma, hatanın görünür olup olmadığını belirler. Fırçalanmış metal yüzeydeki bir çizik, dağınık ışıkta görünmezken düşük açılı sıyırma ışığında bariz hale gelebilir. Karanlık alan, aydınlık alan, arkadan aydınlatma, koaksiyel ve yapılandırılmış aydınlatma farklı hata sınıflarını görünür kılar. Yanlış geometriyi seçmek, modelden hiç kaydedilmemiş bir şeyi tespit etmesini istemek demektir. Bu, yazılımda çözülebilecek bir sorun değildir.
Optik ve çalışma mesafesi, ayırt edebileceğiniz en küçük hatayı belirler. Kabul kriteri 0,2 mm'lik bir kopma ise ve nesne düzlemindeki piksel boyutu 0,3 mm ise, mimari ne olursa olsun bu gereksinim karşılanamaz. Kamera seçmeden önce gerekli çözünürlüğü en küçük hatadan ve görüş alanından hesaplayın; en küçük özelliğin karşısına tam bir piksel değil, birkaç piksel düşmesini sağlayın.
Hareket, pozlamayı belirler. Hareketli bir hatta pozlama süresi, bulanıklık çözünürlük gereksiniminin altında kalacak kadar kısa olmalıdır; bu genellikle daha parlak aydınlatmayı veya tetiğe senkronize bir flaşı zorunlu kılar. Sonradan %20 hızlanan bir hat bu bütçeyi sessizce ihlal eder.
Mekanik tekrarlanabilirlik, eğitim dağılımınızın gerçeği hâlâ tarif edip etmediğini belirler. Kamera bağlantıları kayar. Aparatlar değişir. Komşu makineden gelen titreşim tesis yüküyle birlikte değişir.
Bunun pratik sonucu şudur: görüntü elde etme için, veri toplamadan önce yazılmış bir kabul şartnamesi gerekir. Bu şartname nesne düzlemindeki gerekli çözünürlüğü, aydınlatma geometrisini, pozlama ve tetikleme şemasını ve kamera konumu için mekanik toleransı belirtmelidir. Her vardiya başında görüntülenen ve referansla otomatik karşılaştırılan bir kalibrasyon hedefi, kaymayı modele ulaşmadan yakalar.
Hata Tanımları Etiketleme İşi Değil, Veri Problemidir
Çoğu muayene veri seti tutarsızdır ve tutarsızlık genellikle etiketleyicilerden değil sahadan gelir.
Deneyimli üç muayene elemanına aynı sınırdaki parçayı derecelendirtin; sıklıkla üç farklı cevap alırsınız. Bu anlaşmazlık, ortalaması alınıp yok sayılacak bir gürültü değil, kabul kriteri hakkında gerçek bir bilgidir. İnsanlar anlaşamıyorsa, onların etiketleriyle eğitilen model çözülmemiş bir politikanın ortalamasını öğrenir ve kararları, ona güvenmesi beklenen kişilere keyfi görünür.
Etiketleme başlamadan önce hata kataloğu sıfatlarla değil fiziksel eşiklerle yazılmalıdır - "belirgin çizik" değil, "2 mm'den uzun veya sızdırmazlık yüzeyini kesen çizik". Her sınıfın sınır örnekleri olmalıdır: kabul edilebilir en büyük örnek ve reddedilebilir en küçük örnek, üretimdeki aydınlatma düzeninde fotoğraflanmış olarak.
Uyumu açıkça ölçün. İki veya üç muayene elemanına aynı 200 parçayı bağımsız olarak derecelendirtin ve ne sıklıkla eşleştiklerini hesaplayın. Bir sınıfta yaklaşık %90'ın altındaki uyum, sorunun sınıf tanımı olduğunu gösterir ve hiçbir model, insan tutarsızlığının yarattığı tavanı aşamaz.
Belirsiz örnekler kendi yolunu hak eder. İkili bir etiket dayatmak yerine bunları ikinci incelemeye yönlendirin ve sonucu kaydedin. Zamanla bunlar veri setinin en değerli parçası olur, çünkü modelin gerçekten öğrenmesi gereken sınırı tanımlarlar.
Görü Görevinin Seçilmesi
Dört formülasyon çoğu muayene problemini kapsar ve seçim hem veri maliyetini hem de hata davranışını değiştirir.
Sınıflandırma, görüntünün tamamına bir etiket atar - geçti, kaldı veya hata tipi. En az anotasyon gerektirir; herhangi bir yerdeki hata reddi gerektiriyorsa ve operatörün nerede olduğunu bilmesine gerek yoksa çalışır.
Nesne tespiti, hataların etrafına kutu döndürür. Anotasyonu daha pahalıdır ama operatöre nereye bakacağını söyler. Parça hurdaya ayrılmak yerine yeniden işlenecekse bu önemlidir ve hata konumuna göre kural uygulamanıza izin verir.
Segmentasyon, piksel bazında maske döndürür ve ölçüm yapılmasına izin verir - hata alanı, uzunluğu veya kritik yüzeydeki oranı. Kabul kriteri boyutsal olduğunda bunu seçin; çünkü eşiğin model güveni yerine milimetre cinsinden ifade edilmesine izin veren tek formülasyon budur.
Anomali tespiti, ağırlıklı olarak sağlam parçalarla eğitilir ve sapmayı işaretler. Hatalar nadir, çeşitli veya önceden tam olarak bilinmiyorsa doğru başlangıç noktasıdır - ki yeni bir ürün hattı için normal durum budur. Ödünleşme şudur: "hatalı" değil "olağandışı" raporlar, dolayısıyla bir insan karar katmanına ihtiyaç duyar ve başlangıçta daha fazla yanlış alarm üretir.
Yaygın ve savunulabilir bir tasarım bunları birleştirir: geniş ağ olarak anomali tespiti, ardından işaretlenen bölgelerde gerçek hata sınıflarını zararsız varyasyondan ayıran bir sınıflandırıcı.
Çıkarım Nerede Çalışmalı
Yerleşim bir tercih değil, gecikme ve erişilebilirlik kararıdır.
Çevrim süresinden başlayın. Muayene istasyonundan her 400 ms'de bir parça geçiyorsa ve ret aktüatörü sinyalini parça kendisine ulaşmadan 150 ms önce almak zorundaysa, tüm bütçe - tetik, yakalama, aktarım, ön işleme, çıkarım, son işleme, karar - 250 ms'dir. Sunucuya, özellikle de bir bulut bölgesine gidiş-dönüş süreleri buna nadiren sığar.
Uç (edge) çıkarım, hattın yanındaki endüstriyel PC'de veya gömülü hızlandırıcıda çalışır; gecikmeyi sınırlı tutar ve ağ çalışmadığında hattı çalışır durumda tutar. İstasyon başına maliyeti daha yüksektir, model boyutunu kısıtlar ve güncellemeyi bir filo yönetimi problemine dönüştürür.
Sunucu çıkarımı, tesis içindeki bir makinede birden fazla istasyonun GPU'sunu merkezileştirir ve güncellemeleri kolaylaştırır, ancak ağ bağımlılığı ekler. Kararın birkaç saniye sonra verilebileceği istasyonlara uygundur - örneğin anlık bir iticiyi tetiklemek yerine parçayı veritabanında sonradan ayrılmak üzere işaretlemek.
Bulut çıkarımı, çevrimdışı analiz, yeniden eğitim ve panolar için uygundur; gerçek zamanlı kararın kendisi için neredeyse hiçbir zaman uygun değildir.
İki kural çoğu tasarımda geçerliliğini korur. Çıkarım kullanılamadığında hattın tanımlı bir davranışı olmalıdır ve bu davranış bilinçli seçilmelidir: her şeyi geçir ve sonradan incelenmek üzere işaretle, her şeyi reddet ya da dur. Ve uçta çalışan her ne varsa, her kararla birlikte model sürümünü raporlamalıdır; aksi halde geçmiş bir sonucu açıklayamazsınız.
Yanlış Pozitif ile Yanlış Negatif Simetrik Değildir
İki hata tipinin maliyeti farklıdır ve bunları eşdeğer saymak muayenedeki en yaygın ölçüm hatasıdır.
Yanlış ret, sağlam bir parçayı çöpe atar. Maliyeti parça, kapasite ve - sık yaşanıyorsa - operatörlerin güvenidir. Bir istasyon "boş yere alarm veriyor" diye tanınmaya başladığında insanlar refleks olarak sistemi geçersiz kılmaya başlar ve metrikleri ne olursa olsun sistem işlevini yitirir.
Yanlış kabul, hatalı parçanın devam etmesine izin verir. Aşağı akışta maliyeti yeniden işleme, garanti talebi, geri çağırma veya bir güvenlik olayı olabilir. Birçok tesiste tek bir kaçak, bin gereksiz retten daha pahalıdır.
Bu asimetri, 0,5 eşiğine varsayılan olarak yaslanmak veya F1'i maksimize etmek yerine, açık bir maliyet oranı olarak ifade edilmeli ve karar eşiğini belirlemekte kullanılmalıdır. Bir kaçak, yanlış retten 500 kat pahalıysa çalışma noktası yüksek duyarlılık bölgesine kaymalıdır ve ortaya çıkan yanlış ret oranı, modeldeki bir kusur değil bilinçli olarak satın alınmış bir bedeldir.
Yalnızca eğriyi değil, çalışma noktasını raporlayın. Kesinlik-duyarlılık eğrisi potansiyeli tarif eder; tesis tek bir eşikte çalışır ve o eşik, maliyet varsayımları ve en son ne zaman gözden geçirildiği model sürümünün yanına kaydedilmelidir.
Güven skorunun da kalibre edilmesi gerekir. 0,9 çıktısı veren bir model, o skorda zamanın yaklaşık %90'ında haklı olmalıdır; aksi halde eşikler yeniden eğitimler arasında anlamını yitirir. Model her değiştiğinde kalibrasyonu kontrol edin ve eşiği tesisin zaten kullandığı birimlerde tutmayı tercih edin - keyfi skorlar değil, milimetre cinsinden hata boyutu.
Model Güncellemesi İçin Hat Durmaz
Üretimdeki bir görü modeli, birinin değiştirdiği bir dosya değil, geri alma yolu olan sürümlenmiş bir yapıdır.
Devreye alınan her karar; model sürümünü, ön işleme sürümünü, eşiği ve o andaki kalibrasyon durumunu taşımalıdır. Bu olmadan üç ay sonraki bir kalite incelemesi, belirli bir parçanın neden geçtiğini yeniden kuramaz.
Yeni modeller karar vermeden önce gölge modda çalışmalıdır: aynı görüntüler, kayıt altına alınan tahminler, hatta hiçbir etki yok. Gölge tahminlerin canlı veride mevcut modelle karşılaştırılması, statik bir test setinin gizlediği dağılım sorunlarını ortaya çıkarır - özellikle genel doğruluk artarken kritik bir hata sınıfındaki performansın düştüğü durumu.
Geri alma tek bir işlem olmalı ve prova edilmelidir. Gerçekçi arıza dramatik bir çökme değildir; gece vardiyasında yanlış ret oranını sessizce yükselten yeni bir modeldir ve çözümün saat 03:00'te sahada olan kişinin elinin altında olması gerekir.
Yeniden eğitim takvimle değil kanıtla tetiklenmelidir. Kullanışlı tetikleyiciler: işaretlenme oranı dağılımındaki kayma, operatör geçersiz kılmalarındaki artış, yeni bir parça varyantının veya tedarikçinin devreye girmesi ve bir sınıf sınırını değiştirmeye yetecek kadar yeni incelenmiş belirsiz örneğin birikmesi.
İnsan İncelemesi Döngüyü Kapatır
Operatör geçersiz kılmaları, sistemin ürettiği en değerli veridir ve çoğu kurulum bunları çöpe atar.
Bir operatör istasyonla aynı fikirde olmadığında; görüntüyü, modelin çıktısını, kararı, geçersiz kılmayı ve mümkünse kısa bir gerekçe kodunu kaydedin. Bu, modelin en zorlandığı vakaların sürekli tazelenen bir kümesini üretir - üstelik sistemin taklit etmesi beklenen kişilerin yargısıyla etiketlenmiş olarak.
Geçersiz kılma oranını birinci sınıf bir metrik olarak izleyin. Yükselen oran, yukarı akışta bir şeyin değiştiğinin erken uyarısıdır ve genellikle toplu kalite rakamları kıpırdamadan önce gelir. Sıfıra yakın oran da incelenmeye değer; çoğu zaman modelin mükemmelleştiğini değil, operatörlerin artık bakmayı bıraktığını gösterir.
Arayüz göründüğünden daha önemlidir. Bir itirazı kaydetmek birkaç saniyeden uzun sürüyorsa yoğun bir vardiyada bu yapılmaz ve geri bildirim kanalı sessizce kapanır.
Tesisin Önemsediği Şeyi Ölçün
Model metrikleri mühendislik toplantısına aittir. Operasyon toplantısı, tesisin zaten yönettiği rakamlara ihtiyaç duyar.
Kaçak oranı - bir sonraki aşamaya ulaşan hatalı parçalar - sistemi haklı çıkaran metriktir ve yalnızca bağımsız bir kontrolle ölçülebilir: aşağı akışta denetim örneklemesi veya müşteri iadeleri. Yanlış ret oranı doğrudan hurdaya ve verime dönüşür. Kapasite etkisi, muayenenin darboğaz haline gelip gelmediğini yanıtlar. İstasyon erişilebilirliği, hattın çalışan bir muayene kararı olmadan ne sıklıkta çalıştığını gösterir. Geçersiz kılma oranı, operatörlerin sonuca hâlâ güvenip güvenmediğini izler.
Bu rakamları devreye almadan önce belirleyin. Kurulum öncesi referans değeri olmayan bir kalite sistemi iyileşmeyi değil, yalnızca faaliyeti gösterebilir.
Bir Pilotun Kanıtlaması Gerekenler
Yalnızca yüksek bir test seti skoru gösteren pilot, asıl önemli riski azaltmamıştır.
Pilotu tek istasyon, tek ürün ailesi ve tek hata kataloğuyla sınırlayın; ancak gerçekte var olan varyasyon kaynaklarını kesecek kadar uzun çalıştırın - tüm vardiyalar, birden fazla malzeme partisi, en az bir bakım olayı ve istasyon dışarıya açıksa mevsimsel veya ortam ışığı aralığı. Tek partiyle, tek aydınlatma koşulunda üç gün çalışan bir pilot neredeyse hiçbir şeyi test etmemiştir.
Çıkış kriterlerini başlamadan önce operasyonel terimlerle tanımlayın: denetlenmiş örneklemdeki kaçak oranı, seçilen eşikte kabul edilebilir yanlış ret oranı, hat hızındaki karar gecikmesi ve çıkarım kullanılamadığındaki davranış. Hangi sonucun "bu proje devam etmemeli" anlamına geleceğini önceden mutabık kalın. Başarısız olamayan bir pilot, değerlendirme değil gösteridir.
Devir teslimi ilk günden planlayın. Sahadaki birinin istasyonu yeniden kalibre edebilmesi, kayıtları okuyabilmesi, bir modeli geri alabilmesi ve bir müşteri denetçisine kararı açıklayabilmesi gerekir. Yalnızca onu kuranların işletebildiği bir sistem, skoru ne olursa olsun üretime ulaşmamıştır.