R-CNN nesne önerilerini (object proposals) sınıflandırmak için derin evrişim ağlarını kullanıyordu. Bu konuda da doğruluk açısından oldukça başarılıydı ancak iyi olduğu kadar eksikleri de vardı. Bu eksikleri gidermek için çözüm olarak Fast R-CNN algoritması 2015 yılında Ross Girshick tarafından piyasaya sürüldü. Fast R-CNN ‘nin nasıl bir yapısının olduğuna bakmadan önce Fast R-CNN’nin ortaya çıkmasına sebep olan R-CNN algoritmasının eksiklerine hep birlikte bakalım.
- Eğitim çok aşamalıdır. R-CNN, ilk olarak log kaybını kullanarak (logg loss) nesne önerilerindeki evrişim ağları özelliklerine ince ayar yapar. Sonra SVM’leri evrişim ağları özelliğine uyarlar. SVM’ler ince ayar ile öğrenen softmax sınıflandırmanın (softmax classifier) yerini alarak nesne dedektörü gibi hareket eder. Eğitim sürecinin üçüncü aşamasında ise sınırlayıcı kutu regresörleri (bounding box regressor) öğrenilir.
- Eğitim mekana ve zamana göre pahalıdır. SVM ve sınırlayıcı kutu regresör (bounding box regressor) eğitimini yapmak amacıyla her görüntüdeki her nesne önerisi için özellik çıkarılır ve diske yazılır.
- Nesne bulma (objcet detection) işlemi yavaştır. Test zamanı her bir test görüntüsündeki nesne önerisinden özellikler çıkarılır. VGG16 ile nesne bulma görüntü başına 47 saniye sürer. (İşlem GPU’da gerçekleşirse)
Peki Fast R-CNN’de bu dezavantajlar tamir edilmiş miydi? Tabi ki EVET!
- Öncelikle R-CNN’den daha yüksek algılama kapasitesine sahiptir.
- R-CNN’deki üç aşamalı eğitime göre buradaki eğitim tek aşamalıdır. Eğitimin tek aşamalı olmasını çoklu iş kaybı (multi-task loss) sağlar.
- Eğitim tüm ağ katmanlarını güncelleyebilme yeteneğine sahiptir.
- Özelliği ön belleğe almak için diske ihtiyaç yoktur.
Şimdi de Fast R-CNN’yi inceleyelim. Fast R-CNN derin evrişimsel ağlar kullanarak nesne önerilerini (object proposals) sınıflandıran özel bir mekanizmaya sahiptir. Fast R-CNN ağı, bir küme nesne önerisi (object proposal) ve bir giriş görüntüsünü girdi olarak alır. Ağ öncelikle, tüm görüntüyü birkaç evrişim ve maksimum havuzlama (max pooling) katmanları ile evrişimli özellik haritaları (feature maps) üretmek için işler. Sonra RoI pooling (bölge önerisi havuzlama) katmanı özellik haritasından (feature map) sabit uzunlukta bir özellik vektörü (a fixed-length feature vector) elde eder.
Her bir özellik vektörü, sonunda iki kardeş çıktı katmanına ayrılan daldan oluşan bir dizi tam bağlı katmanlardan (fully connected layers) beslenir. Bu kardeş katmanlardan biri K sayıda nesne sınıfını ve hepsini yakalayan bir arka plan sınıfı tahmin eden softmax olasılığını üretir. Bir diğer kardeş çıktı katmanı ise her bir K sayıda nesne sınıfları için dört gerçek değerli sayılar çıktısı üretir. Her bir dört değerli küme K sınıflarından biri için sınırlayıcı kutu (bounding box) pozisyonlarını şifreler.
Fast R-CNN mimarisini birkaç adımda bakalım.
- Öncelikle tüm görüntü CNN katmanında işlenerek görüntünün özellik haritasının elde edilmesi sağlanır.
2. Her bölge önerisi için özellik haritasından karşılık gelen kısım çıkarılır. Özellik haritasından (feature map) bölge öneri özellik haritası (region proposal feature map) alınarak maksimum havuzlama (max pooling) ile sabit bir boyutta yeniden boyutlandırılır. Bu kısım RoI Pooling’dir.
3. Sabit boyutlu bölge öneri özellik haritası düzleştirilerek aynı boyuta sahip bir özellik vektörüne dönüştürülür.
4. Özellik vektörü son kısmın girdisidir. Son kısım yazının ortalarında da bahsetmiş olduğum iki çıktıya sahip olan tam bağlı katmanlardır. Bu katmanlardan birisi softmax sınıflandırma (classifier) katmanıdır. Burası nesne sınıfının nerede bulunacağına karar verilen kısımdır. Bir diğer katman ise sınırlayıcı kutu regresörü (bounding box regressor) her bir nesnenin sınırlayıcı kutu koordinatlarının belirtildiği yerdir.