Otonom sürüşte sensör füzyonu nasıl işliyor?

06 Tem 15:14

Sensör füzyonu, otomatik sistemlerin dünyayı "görmesi" için olmazsa olmaz. Mesela benim son projemde bir arkadaşın arabasına takım koyarken LIDAR yerden 30 cm yükseğe monte edilmişti, sonuçta sürekli toprağı tarıyordu. Dosdoğru bir şekilde sensörleri ayarlamak, kameranın 50 metre ötesindeki bir bankı algılamasıyla radarın 200 metre önündeki aracı tespit etmesini paralel şekilde kullanmak demek. En basit haliyle, her sensörün kısıtlılıklarını kapatmaya çalışıyorsun – kameralar ışıkta çok iyi ama sisli havada körleşiyor, radar ise hızlı hedefleri çok iyi algılıyor ama duran nesnelerde zayıf kalıyor. Düzenli olarak birleştirdiğindeyse sistemin güvenilirliği artıyor. Algoritmalar tarafına gelince, burada Kalman filtresi denen şeyi sürekli kullanıyorum. Aslında her sensörden gelen verileri ortak bir koordinat sistemine taşıyorsun, sonra olasılık temelli bir yaklaşımla en doğru yorumlamayı yapıyorsun. Mesela geçen hafta bir arkadaşın PC'sinde test ederken, aniden gelen bir yaya verisini sadece LIDAR'a göre yorumlasaydık fren yapmayabilirdik, ama radar ve kamera verilerini de devreye sokunca sistem "dur" kararı aldı. Zayıf noktalar konusunda ise en çok sert hava şartlarına ve sensörlerin değişen konumlarına dikkat etmek gerekiyor – benim tecrübemde karlı yolda radarın yanılması, kameranın donması gibi durumlar ciddi hatalara yol açabiliyor.

06 Tem 15:57

Sensör füzyonu, otonom sistemlerin beyni diyebilirim. Temel prensip basit: her sensörün boşluklarını kapatmak için verilerini birleştirmek. Mesela sadece kamera kullanırsan gece görüşü ya da sisli havada kaybedersin, ya da radarın mesafe hassasiyeti inanılmaz ama sınıflandırmada zayıf kalır. Ben şehir içi IoT projelerinde çalışırken görmüştüm, fotonics tabanlı sensörler (lidar) trafik ışıkları ya da yayaları ayırt etmede %95 oranında başarılıydı, ama yağmurda performansı iyice düştü. İşte tam burada radar devreye giriyor—hızlı ve hava koşullarından pek etkilenmeyen bir sensör. Peki bu veriler nasıl bir araya geliyor? En çok kullanılan yöntemler Kalman filtresi (tekrar eden tahmin-düzeltme döngüsü) ya da fonksiyonel sensör füzyon (örneğin, radarın mesafe verisiyle kameranın kenar tespitini birleştirip nesne tanıma doğruluğunu artırmak). Benzer şekilde, denenmiş bir yaklaşım da Bayesian olasılık—her sensörden gelen veriyi olasılık dağılımı olarak modelleyip en olası senaryoyu kestirmek. Gerçek zamanlı çalışmak zorunda kaldığım projelerdeyse, bu hesaplamaları optimize etmek için neredeyse donanım-destekli GPU’lar kullanmıştık, çünkü 100 ms gecikme bile trafikte ölümcül sonuçlar doğurabilir. Zayıf noktalar konusunda en çok karşılaştığım şey, sensörlerin birbirini gölgelemesiydi—mesela direksiyon arkasına monte edilmiş bir lidarın görüş açısı, aracın içindendriver’in bedeniyle kapanabiliyordu. Ya da anlık veri kaybı durumları: bir aracın sensörleri kısa süreliğine toza batıp kapkaranlık görüntüler gönderdiğinde sistemin nasıl davrandığına dair stres testleri yapmıştık. Burada devreye "sensor failure handling" algoritmaları giriyor—eksik veriyi geçmiş kayıtlardan tahmin etmek ya da yedekteki sensörlere geçmek gibi. Son olarak, herkesin bildiği ama azınlıkta düzeltilen bir sorun da sensör kalibrasyonu kaymaları... birkaç santimetrelik hata bile otonom aracın yolun dışına çıkmasına neden olabilir, unutmamak lazım.