Vivo telefonların son modellerinde gördüğümüz AI destekli kamera modlarını merak ediyorum. Özellikle sahne tanıma, portre ışıklandırma ve gece modu gibi özelliklerin arka planda hangi algoritmalarla çalıştığını öğrenmek istiyorum. Bu süreçte fotoğraf işleme pipeline'ı, makine öğrenmesi modelleri ve donanım entegrasyonu nasıl gerçekleşiyor? Kanka, siz de bu konularda bir şeyler biliyorsanız, kaynak önerileri ya da basit bir açıklama paylaşır mısınız? Birlikte araştırıp öğrenelim!
Vivo'nun yeni kamera özellikleri nasıl çalışıyor ve geliştirme potansiyeli?
👁️ 0 görüntüleme💬 2 cevap❤️ 0 beğeni
2 Cevap
Vivo’nun son modellerinde “AI‑Scene Detection”, “Portrait Lighting” ve “Night Mode” gibi modlar, temel olarak üç aşamalı bir fotoğraf işleme hattı üzerinden çalışıyor: **ön‑işleme → model‑tabanlı tahmin → post‑processing**. İlk aşamada görüntünün RAW verisi, sensör‑optimizasyonu (gürültü azaltma, dinamik aralık genişletme) ve renk düzeltmesi gibi temel işlemlerle hazırlanır. Bu ham veri, Qualcomm’in Snapdragon ISP ya da MediaTek’in ISP gibi donanım‑hızlandırılmış bloklardan geçerken aynı anda düşük‑güçli bir NPU’ya (Neural Processing Unit) yönlendirilir; burada eğitilmiş konvolüsyonel sinir ağları (CNN) sahne sınıflandırması ve nesne tanıması yapar. Örneğin, bir manzara fotoğrafı tespit edildiğinde “Landscape” sınıflandırması tetiklenir ve renk‑ton ayarları, HDR‑fusion ve gökyüzü iyileştirme gibi modüller devreye girer.
Portre modunda kullanılan **portrait‑lighting** algoritması, iki‑aşamalı bir derinlik haritası üretir. Önce, stereo‑parallax veya LiDAR‑benzeri zaman‑uçuş (ToF) sensörlerinden elde edilen derinlik haritası, ardından bir çok‑ölçekli U‑Net mimarisiyle incelenerek yüz‑ve‑arka plan ayrımı yapılır. Bu harita üzerinden ışık kaynağı yönü tahmin edilir ve yapay bir “rembrandt” ya da “studio” ışık efekti, gölgeler ve vurgulara göre ışık haritası üzerinde **render‑time shading** uygulanır. Gece modunda ise birden fazla düşük‑gözetimli (long‑exposure) çerçeve birleştirilir; burada NPU, **Burst Denoising** ve **Computational Night Enhancer** adıyla bilinen bir GAN‑temelli süreci yürütür. Bu ağ, düşük ışıkta kaybolan detayları geri getirirken renk sapmasını minimuma indirir, sonrasında ise ISP üzerinden kontrast ve renk dengesi ayarları yapılır.
Donanım entegrasyonu açısından, Vivo’nun AI‑Camera çipi (örneğin X‑Series NPU) modeli, **TensorFlow Lite** ve **Caffe2** gibi mobil optimizasyonlu çerçevelerle derlenmiş **quantized** (8‑bit) ağı çalıştırır; bu sayede milisaniye bazında gerçek‑zamanlı tahminler elde edilir. Model güncellemeleri ise OTA (Over‑The‑Air) güncellemeleriyle, yeni sahne sınıfları ve ışık senaryoları eklenerek düzenli olarak yenilenir. Bu mimari, hem enerji tüketimini düşük tutar hem de görüntü kalitesinde GPU‑tabanlı çözümlere göre %30‑40 daha hızlı sonuç verir.
İlgileniyorsanız, **“Mobile AI Camera Architecture: From ISP to NPU”** başlıklı Google‑AI blogu ve Qualcomm’un **“Snapdragon Camera 2.0”** whitepaper’ı iyi bir başlangıç olur. Ayrıca, GitHub’da **OpenCV‑AI‑Pipeline** örnek projesi, benzer bir fotoğraf işleme hattını açık kaynak koduyla incelemenize imkan verir. Bu kaynakları inceleyerek, Vivo’nun AI‑tabanlı kamera modlarını kendi deneme ortamınızda taklit edebilir ve belki yeni bir model önerisi geliştirebilirsiniz.
Vivo’nın AI‑destekli kamera modları genellikle üç aşamalı bir pipeline üzerinden çalışıyor: ön‑işleme, sahne‑tanıma/portre‑aydınlatma ve post‑processing. Ön‑işlemede RAW veriyi 12‑bit ya da 14‑bit’tan 8‑bit’e dönüştürürken, HDR‑fusion ve gürültü azaltma için mobil‑optimize edilmiş bir CNN (örneğin MobileNet‑V2 tabanlı bir model) kullanılıyor. Bu model, sahne tanıma adımına geçmeden önce fotoğrafın aydınlık, renk ve kontrast özelliklerini hızlıca analiz edip “gece”, “portre” ya da “manzara” gibi sınıfları seçiyor.
Portre ışıklandırma ve gece modu ise iki farklı mikro‑modelle destekleniyor. Portre ışıklandırmada, yüz‑yüz derinlik haritasını çıkartan bir “depth‑estimation” ağından elde edilen bilgiyle arka planı bulanıklaştırıp, ışık kaynağını sanal bir spot‑light gibi ekliyor. Gece modunda ise uzun pozlama fotoğrafını birden fazla kısmi kareye bölüp, her bir kareyi sırasıyla düşük ışık gürültüsü azaltma (Denoising) ve süper‑resolution (ESRGAN‑benzeri) ağlarıyla işliyor, ardından birleştiriyor. Bu ağların çoğu TensorFlow Lite ya da Qualcomm‑Snapdragon’ın Hexagon DSP’sinde yürütülerek, CPU‑yükünü minimumda tutuyor.
Donanım entegrasyonu açısından, bu algoritmalar Snapdragon 8‑Gen 2’nin 4‑Kamera ISP’si ve Neural Processing Engine (NPE) ile sıkı bir şekilde senkronize. ISP, RAW veriyi doğrudan NPE’ye iletirken, NPE da yüz‑tanıma, sahne‑tanıma ve düşük ışık iyileştirme gibi işlemleri 10‑15 ms gibi çok kısa bir sürede tamamlayabiliyor. Bu da gerçek‑zamanlı bir ön‑izleme deneyimi sağlıyor.
Peki, bu modellerin ağırlıkları cihaz içinde ne kadar yer kaplıyor? Eğer model boyutu %30 artırılsa, fotoğraf çekme gecikmesi artar mı, yoksa DSP optimizasyonlarıyla yine aynı hızda kalabilir miyiz? Bu noktada model sıkıştırma (pruning, quantization) tekniklerini de göz önünde bulundurmak önemli.