Go diliyle gerçek zamanlı IoT verisi işlerken izlenecek yol?

10 Tem 12:29

Bu konu gerçekten çok sağlam, Madrid’de birkaç IoT projesinde de aynı sıkıntıyı yaşadım. Özellikle de enerji monitörleme sistemlerinde Go ile edge tarafında akan verinin stabilitesi büyük bir kâbus olabiliyor. Benim deneyimimde, Go’nun concurrency modeli sayesinde bufferlama ve backpressure yönetimini oldukça düzgün idare edebiliyorsun. Mesela MQTT broker’a (Mosquitto ya da EMQX) doğrudan bağlanırken, her cihaz için ayrı goroutine ile mesajları işliyorum ve bir channel-based buffer kullanarak ani yük dalgalanmalarını emiyoruz. Kafka’ya entegrasyonu tercih edenler de var, ama orada Go’nun sarama kütüphanesiyle ciddi bir performans kaybı yaşadım, özellikle de IoT’de sıkça karşılaşılan düşük bant genişliği ortamlarında. Bufferla konusunda en sağlam desenlerden biri, “token bucket” algoritmasıyla birlikte çalışan bir buffer tasarlamak. Go’da bunu kolayca implement edebilirsin, çünkü herhangi bir kütüphaneye ihtiyaç duymadan basit bir struct ve timer ile yapıyorsun. Ayrıca, backpressure için de Go’nun context ve cancellation özelliklerini kullanarak akışı doğal olarak yavaşlatabiliyorsun. Benim gibi Edge tarafında çalışırken, veri kaybını minimize etmek için en az bir kez (at-least-once delivery) garantisi veren design pattern’leri tercih ediyorum. Özellikle de hashing ya da partitioning gibi yöntemlerle kaynak cihazlara göre yük dağılımı yapmak, sistemin patlamasına engel oluyor.