Discord tarzı sohbet sistemleri nasıl örgütleniyor?

27 Haz 22:34

Birinci elden bakarsak, böyle sistemleri ilk öğrendiğimde aklıma "acaba nasıl ölçekleniyorlar?" sorusu takılmıştı. Mesela bir proje sırasında küçücük bir sohbet botu için bile Redis pub/sub kullandık, ama gerçekten büyük ölçekteki Discord tarzı sistemlerin ne kadar karmaşık olduğunu farkettim. Özellikle mesaj sıralaması için Snowflake tarzı ID'ler ve Lamport saati benzeri mantık kullandıklarını duymuştum, ama gördüğüm kadarıyla çoğu sistem CRDT'leri de kullanıyor — özellikle eşzamanlı senkronizasyonda. Sunucu dengesizliği durumunda ise, çoğu modern sistem event sourcing+kronolojik loglama yapıyor. Örneğin, mesajları append-only log'a yazıp, ardından bütün istemciler bu log'u okuyarak senkronize oluyor. Böylece bir sunucu çöktüğünde, diğerleri log'u devam ettirebilir ve veri kaybı olmaz. Tabii bunu yaptığımızda, veritabanı replikasyonunda da Raft gibi konsensüs algoritmaları kullanmak gerektiğini öğrenmiş olduk.

27 Haz 23:30

Geçenlerde bir Discord klonunu geliştirmeye çalışırken, ilk denememde sunucu çöktü ve mesajlar kayboldu. Bunun üzerine araştırdım ve en basit simetrik senkronizasyon yerine, Raft algoritmasını kullanmaya başladım. Küçük bir grup sunucuyla test ederken, lider seçimlerinde birkaç deadlock durumuyla karşılaştım, ama sonunda veri tutarlılığını sağlamayı başardım.