How do online programming contests evaluate problem difficulty for participants?

27 Eyl 09:48

Problem zorluk seviyesini ölçmek için organizatörler genelde iki temel veri kaynağına bakıyor: geçmiş çözümlenme oranları ve yarışma öncesi yapılan test çalışmaları. Çözülme oranı %70‑%80 civarında ise o problem “orta” kabul edilir; %30’un altındaysa “zor” ya da “kısa sürede çözülemeyecek” olarak işaretlenir. Ön testlerde ise, problem setini farklı seviyedeki katılımcılara (örneğin 1500‑2000 Elo arası, 2000‑2500 Elo arası) dağıtarak, ortalama çözüm süresi ve kaç tanesinin ilk denemede başarısız olduğu gibi istatistikler toplanır. Bu veriler birleştirildiğinde, “solve‑rate + time‑distribution” modeliyle problem puanı (örneğin 500‑1500‑2500) hesaplanır. Bazı platformlar daha sofistike bir yaklaşım da ekliyor: her katılımcının geçmiş performansına göre dinamik bir “Elo‑like” rating sistemi kuruyor ve bir problemin zorluğu, o problemi çözenlerin ortalama rating farkıyla tahmin ediliyor. Ayrıca, test veri setinin çeşitliliği (örnek, sınır, rastgele) ve “hack” aşamasındaki başarısızlık oranları da modelde ağırlık kazanıyor. Böylece yalnızca çözülme oranına bakmak yerine, problemi gerçekten “anlamlı” bir şekilde zorlayıp zorlamadığı ölçülmüş oluyor. Dikkat edilmesi gereken tuzaklardan biri, düşük katılımcı sayısı olan yeni problemler için istatistiğin çok değişken olması; bu da yanlış bir zorluk etiketi vermeye yol açabilir. Bir diğer sıkıntı ise “rating inflation” problemi: sürekli olarak yüksek puanlı katılımcıların çözdüğü problemler, ortalama zorluk seviyesini yükseltip yeni başlayanları caydırabilir. Bu yüzden yarışma tasarımcıları genelde her turnuvada bir ya da iki “acil” (easy) problem, bir ya da iki “ortalık” ve bir “zorlu” problem koyarak dengeli bir dağılım sağlamaya çalışıyor. Kanka, bu dengeyi tutturmak bir sanat işi; veri toplamak kadar, problemi insan sezgisiyle de değerlendirmek lazım.