Google yaygın bir kullanıma sahip olan internet tarayıcısı benchmark testi Octane’a olan desteğini sonlandırdı. Şirket, bu testin web performansına zararlı hâle geldiğine karar verdikten sonra bu kararı verdi.
Söz konusu benchmark testi 2012 yılından bu yana, web’in temel bileşenlerinden olan JavaScript’in bir tarayıcıda ne kadar iyi şekilde anladığını belirlemek isteyen geliştiriciler tarafından yaygın şekilde kullanılıyordu.
Tarayıcılar bu testte giderek daha iyi performans gösterdikçe, Google bir şeyi farketti. O da yüksek Octane puanları elde eden JavaScript optimizasyonlarının gerçek dünya senaryolarında ara sıra zararlı etkilere yol açtığıydı.
Bunun nedenlerinden bir tanesi, testin web’in beş yıl önceki durumuna göre tasarlanmış olmasıydı. İnternet tarayıcıları şimdilerde Octane’ın test için tasarlandığı şartları ölçme konusunda daha yüksek verimlilik gösteriyor. Ayrıca web siteleri de farklı yollarla tasarlanmaya başladı.
Google’ın belirttiğine göre Octane, modern web’in önemli kullanım durumlarını yakalamakta başarılı değil ve sıklıkla gerçek dünya kodlarının işlediği şekilde çalışmıyor.
Üstelik geliştiriciler de bu testte yüksek puan elde etmek için açık şekilde hile yapmaya başlamıştı. Böylelikle gerçek kullanım koşullarında kötü performans göstermesine rağmen kod optimizasyonları testte yüksek sonuç veriyordu. Google’ın verdiği bir örneğe göre, geliştiriciler bir hatadan faydalanarak Octane’da yüzde 15’lik performans artışı elde edebiliyordu. Halbuki bu durumun gerçeğe yansıma sıfır düzeyindeydi.
Ayrıca test, gerçek koşullarda iyi performans verecek bazı optimizasyonları cezalandırıyor, bu nedenle geliştiricileri daha kötü JavaScript motorları geliştirmeye yöneltiyordu.
Tüm bu nedenlerden dolayı, Google Octane’a olan desteğini sonlandırıyor. Geliştiricilere de, tüm benchmark testlerini kullanırken dikkatli olmaları tavsiyesinde bulunuyor. Chrome’un JavaScript motorunun arkasındaki ekip, benzer sorunların diğer statik veya sentetik benchmark testlerinde de gözlenebildiğini dile getiriyor.
Ekip, bu sorunun sadece Octane’e özgü olmadığı konusunda haklı. Benchmark araçları yardımcı olsa da, kullanışlılıkları konusunda, özellikle yaşları arttıkça, bir üst sınır oluyor.
Benchmark testleriyle ilgili bir tartışma 2013 yılında da yaşanmış, bazı Android cihaz üreticilerinin telefonlarını, benchmark testlerinde daha yüksek puan gösterecek şekilde ayarladığı, böylelikle tüketicilere telefonlarının normalde olduğundan daha yetenekli olduğu izlenimi verildiği ortaya çıkarılmıştı.
Google, benchmark testlerinin bir kenara atılması gerektiğini söylemiyor. Ancak bu duyurusu benchmark testlerinin kullanışlılığını bir süre sonra yitirdiği noktasında önemli bir hatırlatıcı vazifesi görüyor.
