GecikmevsThroughput

Gecikme beklemeyi ölçer: bir düğmeye tıklamakla yanıtı görmek arasındaki milisaniyeler ya da bir paketin İstanbul'dan Frankfurt'a yolculuğu. Throughput ise hacmi ölçer: bir sunucunun saniyede kaç isteği tamamladığı ya da bir hattın saniyede gerçekte kaç megabit taşıdığı. Bir otoyol benzetmesi işe yarar: gecikme tek bir arabanın yolculuğu ne kadar sürede tamamladığı, throughput ise saatte kaç arabanın geçtiğidir.

İkisi ilişkilidir ama birbirinden bağımsızdır. Bir uydu bağlantısının throughput'u yüksek ama gecikmesi de yüksek olabilir; az yüklü bir sunucu hızlı yanıt verebilir ama aynı anda az sayıda isteği ele alabilir. Yük altında birbirini etkilerler: bir sistem en yüksek throughput'una yaklaştıkça kuyruklar oluşur ve gecikme keskin şekilde yükselir; yük testleri bunu yanıt sürelerinin yukarı kıvrıldığı nokta olarak ortaya çıkarır.

Farklı yollarla iyileştirilirler. Gecikme, CDN'ler ve edge sunucular gibi daha kısa mesafelerle, daha az gidiş-dönüşle, daha hızlı kod yollarıyla ve önbelleklemeyle düşer. Throughput ise daha fazla paralellikle, toplu işlemeyle, daha fazla örnekle, daha iyi donanımla ve kilitler ya da yavaş sorgular gibi darboğazları kaldırarak artar. Bazen ödünleşirler: toplu işleme throughput'u artırır ama tek tek öğeleri bekletir.

Sık yapılan bir yanlış, bant genişliğinin, throughput'un ve gecikmenin hız denen tek bir şey olduğunu düşünmektir. Bant genişliği bir hattın en yüksek kapasitesi, throughput gerçekte ulaşılan değer, gecikme ise beklemedir. Büyük dosyaları indirmek için hızlı olan bir bağlantı, gecikmesi yüksekse oyunlarda ya da görüntülü aramalarda yine yavaş hissettirebilir.