Jonbar'ın haklı olup olmadığını nasıl bileceğiz.

Test vakası, sonucu kamuya açık, gerçek ve geçmişte kalmış bir ticari karardır: bir fiyat değişikliği, bir kampanya mekaniği, bir lansman fiyatı. En az iki seçeneği olmalı (yapılan karar ve alternatifi) ve sonucu adet, ciro veya marj gibi adı belli bir metrikte açıklanmış olmalı.

1. 01

   Böl ve mühürle.

   Vakayı ikiye böleriz: karardan önce bilinenler ve sonuç. Sonucu mühürleriz; yalnızca parmak izini (hash) saklarız.

2. 02

   "Önce" kısmında oynat.

   Motoru yalnızca "önce" kısmında, sabit bir sürümle oynatırız.

3. 03

   Tahmini kilitle.

   Tahmini, sonucu kimse açmadan önce sürümü ve seed'leriyle birlikte kaydederiz.

4. 04

   Aç ve puanla.

   Sonucu açar, yönü ve sapmanın büyüklüğünü puanlarız. Bundan sonra motorda yaptığımız her değişiklik yeni bir denemedir; onu yeni mühürlü vakalarda test ederiz.

5. 05

   "Söyleyemem" yanlış sayılır.

   Zor vakaları atlayarak iyi puan alamazsın.

• +Yön: gerçekten daha iyi sonuç veren seçeneği mi seçtik?
• +Iskalamanın büyüklüğü: tahmin ettiğimiz etki gerçek etkiden yüzde puan olarak ne kadar uzaktı?

İkisini de her zaman birlikte veririz, hiçbirini tek başına göstermeyiz. Yön tek başına zayıf bir çıta: basit kurallar bile çoğu zaman doğru tahmin eder.

• +Ders kitabı kuralı: fiyat artarsa adet düşer; indirim artarsa satış artar.
• +Sabit bir ortalama esneklik.
• +Simülasyon yapmadan yalnızca "hangi seçenek kazandı?" diye soran düz bir yapay zekâ dil modeli (planlandı, devreye girince ölçülecek).

Jonbar'ın puanını aynı vakalarda onlarınkiyle yan yana veririz. Yalnızca fark istatistiksel olarak anlamlıysa "daha iyi" deriz.

İlk mühürlü test seti küçük olacak; bu yüzden ilk sayı kanıt değil, kaba bir sinyal olacak. Bunu, olası aralığıyla birlikte sonucun yanında açıkça yazarız.

Pilotta geçmiş kampanyalarından birini seçeriz. Yalnızca kampanya başlamadan önceki veriyi görürüz, tahminimizi kilitleriz, sonra gerçekte olanla karşılaştırırız. Türk pazaryeri verisinde isabeti de böyle ölçeceğiz; bu ölçüm henüz yapılmadı.

Her prova, sonucu için bir aralık gösterir. Bu aralık, modelin kendi varsayımları altındaki yayılımdır; gerçeğin o aralığa düşme olasılığı değildir. Kör test yayımlandığında gerçek sonuçların bu aralıklara ne sıklıkla düştüğünü söyleyeceğiz.

Sonucu, iyi ya da kötü, aynen yayımlarız: yön puanı, medyan sapma, gerçek sonuçların aralıklara ne sıklıkla düştüğü, basit kural puanları ve yüksek güvenle yapılıp tutmayan her tahmin, vaka adıyla.