Oʻzini aldamasdan A/B test: shovqinni «gʻalaba»ga aylantiradigan xatolar

Nega A/B test umuman aldashi mumkin

Statistik test tor savolga javob beradi: agar farq aslida boʻlmaganida, kuzatilgan farq qanchalik gʻayrioddiy boʻlardi. Ahamiyatlilik darajasi — bu oldindan qabul qilingan yolgʻon signallar ulushi. 0,05 chegarasida, taʼrifga koʻra, real taʼsiri yoʻq taxminan har yigirmanchi test baribir «ahamiyatlilik» koʻrsatadi.

Jarayon halol boʻlsa, bu usulning odatiy narxi. Muammo tahlilchi yoki jamoa urinishlar sonini sezdirmay oshirganda boshlanadi: natijaga koʻp marta qarash, metrikalarni saralash, maʼlumotni segmentlarga boʻlish. Har bir taqqoslash alohida toʻgʻri, lekin birgalikda ular yoʻq narsani topishni kafolatlaydi.

Atamalarning qisqa lugʻati

A/B test natijalari haqidagi bahslarning yarmi ishtirokchilar bir xil soʻzlarni turlicha tushunishidan kelib chiqadi. Xatolarni koʻrib chiqishdan oldin atamalar haqida kelishib olamiz — ular keyingi barcha boʻlimlarda kerak boʻladi.

• Nol gipoteza — oʻzgarish hech narsaga taʼsir qilmaydi degan taxmin. Test undan voz kechish uchun maʼlumot yetarlimi, shuni tekshiradi.
• p-value — nol gipoteza toʻgʻri boʻlgan holda xuddi shunday yoki undan kuchliroq farqni koʻrish ehtimoli. Bu B varianti yaxshiroq ekanligi ehtimoli emas.
• Ahamiyatlilik darajasi (α) — ishga tushirishdan oldin tanlangan p-value chegarasi; oldindan qabul qilingan yolgʻon signallar ulushi.
• Quvvat — belgilangan kattalikdagi taʼsir haqiqatan mavjud boʻlsa, uni aniqlash ehtimoli.
• MDE, minimal aniqlanadigan taʼsir, — test ishonch bilan sezishi kerak boʻlgan va biznes uchun maʼnoga ega metrikaning eng kichik oʻzgarishi.
• Ishonch oraligʻi — maʼlumotlarga mos keladigan taʼsir qiymatlari diapazoni; uning kengligi bahoning aniqligini koʻrsatadi.
• Randomizatsiya birligi — guruhlarga tasodifiy taqsimlanadigan narsa: foydalanuvchi, sessiya, buyurtma, doʻkon, shahar.
• SRM — guruhlarning amaldagi nisbati rejalashtirilganidan farq qilishi, texnik nosozlik belgisi.
• CUPED — test boshlanishidan oldingi oʻsha foydalanuvchi maʼlumotlaridan foydalanib, metrika tarqoqligini kamaytirish usuli.

Test rejasi: ishga tushirishdan oldin nimani hal qilish kerak

Ushbu maqoladagi deyarli har bir xatoning oldini bitta hujjat oladi — boshlanishdan oldin yozilgan tajriba rejasi. Uning vazifasi — jamoadan qoidalarni koʻrilgan maʼlumotlarga moslashtirish imkoniyatini olib qoʻyish. Reja uzun boʻlishi shart emas, lekin unda doimo bir xil savollarga javob boʻlishi kerak.

1. 01Gipoteza: nimani, kimda oʻzgartiramiz, bu qaysi metrikaga taʼsir qilishi kerak va nega shunday deb oʻylaymiz.
2. 02Asosiy metrika va uni hisoblashning aniq formulasi: surat, maxraj, kuzatuv oynasi.
3. 03Asosiysi oʻssa ham, yomonlashuvi keng joriy etishni toʻxtatadigan himoya metrikalari.
4. 04Randomizatsiya birligi va tahlil birligi.
5. 05Minimal taʼsir, ahamiyatlilik darajasi, quvvat va ular asosida hisoblangan tanlanma hajmi.
6. 06Toʻliq haftalardagi muddat va toʻxtatish qoidasi: belgilangan muddat yoki ketma-ket usul.
7. 07Maʼlumotlarni tozalash qoidalari: kimni chiqarib tashlaymiz (xodimlar, botlar, test akkauntlari) va chetga chiqqan qiymatlar bilan qanday ishlaymiz.
8. 08Qaror mezoni: oʻsish, pasayish va neytral natijada nima qilamiz.

Rejaning namunaviy misoli

Buyurtmani rasmiylashtirish shaklini soddalashtirmoqchi boʻlgan shartli internet-doʻkonni tasavvur qilaylik: majburiy boʻlmagan maydonlarni olib tashlash va yetkazib berishni tanlashni bitta ekranga oʻtkazish. Gipoteza: qadamlar kamroq — tashlab ketilgan savatlar kamroq. Asosiy metrika — rasmiylashtirishni boshlagan va toʻlovni yakunlagan foydalanuvchilar ulushi. Himoya metrikalari — bekor qilingan buyurtmalar va yetkazib berish haqida qoʻllab-quvvatlash xizmatiga murojaatlar ulushi: agar shakl soddalashgan, lekin odamlar manzilda koʻproq xato qilsa, yutuq yolgʻon.

Randomizatsiyani tashriflar emas, foydalanuvchilar boʻyicha qilamiz, chunki buyurtma koʻpincha bir necha kirishda rasmiylashtiriladi. Minimal taʼsirni jamoa yangi shaklni ishlab chiqish va qoʻllab-quvvatlashni qanday oʻsish qoplashidan kelib chiqib tanlaydi va shu boʻyicha tanlanma hajmini hisoblaydi. Agar hisob kerakli trafikni juda uzoq kutish kerakligini koʻrsatsa, bu boshlanishdan keyin emas, oldin muhokama qilinadi. Qaror qoidasi oldindan yozilgan: faqat asosiy metrika ahamiyatli oʻsganda va himoya metrikalari yomonlashmaganda keng joriy etamiz.

1-xato. Oraliq natijaga qarash va erta toʻxtatish

Eng keng tarqalgan xato — p-value qiymatini har kuni kuzatib, u chegaradan pastga tushishi bilan testni toʻxtatish. Har bir bunday qarash tasodifiy sakrashni ushlashga yana bir urinish, shuning uchun yolgʻon signallarning real ulushi eʼlon qilingandan sezilarli yuqori boʻladi. Test boshida p qiymati ayniqsa beqaror: maʼlumot kam boʻlganda u sakrab turadi.

Yechim ikkita. Birinchisi — tanlanma hajmi va muddatini oldindan hisoblab, qarorni faqat oxirida qabul qilish. Ikkinchisi — boshidanoq koʻp marta koʻrishga moʻljallangan ketma-ket usullardan foydalanish: chegaralari tuzatilgan guruhli ketma-ket rejalar yoki «har doim toʻgʻri» p-value. Yondashuvlarni aralashtirib boʻlmaydi: p boʻyicha har kuni toʻxtatiladigan klassik test endi klassik test emas.

Muddatni toʻliq haftalarda belgilash maqsadga muvofiq. Foydalanuvchilar ish kunlari va dam olish kunlari turlicha harakat qiladi, hafta oʻrtasida toʻxtatilgan test esa toʻliq boʻlmagan sikllarni taqqoslaydi.

Nega tez-tez koʻrish xulosani shunchalik buzadi

Tanga tashlab, har tashlashdan keyin gerb «shubhali darajada koʻp» tushmadimi, deb tekshirayotganingizni tasavvur qiling. Yetarlicha tez-tez tekshirsangiz, ertami-kechmi tasodifiy seriya tasodifiy emasdek tuyuladi. p-value bilan ham xuddi shunday: test davomida u tebranib turadi va har kuni koʻrilganda chegarani hech boʻlmaganda bir marta kesib oʻtish ehtimoli oldindan tanlangan kunda chegaradan past boʻlish ehtimolidan ancha yuqori. Maʼlumotlarga qarash mumkin va kerak — nosozliklarni nazorat qilish uchun, — lekin taʼsir boʻyicha qaror faqat rejadagi qoidaga koʻra qabul qilinadi.

2-xato. Kichik tanlanma va past quvvat

Quvvat — agar taʼsir haqiqatan mavjud boʻlsa, uni sezish ehtimoli. Kichik tanlanmadagi test nafaqat real yaxshilanishlarni oʻtkazib yuboradi: baribir ahamiyatli chiqqan natijalar muntazam ravishda oshirib koʻrsatiladi. Kam maʼlumotda faqat katta taʼsir ahamiyatli boʻla oladi, shuning uchun «gʻalaba» deyarli har doim keng joriy etilgandan keyingidan kattaroq koʻrinadi.

Ishga tushirishdan oldin toʻrtta kattalikni aniqlash kerak: metrikaning bazaviy qiymati, biznes uchun maʼnoli boʻlgan minimal taʼsir, ahamiyatlilik darajasi va kerakli quvvat. Ular asosida zarur hajm hisoblanadi. Agar bu hajmga oqilona muddatda erishib boʻlmasa, halol variantlar kam: jasoratliroq oʻzgarishni sinash, sezgirroq metrika tanlash, CUPED kabi usullar bilan dispersiyani kamaytirish yoki testni umuman oʻtkazmaslik.

3-xato. Koʻp metrika va koʻp kesim

Yigirmata metrikani alohida-alohida tekshirsangiz, ulardan biri tasodifan «ahamiyatli» chiqishi mumkin. Segmentlarda ham xuddi shunday: yangi va eski foydalanuvchilar, platformalar, shaharlar, kanallar. Kesimlar qancha koʻp boʻlsa, «B varianti dam olish kunlari Android egalari uchun ishlaydi» degan topilma ehtimoli shuncha yuqori — va bu xulosaning qiymati shuncha past.

• Bitta asosiy metrika ishga tushirishdan oldin qayd etiladi; qaror shu boʻyicha qabul qilinadi.
• Ikkinchi darajali metrikalar manzarani tasvirlaydi, lekin gʻolibni eʼlon qilmaydi.
• Himoya metrikalari (yuklanish tezligi, chiqib ketish, shikoyatlar, bekor qilishlar) yaxshilanish boshqa joydagi yomonlashuv hisobiga boʻlmaganini tekshiradi.
• Bir nechta teng huquqli gipoteza boʻlsa, koʻp taqqoslash uchun tuzatishlar qoʻllanadi: Bonferroni, Xolm yoki Benjamini — Xoxberg.
• Segmentdagi topilma — joriy testning natijasi emas, keyingi test uchun gipoteza.

Agar biznes uchun haqiqatan ikki metrika, masalan konversiya va oʻrtacha chek muhim boʻlsa, nima qilish kerak? Ikki halol yoʻl bor. Birinchisi — ularni oldindan belgilangan bitta metrikaga, aytaylik foydalanuvchiga tushumga birlashtirish va qarorni shu boʻyicha qabul qilish. Ikkinchisi — ikkalasini ham asosiy deb eʼlon qilib, koʻp taqqoslash tuzatishini qoʻllash, buning uchun koʻproq maʼlumot kerak boʻlishini tushungan holda. Nohalol yoʻl — natijalarni kutib, yaxshiroq koʻringanini tanlash.

4-xato. Notoʻgʻri randomizatsiya birligi

Variantlar taqsimlanadigan birlik va metrika hisoblanadigan birlik bir xil boʻlishi kerak. Agar trafik sessiyalar boʻyicha boʻlinib, konversiya foydalanuvchilar boʻyicha hisoblansa, bir odam ikkala guruhga tushadi, kuzatuvlar mustaqil boʻlmay qoladi, dispersiya esa past baholanadi. Test aslidan aniqroq koʻrinadi va yolgʻon gʻalabalar beradi.

Shunga oʻxshash tuzoq — randomizatsiya foydalanuvchilar boʻyicha boʻlganda oʻrtacha chek yoki sessiyadagi kliklar kabi nisbat-metrikalar. Ularning dispersiyasi alohida buyurtmalar boʻyicha emas, delta-usul yoki foydalanuvchilar boʻyicha butstrep bilan hisoblanishi kerak. Alohida holat — tarmoq effektlari: marketpleyslar, yetkazib berish, ijtimoiy tarmoqlarda guruhlar bir-biriga taʼsir qiladi, bunda randomizatsiya klasterlar — shaharlar, omborlar yoki vaqt oynalari boʻyicha qilinadi.

Guruhlar nisbatini tekshirish

Agar 50 ga 50 rejalashtirilgan boʻlib, amalda sezilarli boshqa nisbat chiqsa, uni xi-kvadrat mezoni bilan tekshiring. Tafovut texnik nosozlikdan dalolat beradi: taqsimlashdagi xatolar, botlar, yoʻnaltirishlar, variantlardan biridagi uzilishlar. Sababi topilmaguncha, bunday test natijalariga, hatto ular chiroyli boʻlsa ham, ishonib boʻlmaydi.

Misol: guruhlar bir-biriga xalaqit beradigan test

Buyurtmalarni kuryerlar oʻrtasida taqsimlashning yangi algoritmini sinamoqchi boʻlgan shartli yetkazib berish servisini olaylik. Agar buyurtmalarning yarmi yangi algoritm, yarmi eskisi boʻyicha ketsa, ikkala guruh bir xil kuryerlar uchun raqobatlashadi: bir guruhdagi yaxshilanish boshqasidagi yomonlashuv hisobiga boʻlishi mumkin. Test toʻliq joriy etilganda boʻlmaydigan farqni koʻrsatadi. Bunday holatda variantlar butun shahar yoki tuman uchun vaqt boʻyicha almashtiriladi — switchback-dizayn deb ataladigan usul — yoki mustaqil geografik zonalarga boʻlinadi, tahlil birligi esa vaqt oynasi yoki zona boʻladi.

Tahlil usulini qanday tanlash kerak

Statistik usulni tanlash — did masalasi emas. U metrika turi, randomizatsiya birligi va qarorni qanday qabul qilmoqchi ekaningiz bilan belgilanadi. Quyida mahsulot testlarining aksariyatini qamrab oladigan ishchi ramka.

• Metrika — ulush (konversiya, ushlab qolish, klik): ulushlar farqi uchun z-test yoki xi-kvadrat mezoni mos, chunki xatti-harakat binar va taqsimot yaxshi oʻrganilgan.
• Metrika — ogʻir dumli oʻrtacha (foydalanuvchiga tushum, mahsulotdagi vaqt): t-test katta tanlanmalarda ishlaydi, lekin chetga chiqqan qiymatlarga sezgir; ularni qayta ishlash qoidasi, masalan yuqori persentil boʻyicha kesish, oldindan qayd etiladi, barqarorlikni tekshirish uchun esa butstrep ishlatiladi.
• Metrika — nisbat (oʻrtacha chek, sessiyadagi kliklar), randomizatsiya foydalanuvchilar boʻyicha: dispersiya delta-usul yoki foydalanuvchilar boʻyicha butstrep bilan hisoblanadi, chunki bir odamning buyurtmalari bogʻliq.
• Muddatidan oldin toʻxtatish imkoniyati kerak: chegaralari oldindan belgilangan ketma-ket usul, chunki klassik test koʻp marta koʻrishga moʻljallanmagan.
• Variantlar ikkitadan koʻp: koʻp taqqoslash uchun tuzatish yoki dastlabki umumiy test, chunki har bir juft taqqoslash alohida urinish.
• Taʼsir kichik kutilmoqda, foydalanuvchilarning testgacha tarixi bor: CUPED, chunki boshlangʻich xatti-harakatni hisobga olish metrika maʼnosini oʻzgartirmasdan shovqinni kamaytiradi.

Shubhangiz boʻlsa, usulni A/A maʼlumotlarda tekshiring: ikkita bir xil guruhda toʻgʻri protsedura yolgʻon signallarni taxminan ahamiyatlilik darajasida koʻzda tutilgan chastotada berishi kerak. Agar signallar sezilarli koʻp boʻlsa, usul maʼlumotlaringizga mos emas.

Tasodifni sabab deb qabul qilmaslik

Hatto toʻgʻri oʻtkazilgan test ham oʻzgarish taʼsirini emas, parallel boʻlgan boshqa narsani aks ettirishi mumkin. Yangilik effekti: foydalanuvchilar yangi narsani shunchaki yangi boʻlgani uchun bosadi va taʼsir bir necha haftadan keyin soʻnadi. Tajribalarning kesishishi: bitta auditoriyadagi ikki test bir-birining natijasini oʻzgartiradi. Treking oʻzgarishlari: agar B variantida hodisa boshqacha yozilsa, siz mahsulotni emas, belgilashni oʻlchaysiz.

Foydali odat — natija juda yaxshi koʻrinsa, avval xatoni qidirish. A/A test yordam beradi: ikkita bir xil variant farqni ahamiyatlilik darajasida koʻzda tutilganidan koʻra tez-tez koʻrsatmasligi kerak. Statistik va amaliy ahamiyatni ajratish ham muhim: oʻsish isbotlangan, lekin oʻzgarishni qoʻllab-quvvatlash xarajatini qoplash uchun juda kichik boʻlishi mumkin.

Xatosi qimmatga tushadigan qarorlar uchun ikki ishonchli tasdiq bor. Yangi auditoriyada takroriy test taʼsir omadli tasodif emas, balki qaytariladigan ekanini tekshiradi. Keng joriy etilgandan keyin maʼlum muddat eski versiyada qoladigan nazorat guruhi esa taʼsir uzoq masofada saqlanadimi yoki yangilik bilan birga soʻnadimi, shuni koʻrsatadi.

Simpson paradoksi va tarkib siljishi

Baʼzan umumiy natija har bir segmentdagi natijalarga zid keladi. Bu guruhlar tarkibi boʻyicha farq qilganda boʻladi: masalan, variantlardan biriga tasodifan yoki xato tufayli konversiyasi boshidanoq boshqacha boʻlgan mobil ilova foydalanuvchilari koʻproq tushib qolgan. Unda «oʻrtacha» taqqoslash oʻzgarish taʼsirini emas, tarkibdagi farqni aks ettiradi. Himoya — toʻgʻri randomizatsiya, tahlildan oldin guruhlar muvozanatini asosiy belgilar boʻyicha tekshirish va muhim segmentlar boʻyicha stratifikatsiya.

Misol: «deyarli yutgan» hisobotni qanday oʻqish kerak

Aytaylik, test yakunida asosiy metrika ahamiyatli oʻzgarmadi, ishonch oraligʻi kichik plyusni ham, kichik minusni ham oʻz ichiga oladi. Lekin ikkinchi darajali metrikalardan biri oʻsgan, yangi foydalanuvchilar segmentida esa asosiy metrika yaxshiroq koʻrinadi. Vasvasa — segmentda gʻalaba eʼlon qilish.

Toʻgʻri oʻqish boshqacha. Asosiy metrika boʻyicha test neytral: taʼsir, agar boʻlsa, siz aniqlay oladiganidan kichikroq. Ikkinchi darajali metrikaning oʻsishi — oʻzgarishning boshqa foydali taʼsiri yoʻqmi, shuni koʻrish uchun sabab, lekin keng joriy etishga asos emas. Segment topilmasi — faqat yangi foydalanuvchilarda, oʻz tanlanma hisobi bilan alohida test uchun yaxshi gipoteza. Joriy test boʻyicha qaror rejadagi qoidaga koʻra qabul qilinadi.

Nazorat roʻyxati: ishga tushirishdan va xulosadan oldin

1. 01Gipoteza yozilgan: nimani oʻzgartiramiz, qaysi metrikaga taʼsir qilishi kerak va nima uchun.
2. 02Bitta asosiy metrika va himoya metrikalari roʻyxati tanlangan.
3. 03Minimal taʼsir, quvvat, tanlanma hajmi va toʻliq haftalardagi muddat hisoblangan.
4. 04Randomizatsiya birligi tahlil birligiga mos; nisbat-metrikalar uchun dispersiyaning toʻgʻri usuli tanlangan.
5. 05Pipeline A/A test yoki hech boʻlmaganda ikkala variantdagi hodisalarni solishtirish bilan tekshirilgan.
6. 06Test rejadan oldin toʻxtatilmaydi — yoki ketma-ket usul oldindan tanlangan.
7. 07Guruhlar nisbati rejadan tafovutga tekshirilgan.
8. 08Xulosada faqat p-value emas, ishonch oraligʻi ham koʻrsatilgan.
9. 09Segment topilmalari keyingi testlar uchun gipoteza sifatida rasmiylashtirilgan.
10. 10Natija, jumladan neytral va salbiysi ham, tajribalar jurnaliga yozilgan.

Har bir xatoni belgilariga koʻra qanday ushlash mumkin

• Taʼsir birinchi kunlarda katta boʻlib, asta-sekin kamaymoqda — ehtimol, erta maʼlumotlarga qarash yoki yangilik effekti; toʻplangan taʼsir grafigini tekshiring va rejadagi muddatgacha qaror qabul qilmang.
• Kichik testdagi «gʻalaba» keng joriy etilgandan keyin takrorlanmaydi — past quvvat va oshirib koʻrsatilgan baho; quvvatni qayta hisoblang va takroriy test oʻtkazing.
• Koʻp metrikadan bittasi yoki bitta segment ahamiyatli chiqdi — koʻp taqqoslash; u rejada asosiy boʻlganmi, tekshiring va tuzatish qoʻllang.
• Bunday trafik uchun ishonch oraligʻi shubhali darajada tor — notoʻgʻri tahlil birligi; randomizatsiya birligi va hisob birligini solishtiring.
• 50 ga 50 rejasida guruhlar turli hajmda — SRM; taqsimlash, botlarni filtrlash va hodisalarni yozib borishni tekshiring.
• Natija «juda yaxshi» — mahsulotdagi tushuntirishdan oldin maʼlumot va trekingdagi xatoni qidiring.

Xulosa

A/B test oʻzini aldashdan faqat qoidalar maʼlumotni koʻrishdan oldin qayd etilganda himoya qiladi. Oraliq natijaga qarash, tanlanma yetishmasligi, metrikalarni saralash va notoʻgʻri randomizatsiya birligi — bu qoidalarni sezdirmay buzishning toʻrt yoʻli. Rejani yozing, infratuzilmani tekshiring va qarorni oldindan kelishilgan narsa boʻyicha qabul qiling. Har bir yakunlangan testni esa — muvaffaqiyatsizini ham — jurnalda saqlang: vaqt oʻtib u gipotezalarning eng qimmatli manbaiga aylanadi.