A/B փորձարկում Python-ի միջոցով

A/B թեստավորումը, որը նաև հայտնի է որպես պառակտման թեստավորում, համեմատում է ինչ-որ բանի երկու տարբեր տարբերակներ (բջջային հավելված, վեբ էջ, գովազդ և այլն)՝ որոշելու, թե որն է ավելի լավ կատարում: A/B թեստավորումը սովորական վիճակագրական թեստ է, հատկապես մարքեթինգային ռազմավարության մեջ: Մենք կարող ենք տեսնել, թե որ տարբերակն է ավելի շատ գնումներ կամ ավելի շատ կտտացնում պառակտման փորձարկումից հետո, այնուհետև կարող ենք ռազմավարական որոշումներ կայացնել: Շատ ընկերություններ օգտագործում են A/B թեստավորում նոր տեխնոլոգիաների աշխարհում, ինչպիսիք են Instagram-ը, Facebook-ը, Google-ը, LinkedIn-ը և այլն:

Ինչպե՞ս է աշխատում A/B թեստավորումը:

Եկեք պատկերացնենք, որ մենք ունենք առցանց գնումների կայք և ցանկանում ենք փոխել հիմնական էջը, բայց մենք վստահ չենք, թե ինչպես այն կգործի: Այս պահին մենք կարող ենք օգտագործել A/B թեստավորում: Մենք հրապարակում ենք յուրաքանչյուր էջ նույն URL-ով և առաջին էջը ցույց ենք տալիս մեր այցելուների կեսին: Մեր մնացած այցելուները տեսնում են մեր նոր էջը։ Այցելուներից որոշ պատասխաններ ստանալուց հետո մենք կարող ենք ստուգել, ​​թե որ էջն է ավելի լավ աշխատել: Բայց ինչպե՞ս ենք մենք փորձարկում: Եկեք բացահայտենք իրական աշխարհի նախագիծը:

Օրինակ՝ Համեմատեք հայտի մեթոդները Python-ի միջոցով

AB թեստավորման քայլեր.

1- Ստեղծեք վարկած

2- Ենթադրությունների ստուգում

• Ենթադրություն 1. բաշխումները նորմալ են յուրաքանչյուր փոփոխականի համար
• Ենթադրություն 2. Տարբերակները միատարր են

3- Կիրառել վարկածը և վերահսկել p-արժեքը: Եթե ​​p-արժեքը փոքր է 0,05-ից, մենք կարող ենք մերժել H0-ը: Եթե ​​ոչ, մենք չենք կարող մերժել H0-ն:

• Եթե ​​ենթադրությունները ճիշտ են, օգտագործեք անկախ նմուշների t-թեստը (պարամետրական թեստ, t-թեստ)
• Եթե ​​ենթադրությունները ճիշտ չեն, օգտագործեք Mann-Whitney U թեստը (ոչ պարամետրական թեստ, Mann-Whitney U)

Բիզնեսի խնդիր. մարքեթինգային ստրատեգները վերջերս ներկայացրեցին հայտի նոր տեսակ՝ «միջին սակարկություններ», որպես այլընտրանք գոյություն ունեցող «առավելագույն հայտի» հայտի տեսակին: Մեր հաճախորդներից մեկը՝ bombabomba.com-ը, որոշեց փորձարկել այս նոր հնարավորությունը և կցանկանար A/B թեստ անել՝ տեսնելու, թե արդյոք միջին սակագինը փոխակերպում է առավելագույն գնից ավելին: A/B թեստավորումը շարունակվում է արդեն 1 ամիս, և այժմ bombabomba.com-ը սպասում է ձեզ՝ վերլուծելու այս A/B թեստի արդյունքները մեզանից։ Bombabomba.com-ի համար գնումը հաջողության վերջնական չափանիշն է: Հետևաբար, Գնման չափանիշը պետք է կենտրոնանա վիճակագրական թեստերի վրա:

Փոփոխականներ:

impression_cont. Գովազդի վերահսկիչ խմբի թիվը
impression_test. Գովազդի թեստային խմբի թիվը
click_cont. վերահսկիչ խմբի ցուցադրվող գովազդի վրա սեղմումների քանակը
click_test. ցուցադրվող գովազդի վրա սեղմումների քանակը թեստային խմբի համար
buy_cont. Գովազդի համար վերահսկվող խմբի համար սեղմելուց հետո գնված ապրանքների քանակը
buy_test. գնված ապրանքների քանակը թեստային խմբի համար գովազդի սեղմումից հետո
վաստակի_cont. Շահույթ գնումներից հետո վերահսկիչ խումբ
gaining_test. եկամուտներ թեստային խմբի գնումներից հետո

Քայլ 1. Ներմուծեք գրադարաններ

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import ttest_1samp, shapiro, levene, ttest_ind, mannwhitneyu

Քայլ 2. Կարդացեք «ab_testing.xlsx» ֆայլը և ստացեք առաջին 5 տողը

df_control = առավելագույն սակարկություն
df_test = միջին գնային առաջարկ

df_control = pd.read_excel('ab_testing.xlsx')                df.head()

Արդյունք:

Քայլ 3. Ստեղծեք H0 վարկածը և ստուգեք յուրաքանչյուր խմբի միջին գնումը

H0. Միջին գնումները հավասար են վերահսկիչ և թեստային խմբերի համար:

M1=Վերահսկիչ խմբի գնման միջինը
M2=Թեստային խմբի գնման միջինը

H0 : M1 = M2
H1 : M1!= M2

df[['purchase_cont', 'purchase_test']].agg(['mean'])

Արդյունք:

Ինչպես տեսնում եք վերևում, միջին գնումների միջև տարբերություն կա: Այնուամենայնիվ, առանցքային հարցն այն է, թե արդյոք դա նշանակալի է վիճակագրորեն:

Քայլ 4. Ենթադրությունների ստուգում

Ենթադրություն 1:

H0: Բաշխումը նորմալ է: ‹br›
H1. Բաշխումը բարոյական չէ:

Բաշխումները ստուգելու համար մենք կօգտագործենք Shapiro մեթոդը:

test_stat, p_value = shapiro(df[‘purchase_cont’])
print(‘Test statistic: %.5f\np value: %.5f’ % (test_stat, p_value))

Արդյունք:

test_stat, p_value = shapiro(df[‘purchase_test’])
print(‘Test statistic: %.5f\np value: %.5f’ % (test_stat, p_value))

Արդյունք:

Յուրաքանչյուր խմբի համար p արժեքները 0,05-ից մեծ են, ուստի մենք ընդունում ենք H0 վարկածը, որը բաշխումը նորմալ է:

Ենթադրություն 2:

H0: Տարբերակները միատարր են:
H1: Տարբերությունները միատարր չեն:

Մենք կօգտագործենք Levene մեթոդը՝ ստուգելու, որ շեղումները միատարր են:

test_stat, p_value = levene(df[‘purchase_cont’], df[‘purchase_test’])
print(‘Test statistic: %.5f\np value: %.5f’ % (test_stat, p_value))

Արդյունք:

P արժեքը 0,05-ից մեծ է, ուստի մենք կընդունենք H0-ը, որ շեղումները միատարր են: Երկու ենթադրությունները ճիշտ են, ուստի այս դեպքի համար մենք կօգտագործենք պարամետրային թեստ:

Քայլ 5. Պարամետրային փորձարկում

test_stat, p_value = ttest_ind(df['purchase_cont'], df['purchase_test'], equal_var=True)
print('Test statistic: %.5f\np value: %.5f' % (test_stat, p_value))

Արդյունք:

P արժեքը 0,05-ից մեծ է, ուստի մենք կընդունենք H0 վարկածը, որ միջին գնումները հավասար են յուրաքանչյուր խմբի համար: Եզրափակելով՝ 95% վստահության միջակայքով առավելագույն և միջին սակարկությունների մեթոդների միջև վիճակագրական տարբերություն չկա:

Linkedln՝ https://www.linkedin.com/in/sedat-parlak-0b7013131/

GitHub՝ https://github.com/SedatParlak

Kaggle: https://www.kaggle.com/sedatparlak