Մենք Monzo-ում մի քանի նոր ապրանքներ ենք թողարկել, որոնք սպասարկում են մեր հաճախորդների ֆինանսական տարբեր կարիքները: Մենք ունենք ներքին սկզբունքներ, որոնք ուղղորդում են թիմերին հաճախականության վերաբերյալ և սահմանափակում օգտվողների ստացած հաղորդագրությունների քանակը: Սա ապահովում է, որ մենք կենտրոնացած մնանք հիանալի փորձառության պահպանման վրա և խուսափենք հաղորդակցության միջոցով հաճախորդների ճնշող ազդեցությունից: Տարբեր թիմեր, որոնք գովազդում են տարբեր ապրանքներ և առանձնահատկություններ ամբողջ ընկերությունում, կցանկանան հասնել առավել համապատասխան օգտվողներին և առավելագույնի հասցնել իրենց մարքեթինգային արշավների արդյունավետությունը:
Այդ իսկ պատճառով, մենք ցանկանում էինք ընտրել ամենահարմար մարքեթինգային հաղորդագրությունը յուրաքանչյուր հաճախորդի համար՝ միաժամանակ խուսափելով հաճախորդներին գերծանրաբեռնելուց հաղորդակցություններով և սովորելով նրանց դրսևորած վարքագծից: Դրան հասնելու համար մենք ստեղծեցինք օպտիմալացման ալգորիթմ՝ օգտագործելով բարձրացման մոդելի կանխատեսումները՝ որոշելու քարոզարշավի ամենաօպտիմալ թիրախավորումը: Այս մոտեցումը մեզ օգնեց բարելավել քարոզարշավի արդյունավետությունը մինչև 200%, համեմատած ավանդական լայն թիրախավորման հետ:
📚Որո՞նք են բարձրացման մոդելները
Upift մոդելները օգնում են մեզ կանխատեսել լրացուցիչ արձագանքը, որը մենք ստանում ենք միջամտությունից, ինչպես մարքեթինգային արշավը, համեմատած առանց միջամտության: Մենք կարող ենք չափել հավելյալ պատասխանը որպես երկուական (օրինակ՝ խնայատուփի բացում) կամ որպես շարունակական արժեք (օրինակ՝ խնայված ընդհանուր գումարը)։
Uplift մոդելները նաև օգնում են մեզ բացահայտել չորս տարբեր տեսակի օգտատերեր.
- Միայն բուժում. օգտվողներ, ովքեր արձագանքել են միայն այն բանից հետո, երբ նրանց հետ կապվել են
- Բացասական ազդեցություն. օգտվողներ, ովքեր չեն արձագանքում, եթե նրանց հետ կապվել է
- Իհարկե. օգտատերեր, ովքեր «միշտ» արձագանքում են՝ անկախ նրանց հետ կապվելուց, թե ոչ
- Երբեք. օգտատերերը «երբեք» չեն արձագանքում՝ անկախ նրանց հետ կապվելուց, թե ոչ
Նախքան բարձրացման մոդել կառուցելը, մենք պետք է կատարենք պատահական A/B թեստ: Այս թեստին անհրաժեշտ է օգտատերերի մի խումբ, ովքեր ստանում են հաղորդագրություն (բուժում) և օգտատերերի մեկ այլ խումբ, ովքեր չեն (վերահսկում): Մենք հետագայում կօգտագործենք A/B թեստի արդյունքները որպես տվյալներ՝ վերելքի մոդելը վարժեցնելու համար:
Բարձրացման մոդելներ կառուցելու տարբեր եղանակներ կան, և մենք կբացատրենք մեր օգտագործած ընդհանուրները.
- T meta-model:-ը կառուցում է երկու մոդել, որոնցից մեկը վերապատրաստվել է բուժման խմբի, իսկ մյուսը՝ վերահսկիչ խմբի միջոցով:
- S meta-model: կառուցում է մեկ մոդել, որում փոփոխականներից մեկը ցույց է տալիս, արդյոք օգտագործողը եղել է բուժման կամ վերահսկման խմբում:
Երբ մոդելները վերապատրաստվեն այս երկու մեթոդներից որևէ մեկում, մենք ընդունում ենք տարբերությունը կանխատեսման միջև, ենթադրելով, որ օգտվողը գտնվում է բուժման խմբում (կանխատեսում_1) և կանխատեսում, որը ենթադրում է, որ օգտվողը վերահսկում է (կանխատեսում_0) որպես բարձրացում: Մենք օգտագործել ենք CausalML գրադարանը, որը վերացում է այս գործընթացի մեծ մասը:
Երկու մոդելներն էլ կանխատեսում են նույն ցուցանիշը, սակայն կան որոշ սահմանափակումներ, որոնց մասին պետք է տեղյակ լինել: T մետա-մոդելը հակված է չափից ավելի տեղավորվելու ներքևի երեսարկման մոդելներում: S մետա-մոդելի ռիսկն այն է, որ այն կարող է անտեսել բուժման փոփոխականը, եթե դրա ազդեցությունը թույլ է:
Ստորև բերված պատկերում մենք կարող ենք տեսնել օրինակներ, թե ինչ ենք մենք ակնկալում մեր տարբեր հատվածներում մետա մոդելների երկու կանխատեսումների համար: Միայն բուժման հատվածի օգտատերերը կունենան ավելի բարձր միավոր, իսկ բացասական ազդեցություն ունեցողները՝ բացասական: «Միշտ կամ երբեք» խմբի օգտատերերը կունենան մոտ զրոյի միավոր, քանի որ երկու կանխատեսումներն էլ նույնն են ակնկալվում:
🔮Արշավների արժեքի կանխատեսում` օգտագործելով բարձրացման մոդելները
Նախքան օպտիմիզացումը, մենք պետք է վերապատրաստեինք արտադրանքի բարձրացման հատուկ մոդելներ: Վերապատրաստման տվյալների հավաքածուներ ստեղծելու համար մենք ներառել ենք բոլոր օգտվողներին և նրանց պատասխանները համապատասխան արտադրանքի նախորդ արշավներից, որոնք գործարկվել են A/B թեստավորման միջոցով: Մենք օգտագործեցինք ներքին տվյալներ, որոնք կանխատեսելի համարեցինք մոդելներին մարզելու համար և կիրառեցինք որոշ առանձնահատկությունների ընտրություն՝ չափից ավելի տեղակայումից խուսափելու համար:
Մենք ձգտում էինք օպտիմալացնել արտադրանքի արժեքները, որոնք կախված էին այն ցուցանիշից, որը յուրաքանչյուր թիմ ցանկանում էր բարելավել: Այդ պատճառով, բարձրացման յուրաքանչյուր մոդելի թիրախն ուներ արտադրանքի տարբեր արժեք, որը կարող է լինել կամ շարունակական (օրինակ՝ գումարը պահված զամբյուղում), կամ երկուական՝ ներկայացնելու ընդունման արագությունը (օրինակ՝ Monzo Plus-ին բաժանորդագրված օգտվողը):
Բարձրացման մոդելն այնուհետև կանխատեսեց, թե որքան լրացուցիչ ապրանքի արժեք կվերցնի օգտատերը մարքեթինգային արշավ ստանալուց հետո՝ համեմատած չստանալու հետ (օրինակ՝ ինչ լրացուցիչ գումար կխնայեր օգտատերը զամբյուղում, եթե քարոզարշավն ուղարկվի):
🖥️ Արշավի արդյունքների մոդելավորում օպտիմիզացված հանձնարարությամբ
Ընդհանուր օպտիմալացման խնդիրը վերաբերում է մեկ գործառույթի առավելագույնի հասցնելուն կամ նվազագույնի հասցնելուն՝ հետևելով որոշակի սահմանափակումներին, օրինակ՝ առավելագույնի հասցնել եկամուտը, մինչդեռ ծախսերը որոշակի մակարդակներում պահելը: Մեր դեպքում մենք ձգտում էինք բարելավել բազմաթիվ օբյեկտիվ գործառույթներ, քանի որ յուրաքանչյուր ապրանք ուներ տարբեր տեսակի չափումներ: Մենք սա անվանում ենք բազմ նպատակային օպտիմալացում: Դրա համար մենք վերանայել ենք բոլոր իրավասու արդյունքները և համաձայնեցրել ենք արդյունքները՝ հիմնված բիզնեսի կարիքների վրա՝ օգտագործելով ստորև նկարագրված գործընթացը:
Մենք նախ պետք է սահմանեինք, թե ինչպես պետք է առաջնահերթություն տալ քարոզարշավի հաղորդագրություններին յուրաքանչյուր օգտագործողի համար: Մենք որոշեցինք մեկ ապրանքի համար օգտատեր նշանակել մյուսի նկատմամբ, եթե բարձրացման առաջին կանխատեսումը t անգամ ավելի մեծ էր, քան մյուս ապրանքի համար:
t պարամետրը կարող է տատանվել 0-ից մինչև շատ մեծ թիվ: Դրա նպատակն է կարգավորել, թե մեկ ապրանքի համար քանի հաղորդագրություն է ուղարկվում մյուսի վրա, օրինակ. եթե t-ը շատ մեծ է, ավելի շատ օգտվողներ կստանան ապրանքի առաջին հաղորդագրությունը և հակառակը: Մենք պետք է ներառենք լրացուցիչ պարամետրեր, եթե այս վարժությունում ավելացնենք ավելի շատ ապրանքներ (պարզության համար մենք օգտագործել ենք երկու արտադրանք ստորև բերված գրաֆիկի օրինակում):
Այնուհետև մենք նմանակում էինք քարոզարշավի արդյունքները՝ օգտագործելով տարբեր t արժեքներ, ինչպես երևում է ստորև ներկայացված գրաֆիկում: Կետերը մեզ ցույց են տալիս արշավի արդյունքները t-ի յուրաքանչյուր տարբեր արժեքի համար: Մենք ի վերջո կընտրեինք t արժեք, որը.
- ավելացնում է արտադրանքի լրացուցիչ արժեքը յուրաքանչյուր արշավի համար
- համապատասխանում է յուրաքանչյուր արտադրանքի թիմի քարոզարշավի նպատակներին, ներառյալ օգտվողների հասանելիությունը
🧪Ազդեցությունը չափելու համար վերահսկվող փորձի անցկացում
Մեր օպտիմիզացված մոտեցման արդյունավետությունը բարձրացման մոդելներով չափելու համար մենք անցկացրեցինք A/B թեստեր՝ այն համեմատելու առկա մոտեցման հետ: Դա անելու համար մենք պատահականորեն բաժանեցինք օգտատերերին երեք տարբեր նմուշների՝ ելնելով քարոզարշավի հանձնարարության ռազմավարությունից.
- Բուժում (Պատահական).
- Բուժում (օպտիմիզացված).այս նմուշի օգտատերերը հետագայում նշանակվեցին ապրանքային արշավի` օգտագործելով օպտիմալացված մոտեցումը:
- Վերահսկում.այս նմուշի օգտատերերը ապրանքի մասին հաղորդագրություն չեն ստացել
Մենք պահում էինք վերահսկիչ խումբը՝ հաշվարկելու արշավ ուղարկելու (բուժում) և ոչինչ չանելու (վերահսկողություն) միջև եղած վերելքը: Ժամանակի ընթացքում բարձրացման մոդելների ճշգրտությունը կարող է նվազել, ուստի մենք կարող ենք օգտագործել բուժման և վերահսկման նոր տվյալների հավաքածուները՝ թարմացնելու վերելքի մոդելները:
Փորձարկումների արդյունքում մենք տեսանք, որ ավելի մեծ արշավներն ունեին բարձրացման ավելի բարձր բացարձակ աճ, քանի որ մենք հասնում էինք ավելի շատ օգտվողների: Այնուամենայնիվ, ավելի փոքր արշավներն ունեցել են բարձրացման հարաբերական ավելի բարձր աճ, քանի որ ավելի քիչ հաճախորդներ ստացել են հաղորդագրություն իրավասու օգտվողների շատ ավելի մեծ խմբից:
🌰 Մի խոսքով
Ընդհանուր առմամբ, մենք նպատակ ունեինք բարձրացնել մեր մարքեթինգային արշավների արդյունավետությունը՝ խթանելու այն ապրանքները, որոնք ավելի լավ կբավարարեին մեր հաճախորդների ֆինանսական կարիքները: Մենք կառուցեցինք բարձրացման մոդելներ՝ մեր արտադրանքի նկատմամբ օգտատերերի նախապատվությունները գրավելու համար և դրանք օգտագործեցինք բազմաբնույթ օպտիմալացման խնդիրում՝ քարոզարշավի թիրախավորումը բարձրացնելու համար: Սա մեզ օգնեց բարելավել քարոզարշավի արդյունավետությունը մինչև 200%՝ համեմատած ավանդական թիրախավորման հետ:
👩💻 Եկեք և միացե՛ք մեզ
Եթե սիրում եք աշխատել այս տեսակի տվյալների մարտահրավերների վրա, դուք պետք է գաք և միանաք մեզ: Մենք աշխատանքի ենք ընդունում մի քանի դերերի մեր տվյալների թիմում,ներառյալ՝
