因果學(xué)習(xí)在用戶(hù)增長(zhǎng)中的實(shí)踐

導(dǎo)讀：將因果推理與機(jī)器學(xué)習(xí)相結(jié)合，可以幫助我們解決在大量數(shù)據(jù)集當(dāng)中檢測(cè)到細(xì)微相關(guān)性，并判斷其預(yù)測(cè)準(zhǔn)確性的問(wèn)題。我們將探索因果機(jī)器學(xué)習(xí)在用戶(hù)增長(zhǎng)中是如何應(yīng)用的，采用了什么分析方法。

本文將圍繞下面四點(diǎn)展開(kāi)：

基礎(chǔ)概念介紹

因果分析

因果機(jī)器學(xué)習(xí)

因果歸因

01

基礎(chǔ)概念介紹

1. 用戶(hù)增長(zhǎng)指標(biāo)

在用戶(hù)增長(zhǎng)模型中，最顯著的一個(gè)指標(biāo)便是DAU(日活躍用戶(hù))的增長(zhǎng)，在用戶(hù)生命周期中主要體現(xiàn)在留存和活躍兩個(gè)環(huán)節(jié)。另一方面是市場(chǎng)營(yíng)銷(xiāo)的增長(zhǎng)，體現(xiàn)在用戶(hù)付費(fèi)、用戶(hù)裂變等。

留存、活躍，在推薦系統(tǒng)中是比較簡(jiǎn)單的問(wèn)題，因?yàn)樗�有明確的目標(biāo)，即提升留存和活躍對(duì)應(yīng)的指標(biāo)。同時(shí)它又是復(fù)雜的，因?yàn)閷?duì)于不同用戶(hù)的標(biāo)簽具有延遲性，但在數(shù)學(xué)上是可解的。除此之外，它需要一定深度，需要通過(guò)層層剖析去間接優(yōu)化其模型。

2. 因果分析應(yīng)用方法

為解決上訴問(wèn)題，可以從因果的角度出發(fā)，利用PSM(傾向評(píng)分匹配)統(tǒng)計(jì)方法進(jìn)行因果分析，解決WHY的問(wèn)題。

在其基礎(chǔ)上，使用因果機(jī)器學(xué)習(xí)或者因果歸因的技術(shù)手段去尋找提升指標(biāo)的關(guān)鍵信息，例如Uplift / Meta-learner、Causal Recommendation和Credit Assignment模型，解決HOW的問(wèn)題。

02

因果分析

1. 相關(guān)性和因果性

在做因果分析之前，我們需要明確兩個(gè)事件是存在相關(guān)性還是因果性，我們?nèi)绾闻袛嘁约叭绾魏饬磕?

第一個(gè)問(wèn)題：一個(gè)回頭率高的用戶(hù)看了短視頻，我們是否可以認(rèn)為這些短視頻促進(jìn)了用戶(hù)的留存?顯然不是，這兩者有性質(zhì)上的偏差。

第二個(gè)問(wèn)題：我們?nèi)绾瘟炕�用�?hù)指標(biāo)，例如用戶(hù)點(diǎn)擊、點(diǎn)贊、關(guān)注之類(lèi)的指標(biāo)，如何判斷與留存指標(biāo)之間是相關(guān)性的還是因果性的?

因此我們需要通過(guò)構(gòu)造和去偏的思維方式去分析兩個(gè)事件之間的關(guān)系，采用例如PSM的方法，以推進(jìn)后續(xù)的因果分析。

下面我們就以考慮用戶(hù)點(diǎn)擊對(duì)留存的影響為例，介紹如何用因果分析和因果機(jī)器學(xué)習(xí)，解決用戶(hù)增長(zhǎng)的業(yè)務(wù)問(wèn)題。

2. PSM傾向評(píng)分匹配統(tǒng)計(jì)方法

首先，利用PSM可以幫助我們研究用戶(hù)點(diǎn)擊和點(diǎn)贊行為對(duì)于用戶(hù)的留存是否存在因果性。其檢驗(yàn)方法如下：

第一步：通過(guò)傾向分?jǐn)?shù)(propensity score)，計(jì)算其實(shí)驗(yàn)?zāi)Ｐ�，例�?LR/XGBT 處理模型(LR/XGBT Treatment Model)。

第二步：將兩個(gè)對(duì)比實(shí)驗(yàn)組，通過(guò)算法的匹配，實(shí)現(xiàn)去偏。

第三步：采用KS-檢驗(yàn)，計(jì)算P-value，核查協(xié)變量的平衡。

第四步：計(jì)算ATE(Average Treatment Effect)，檢驗(yàn)指標(biāo)對(duì)最后結(jié)果的影響。

經(jīng)過(guò)PSM之后，我們假設(shè)得到結(jié)論：點(diǎn)擊會(huì)讓留存率提升5%，意味著一個(gè)用戶(hù)進(jìn)行點(diǎn)擊行為后，其留存可以提升5%，反映到相應(yīng)的指標(biāo)便是click_dau(點(diǎn)擊日活躍人數(shù))。例如click_dau提升了1%，那么整體留存率應(yīng)該提升5%×1%=0.05%。

當(dāng)treatment是連續(xù)的，例如點(diǎn)擊不再是0→1的二元問(wèn)題，而是從1變成更多的時(shí)候，我們會(huì)采取以下思路去解決問(wèn)題：

得到回歸模型后，去預(yù)測(cè)用戶(hù)的點(diǎn)擊數(shù)，但是這個(gè)方法比較復(fù)雜。

通過(guò)因果分析或其他一些match的方法解決。

在因果分析中，主要采用兩種方法：

第一種： PSM ，可以等價(jià)為帶有權(quán)重的聚類(lèi)。

第二種： Matching on Features ，特征匹配，也是一種聚類(lèi)，但是這個(gè)方法需要結(jié)合業(yè)務(wù)去挖掘有價(jià)值的特征和切合業(yè)務(wù)的指標(biāo)進(jìn)行匹配。

03

因果機(jī)器學(xué)習(xí)

接下來(lái)介紹因果推薦的因果機(jī)器學(xué)習(xí)模型的一些應(yīng)用。

1. 機(jī)器學(xué)習(xí)中的因果推理VS因果推理中的機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)中的因果推理和因果推理中的機(jī)器學(xué)習(xí)兩個(gè)概念其實(shí)是不一樣的，兩者主要區(qū)別在于：

前者旨在把因果分析當(dāng)做工具放到機(jī)器學(xué)習(xí)中去，后者旨在把機(jī)器學(xué)習(xí)當(dāng)工具放到因果分析中去;

前者包含去偏算法和HTE非均勻處理效果模型，后者包含因果分析以及HTE非均勻處理效果模型。

2. 用戶(hù)留存中的HTE分析

對(duì)于留存而言，HTE以是否采取策略和是否留存為維度劃分為四個(gè)區(qū)域，其中采用的策略針對(duì)不同的業(yè)務(wù)問(wèn)題，可以采用單一處理的黑盒策略，也可以采用無(wú)限處理的推薦策略。因此HTE是一個(gè)四象限問(wèn)題，分別為：

第一象限為+1 ，采用策略的用戶(hù)留存下來(lái);

第二、三象限為0 ，自然用戶(hù)，即不采用策略用戶(hù)是否留存，其結(jié)果都為0;

第四象限為-1 ，采用策略的用戶(hù)沒(méi)有留存下來(lái)。

在自然模型中，采用打標(biāo)簽的方法，類(lèi)似于現(xiàn)實(shí)生活中的AB test，但是可以對(duì)每個(gè)實(shí)驗(yàn)組設(shè)置一樣的條件，就像“平行世界”一樣，僅有是否treat和是否留存的標(biāo)簽，便可以直觀(guān)的得到treatment對(duì)留存的影響。

在PML模型里，采用例如uplift模型，構(gòu)造p_score相等的兩個(gè)目標(biāo)形成一組Pair，去尋找事實(shí)相反的配對(duì)，構(gòu)建深度學(xué)習(xí)模型，簡(jiǎn)化深度學(xué)習(xí)網(wǎng)絡(luò)，剔除一些無(wú)效樣本，已形成有效的網(wǎng)絡(luò)結(jié)構(gòu)。

在這個(gè)基礎(chǔ)上，我們有一些衍生的知識(shí)點(diǎn)：

Propensity dropout，即利用PSM去精簡(jiǎn)和修正機(jī)器學(xué)習(xí)網(wǎng)絡(luò)。

將深度學(xué)習(xí)網(wǎng)絡(luò)或神經(jīng)網(wǎng)絡(luò)中的一些網(wǎng)絡(luò)節(jié)點(diǎn)去掉，不會(huì)影響最后的結(jié)果，甚至能提升其結(jié)果。

剔除無(wú)效網(wǎng)絡(luò)的目的，是要保留有意義的部分，即使得lift的結(jié)果是正的或者是負(fù)的。

3. 用戶(hù)活躍中的HTE分析

針對(duì)用戶(hù)活躍，PML可以延伸為二元處理和連續(xù)處理的問(wèn)題，然后基于可觀(guān)測(cè)數(shù)據(jù)對(duì)HTE模型進(jìn)行訓(xùn)練，使得模型更加穩(wěn)健。

我們以0.5作為分水嶺。指標(biāo)active_days_sum為0-0.5的用戶(hù)其活躍會(huì)減少0.1%，為0.5-1的用戶(hù)其活躍會(huì)增加0.4%;指標(biāo)duration_sum為0-0.5的用戶(hù)其活躍會(huì)減少0.4%，為0.5-1的用戶(hù)其活躍會(huì)增加0.5%。

得到這個(gè)結(jié)論，意味著當(dāng)針對(duì)活躍天數(shù)的策略生效之后，dau的提升應(yīng)該是0.2×0.4%=0.08%。

4. 數(shù)學(xué)模型：游戲幣回收

我們采用一個(gè)游戲幣回收的數(shù)學(xué)模型來(lái)詳細(xì)闡述采用Meta-learner和HTE模型來(lái)實(shí)現(xiàn)采取不同回收策略，以實(shí)現(xiàn)回收更多游戲幣的方法。我們主要有兩組回收策略：

A組：一次回收100個(gè)游戲幣，總共設(shè)置N組。有m個(gè)玩家回收成功，總共回收C1=100×m個(gè)游戲幣。

B組：一次回收60個(gè)游戲幣，總共設(shè)置N組。有n個(gè)玩家回收成功，總共回收C2=60×n個(gè)游戲幣。

可以采用的模型有Meta-learner、HTE和Online-learning，我們主要闡述前兩種�？梢詮膬蓚�(gè)角度去評(píng)估我們的模型，一個(gè)是通過(guò)實(shí)驗(yàn)數(shù)據(jù)去評(píng)估收益的數(shù)據(jù);一個(gè)是通過(guò)理論推導(dǎo)，精確地評(píng)估收益和漲幅。

第一個(gè)方法是 Meta-learner，是T-learner模型的一個(gè)拓展，通過(guò)訓(xùn)練兩個(gè)模型，并畫(huà)出購(gòu)買(mǎi)用戶(hù)的累計(jì)分布曲線(xiàn)，找到兩個(gè)策略最大的gap，在圖中即為h。我們可以通過(guò)累計(jì)分布曲線(xiàn)去優(yōu)化，得到第三個(gè)策略，是前兩個(gè)策略的線(xiàn)性疊加。

第二個(gè)方法是 HTE匹配模型，它實(shí)際上是通過(guò)以?xún)蓚�(gè)策略為基礎(chǔ)，貼上不同的標(biāo)簽，構(gòu)造三組模型去構(gòu)建模型，進(jìn)行計(jì)算，主要分為以下三組：

第一組：Group 100，label=0 VS Group 60，label=0

第二組：Group 100，label=0 VS Group 60，label=1

第三組：Group 100，label=1 VS Group 60，label=1

這個(gè)模型的缺點(diǎn)在于計(jì)算過(guò)程中會(huì)有累積的誤差，效果不是很穩(wěn)定。但是利用這種方法，可以最大程度的簡(jiǎn)化目標(biāo)，將最優(yōu)化問(wèn)題變成簡(jiǎn)單的三分類(lèi)問(wèn)題，得到更加簡(jiǎn)化的模型和明確的策略。

04

因果歸因理論

在做策略的時(shí)候，例如推薦，我們主要會(huì)遇到以下兩個(gè)問(wèn)題：

多組(無(wú)限)處理 ，我們無(wú)法訓(xùn)練太多的模型，如何簡(jiǎn)化我們的推薦treatment。

效果延遲問(wèn)題 ，例如做留存策略時(shí)，關(guān)注用戶(hù)點(diǎn)擊ctr等即時(shí)反饋之外，如何制定更長(zhǎng)遠(yuǎn)的指標(biāo)策略。

在這里我們?cè)儆眠@個(gè)框架圖來(lái)講解一下因果歸因的思路，它用到了用戶(hù)三個(gè)狀態(tài)T-1，T0和T+1。T0狀態(tài)即為用戶(hù)受到無(wú)限處理的影響的狀態(tài)。從T-1到T+1，是利用T-1狀態(tài)的一些特征去預(yù)測(cè)T+1狀態(tài)的留存情況，類(lèi)似PSM傾向性得分。另一條路從T-1到T0再到T+1，是在經(jīng)過(guò)treatment后，進(jìn)行回溯。從T+1到T0，計(jì)算retain lift，這個(gè)lift可以認(rèn)為是treatment帶來(lái)的，然后采用backward或者credit assignment的方式歸因到treatment上。

在因果分析里最主要的是解決去偏問(wèn)題，在這個(gè)過(guò)程中我們解決了幾個(gè)bias，在T0增加treatment時(shí)，高留存的用戶(hù)未來(lái)留存也會(huì)高，因此會(huì)把用戶(hù)留存的bias去掉，留下lift的留存。同時(shí)形成treatment時(shí)，也會(huì)只考慮當(dāng)天用戶(hù)的treatment帶來(lái)的lift。但是在這個(gè)過(guò)程中treatment的數(shù)量很多，難以算出每個(gè)treatment對(duì)應(yīng)的lift，可以采用平均處理計(jì)算。但是這個(gè)方法存在很大的誤差，進(jìn)一步可以采用權(quán)重，通過(guò)用戶(hù)like或者follow的行為增加對(duì)應(yīng)treatment的權(quán)重，提高歸因的準(zhǔn)確性。在有干預(yù)的情況下，去尋找干預(yù)帶來(lái)的影響，可以通過(guò)post-pre去偏的方法實(shí)現(xiàn)。除此之外，想要映射無(wú)限多treatment到對(duì)應(yīng)的lift，有時(shí)還需要采用propensity score，帶有傾向得分計(jì)算，有助于幫助我們利用數(shù)學(xué)或matching的方法將bias消除掉。

最后總結(jié)一下因果分析，它源于一些傳統(tǒng)科學(xué)例如社會(huì)科學(xué)、生物學(xué)等，如今在數(shù)據(jù)科學(xué)領(lǐng)域也有了很深的發(fā)展，也在公司廣泛應(yīng)用。它和機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、推薦算法、強(qiáng)化學(xué)習(xí)和遷移學(xué)習(xí)是融合在一起的，其本質(zhì)還是尋找有效的樣本，解決更本質(zhì)的問(wèn)題。

05

精彩問(wèn)答

Q1：因果分析的這套模型主要應(yīng)用在整個(gè)推薦技術(shù)的哪個(gè)階段?

A1：推薦系統(tǒng)主要經(jīng)過(guò)召回→排序→重排階段，在我個(gè)人的實(shí)際應(yīng)用中，是將其應(yīng)用到推薦的最后重排階段，主要人類(lèi)強(qiáng)干預(yù)增加的，進(jìn)行一些結(jié)果的修正。常規(guī)情況，會(huì)將其應(yīng)用到排序階段，因果推斷不是用于替代現(xiàn)有的資源系統(tǒng)，而是輔助現(xiàn)有系統(tǒng)，利用增加權(quán)重的方式進(jìn)行改進(jìn)，凸顯出有效樣本同時(shí)剔除無(wú)效樣本。

Q2：在大量的item的情況下，會(huì)不會(huì)根據(jù)內(nèi)容或者屬性進(jìn)行分類(lèi)，減少歸因的復(fù)雜度?

A2：會(huì)的，我們最希望解決的是每個(gè)item對(duì)于留存的貢獻(xiàn)，但是這樣做是很困難的，通過(guò)不同品類(lèi)不同作者等屬性分類(lèi)，大致計(jì)算也可以獲得一些相對(duì)粗略的結(jié)果，利用每個(gè)用戶(hù)的policy推薦策略，將其從無(wú)限多treatment的問(wèn)題變成多treatment的問(wèn)題，使得這類(lèi)問(wèn)題可解。

Q3：中活和高活躍度用戶(hù)比起新用戶(hù)和低活用戶(hù)，他們的treatment和用戶(hù)行為數(shù)據(jù)是大量的，我們?nèi)绾尾捎锰卣鬟x擇或者數(shù)據(jù)壓縮等方法，將其應(yīng)用到中活和高活躍度用戶(hù)群體上?

A3：中活和高活躍度用戶(hù)群體除了數(shù)據(jù)量上有區(qū)別以外，在收斂性質(zhì)上也有區(qū)別。新用戶(hù)的數(shù)據(jù)樣本是具有一定隨機(jī)性的，因?yàn)橥扑]系統(tǒng)還沒(méi)有表現(xiàn)得特別好，相反高活用戶(hù)在推薦數(shù)據(jù)表現(xiàn)上已經(jīng)具有很強(qiáng)的傾向性。而因果推斷就是要通過(guò)去偏，構(gòu)造一個(gè)平均化的模型。因此根據(jù)因果推斷的本質(zhì)思想，可以將exposure bias或者偏好bias剔除，將其恢復(fù)到一個(gè)隨機(jī)的分布，再用平均理論，反推其item的lift，理論上就可以實(shí)現(xiàn)。

Q4：如果在整個(gè)推薦系統(tǒng)中，增加一份1%的隨機(jī)流量，會(huì)怎樣利用這個(gè)隨機(jī)流量去構(gòu)建因果推斷模型呢?

A4：隨機(jī)流量本身不能去替代matching或者PSM的分析方法，它的作用是幫助我們更好理解用戶(hù)本身的偏好。但擁有這個(gè)隨機(jī)流量，在模型修復(fù)模塊可以簡(jiǎn)單的歸因到隨機(jī)流量上。但是隨機(jī)流量和非隨機(jī)流量是共同作用在用戶(hù)上的，會(huì)共同影響用戶(hù)的留存，也得考慮隨機(jī)和非隨機(jī)的差異，通過(guò)matching或者反事實(shí)的理論實(shí)現(xiàn)去偏。

今天的分享就到這里，謝謝大家。

來(lái)源：咨詢(xún)AD知識(shí)分享

以上是關(guān)于用戶(hù)增長(zhǎng)師的相關(guān)信息，以供大家查看了解。想要了解更多用戶(hù)增長(zhǎng)師信息，第一時(shí)間了解用戶(hù)增長(zhǎng)師相關(guān)資訊，敬請(qǐng)關(guān)注唯學(xué)網(wǎng)用戶(hù)增長(zhǎng)師欄目，如有任何疑問(wèn)也可在線(xiàn)留言，小編會(huì)為您在第一時(shí)間解答!