新老策略模型究竟孰好孰壞?
在行業(yè)里做過(guò)較長(zhǎng)時(shí)間策略或模型的人，一定會(huì)經(jīng)歷模型策略迭代的過(guò)程;而迭代過(guò)程中你總會(huì)遇到新策略是不是一定比舊策略好的問(wèn)題。新老策略模型究竟孰好孰壞呢?如何分辨?本文提出了4種解決方法，希望能給你帶來(lái)幫助。
任何在這個(gè)行業(yè)里做過(guò)較長(zhǎng)時(shí)間策略或模型的人，一定會(huì)經(jīng)歷模型策略迭代的過(guò)程;任何經(jīng)歷過(guò)模型策略迭代的人，只要有過(guò)獨(dú)立思考，一定會(huì)遇到新策略是不是一定比舊策略更好的問(wèn)題。
貸前也好，貸中也罷，當(dāng)前的風(fēng)險(xiǎn)表現(xiàn)都是當(dāng)前的這套風(fēng)險(xiǎn)策略的結(jié)果。當(dāng)我們要迭代模型策略的時(shí)候，KS也好，Lift值也罷，你會(huì)高估新模型策略的效果，更為可靠的說(shuō)法是，你會(huì)高估新版對(duì)舊版的提升效果。
因?yàn)樵u(píng)估的樣本，并非完全是應(yīng)用的樣本，這就由此產(chǎn)生了選擇偏差，或者說(shuō)幸存者偏差，我們是在“幸存者”上確保了B好于A。
常見(jiàn)的現(xiàn)象是，新模型永遠(yuǎn)比舊模型好，但卻并不一定是真的好。試問(wèn)，如果新模型新策略永遠(yuǎn)比舊模型舊策略更好的話，為什么業(yè)務(wù)沒(méi)有變得更好?
因?yàn)樯鲜鰡?wèn)題的必然性和重要性，新老策略模型究竟孰好孰壞，可以說(shuō)是這個(gè)行業(yè)最經(jīng)典的問(wèn)題。
我們今天來(lái)聊一聊解決辦法。思來(lái)想去，解決辦法似乎有四種，是哪四種呢?這四種又具備哪些優(yōu)劣點(diǎn)呢?
01 隨機(jī)流量
最徹底的一種是隨機(jī)流量。隨機(jī)一部分流量例如1%，讓其通過(guò)，給隨機(jī)額度隨機(jī)息費(fèi)，任其表現(xiàn)。也不需要100%通過(guò)，政策風(fēng)險(xiǎn)、欺詐風(fēng)險(xiǎn)等前置穩(wěn)定不變的策略還是可以照常有。
這部分流量，可以用來(lái)建模，可以用來(lái)評(píng)估，最重要的是用來(lái)評(píng)估。任你選什么樣本，任你做多少模型，任你套什么算法，只要在這個(gè)隨機(jī)流量上效果是更優(yōu)的，就有理由認(rèn)定為模型是更優(yōu)的。策略當(dāng)然也是一樣。
當(dāng)前，普適的前提還是需要滿足，例如樣本量得足夠大、時(shí)間窗口得足夠長(zhǎng)、模型本事穩(wěn)定性可靠性得盡可能高。因?yàn)�，真正的目�?biāo)是未來(lái)的隨機(jī)流量上的效果好。
這個(gè)辦法沒(méi)有任何壞處，除了費(fèi)錢。信貸領(lǐng)域，隨機(jī)流量的成本太高了，年化24%的產(chǎn)品，多少個(gè)好客戶的收益才能彌補(bǔ)一個(gè)壞客戶的成本?
所以，這個(gè)辦法用的并不多。只有頭部效應(yīng)明顯、營(yíng)收穩(wěn)定的平臺(tái)有可能會(huì)預(yù)留一部分資產(chǎn)預(yù)算用于隨機(jī)流量。
也不對(duì)，遠(yuǎn)超過(guò)24%年化的那個(gè)黃金年代，也適用，只是他們不是為了隨機(jī)流量而隨機(jī)，而是沒(méi)有太多風(fēng)控，暴力催收+高息可以搞定。
02 拒絕推斷
顧名思義，拒絕推斷就是對(duì)拒絕的樣本進(jìn)行表現(xiàn)的推斷，是去解決幸存者偏差的問(wèn)題。有了全量樣本的表現(xiàn)，模型策略孰好孰壞一算便知。
上面說(shuō)的隨機(jī)流量，其實(shí)就可以看作拒絕推斷的一種解決辦法。其他的辦法，不管是推斷拒絕樣本的表現(xiàn)也好，還是獲取拒絕樣本在其他產(chǎn)品上的表現(xiàn)也好，總歸是非真實(shí)的。你說(shuō)引入了信息，我說(shuō)引入了噪聲。
引入不精確的信息來(lái)解決精確性的問(wèn)題，總歸是值得懷疑的。
所以，對(duì)于拒絕推斷，實(shí)際上在用的是少之又少。因?yàn)樘嗉僭O(shè)，因?yàn)椴粶?zhǔn)，就不如不用，就像判別模型大體總是比生成模型有效。
03 冠軍挑戰(zhàn)者
國(guó)外來(lái)的叫法，但其實(shí)就是ABtest。
當(dāng)前線上的策略作為冠軍組，擬上線的策略作為挑戰(zhàn)組，挑戰(zhàn)組可以有多個(gè)。因?yàn)楸憩F(xiàn)期滯后且損失大，隨機(jī)切小部分流量給挑戰(zhàn)組，不宜過(guò)多，例如10%。任其表現(xiàn)，優(yōu)劣自明。
挑戰(zhàn)成功，則挑戰(zhàn)者成為新的冠軍者，可以全部切換新策略。但也可以不全切，甚至可以永遠(yuǎn)保持50%：50%的冠軍挑戰(zhàn)者。好處當(dāng)然是對(duì)比得更充分，且可以應(yīng)對(duì)突發(fā)情況，其一下線其一遞補(bǔ)。
ABtest當(dāng)然具備很強(qiáng)的嚴(yán)謹(jǐn)性，但在風(fēng)控領(lǐng)域，效率不行。前已備述，風(fēng)控不需要做ABTest?
ABtest最大的優(yōu)勢(shì)是在當(dāng)你無(wú)法評(píng)估多個(gè)方案的優(yōu)劣時(shí)，你不知道哪種字體、哪個(gè)顏色、哪種文案、多少度的倒角，究竟哪個(gè)好哪個(gè)壞，試了才知道。
而風(fēng)控領(lǐng)域，你做了一個(gè)模型，然后跟老板說(shuō)我也不知道有沒(méi)有更好，測(cè)了才知道。祝你好運(yùn)!
你做的模型一定是要離線評(píng)估更優(yōu)的，當(dāng)然，離線評(píng)估沒(méi)有線上真實(shí)去測(cè)的可靠性那么高，但也可以盡可能高。
04 分群評(píng)估
上述辦法的弱點(diǎn)都很明顯，那有沒(méi)有弱點(diǎn)沒(méi)那么明顯的辦法?有，那就是分群評(píng)估。
請(qǐng)君靜聽(tīng)。
分群評(píng)估當(dāng)然就是把整個(gè)客群分成很多的客群，分別看這些客群下的效果。關(guān)于分群的藝術(shù)，可以說(shuō)是互聯(lián)網(wǎng)業(yè)務(wù)中最重中之重的法寶。不信?我的客群觀，互聯(lián)網(wǎng)業(yè)務(wù)的流量之爭(zhēng)。
分群評(píng)估的奧秘在于，不同客群的通過(guò)率或者額度定價(jià)是不同的，受策略影響大的客群評(píng)估效果離真相越遠(yuǎn)，那受策略影響小的客群評(píng)估效果則離真相就會(huì)越近。
在一個(gè)通過(guò)率10%的客群上，新模型優(yōu)于舊模型易如反掌;在一個(gè)通過(guò)率90%的客群上，新模型優(yōu)于舊模型才是真的更優(yōu)。
分群評(píng)估在這個(gè)問(wèn)題上有效，取決于一個(gè)假設(shè)，那就是一個(gè)模型相比另一個(gè)模型要好，那會(huì)是全方位地好。如果模型B優(yōu)于模型A，那么不管是整體，還是各個(gè)客群，都是B更好。
反之亦然。在受樣本有偏影響更小的客群上，即可靠性高的客群，新模型優(yōu)于舊模型，則有理由認(rèn)為在其他客群上也會(huì)更優(yōu)。
值得強(qiáng)調(diào)的是，我們所討論的是模型策略迭代的對(duì)比，如果你針對(duì)的就是局部客群的優(yōu)化，則不在此列。
總結(jié)
前面三個(gè)你大概率都看過(guò)，那第四個(gè)值得你看四遍。
僅存的問(wèn)題是，局部客群的提升幅度能多大程度上代表整體?
我不喜歡過(guò)度依據(jù)數(shù)據(jù)來(lái)判斷道理，道理很多時(shí)候是可以跨越數(shù)據(jù)而成立的。如果一個(gè)數(shù)據(jù)不符合某個(gè)道理，我更傾向于懷疑數(shù)據(jù)而不是道理，但程度問(wèn)題必然還是依靠數(shù)據(jù)。
上述程度問(wèn)題我無(wú)法判斷。如你們有這樣的試驗(yàn)數(shù)據(jù)，或者有這樣的文獻(xiàn)結(jié)果，請(qǐng)告知我。以饗讀者。
來(lái)源：人人都是產(chǎn)品經(jīng)理
以上是關(guān)于用戶增長(zhǎng)師的相關(guān)信息，以供大家查看了解。想要了解更多用戶增長(zhǎng)師信息，第一時(shí)間了解用戶增長(zhǎng)師相關(guān)資訊，敬請(qǐng)關(guān)注唯學(xué)網(wǎng)用戶增長(zhǎng)師欄目，如有任何疑問(wèn)也可在線留言，小編會(huì)為您在第一時(shí)間解答!
