導(dǎo)讀:本文主要從偏向底層的推薦算法角度來闡述信息流推薦系統(tǒng)升級如何助力用戶增長。我們知道,內(nèi)容信息流實際上已經(jīng)算是信息流中比較小的概念,其中包含圖文信息流、短視頻信息流和內(nèi)容+電商信息流,而對于用戶來講實際上是一個消費時間的產(chǎn)品體驗,從而對內(nèi)容生態(tài)產(chǎn)生很大的助力 ( 包括PGC、UGC的短內(nèi)容生態(tài) ),這就是本文主要的問題——內(nèi)容信息流。本文旨在解決的問題是:基于推薦算法視角,來解決信息流產(chǎn)品用戶增長的問題。其中,主要問題就是如何提升留存率。
01
關(guān)于用戶增長
做過推薦系統(tǒng)方面工作的同學(xué)應(yīng)該清楚的知道,推薦工程里面主要包含推薦算法和搜索算法。而我們往往關(guān)注的是Stoptime這樣的指標(biāo),使用有監(jiān)督的模型來解決一系列問題,例如點擊率、單次時長等。對于留存問題和大盤規(guī)模問題在機(jī)制上,有很大的不足,比如:推薦新的篇章,從用戶方面和生態(tài)方面都存在著雙邊的幸存者偏差問題。1. 問題分析首先看下大的背景,目前是移動互聯(lián)網(wǎng)進(jìn)入下半場的大趨勢,過去粗放式的買量、廠商合作等模式越來越受到掣肘,未來將更加依賴精細(xì)化的用戶增長策略、產(chǎn)品和用戶體驗的細(xì)致打磨。經(jīng)典的AARRR模式會逐步轉(zhuǎn)向RARRA模式,提升產(chǎn)品留存、拉活、分享傳播等方式是構(gòu)建增長的主要戰(zhàn)場,對于一個內(nèi)容型產(chǎn)品來說,個性化算法對于用戶留存、拉活起到了決定性的作用。在信息流產(chǎn)品增長上,有三種比較成功的模式:
頭部內(nèi)容模式:一種比較"重"的模式,該類產(chǎn)品利用精準(zhǔn)的內(nèi)容采買,引入優(yōu)質(zhì)的頭部內(nèi)容創(chuàng)作者,利用頭部內(nèi)容的流量聚焦效應(yīng),迅速圈定大批用戶,并形成內(nèi)容APP特有的用戶心智;但是由于內(nèi)容頭部化,個性化算法在其中發(fā)揮的空間和作用較小,產(chǎn)品模式趨于同質(zhì)化。
下沉/激勵模式:該類產(chǎn)品參考了網(wǎng)絡(luò)游戲模式,從各個環(huán)節(jié)設(shè)計用戶里程碑和激勵,不斷引導(dǎo)新用戶一步步完成點擊、下刷、完整閱讀、分享、關(guān)注等目標(biāo)里程碑,并給予虛擬貨幣和真實貨幣的激勵,在短時間內(nèi)可以獲取大量下沉用戶。
生態(tài)構(gòu)建模式:該類產(chǎn)品構(gòu)建了完善的內(nèi)容生產(chǎn)和消費生態(tài),旨在通過推薦系統(tǒng)同時刺激生產(chǎn)和消費,實現(xiàn)兩端的同時增長。
因此,個性化的核心問題主要分為兩個:
用戶狀態(tài)建模:深度建模用戶狀態(tài)和行為,通過對于大數(shù)據(jù)集中分析,找到使用戶從低階狀態(tài)到高階狀態(tài)轉(zhuǎn)化的干預(yù)因子。也就是如何把新用戶轉(zhuǎn)化成低階用戶,然后從低階用戶轉(zhuǎn)化到高階用戶,用戶流失后如何召回,類似這樣的用戶狀態(tài)轉(zhuǎn)化。
個性化分發(fā)的升級:將用戶行為建模后,在多個場景下將這些干預(yù)動作轉(zhuǎn)化為個性化推薦和營銷,滿足用戶的消費需求。
2. 增長要素
什么樣的內(nèi)容會讓用戶覺得好?我們來看看用戶增長的要素:
優(yōu)質(zhì)內(nèi)容/時效性:內(nèi)容的更新頻率以及內(nèi)容的質(zhì)量是用戶增長的關(guān)鍵。
個性化體驗:千人千面,推薦的內(nèi)容符合當(dāng)下的需求。
多渠道獲客:多渠道獲客的能力也是增長的一個關(guān)鍵因素。
CPC vs LTV:維持CPC ( 按點擊收費 ) 和LTV ( 用戶對系統(tǒng)的長期價值 ) 的一個平衡。
算法如何助力增長呢?主要有以下幾點:
精細(xì)化買量/外投;
提升留存;
衡量推薦這樣Action的效用;
消除幸存者偏差。
02關(guān)于推薦算法推薦系統(tǒng)在國內(nèi)大概已經(jīng)有十多年的應(yīng)用,模型架構(gòu)和算法都有很大的升級。1. 推薦系統(tǒng)回顧
首先回顧下推薦系統(tǒng):
劣質(zhì)系統(tǒng):只會推薦一些低俗 ( 只滿足低層次需求 )、興趣受窄、搬運內(nèi)容 ( 無稀缺性 )、陳舊內(nèi)容的信息。
良性系統(tǒng):區(qū)別于劣質(zhì)系統(tǒng),在各個環(huán)節(jié)都會不斷增加信息量 ( 多樣性 ),不同層次的用戶引入 ( 用戶多樣性 ),各類高質(zhì)量內(nèi)容的引入 ( 內(nèi)容多樣性 ),內(nèi)容更具時效性 ( 提升媒體屬性 ),探索出用戶中長尾興趣:當(dāng)頭部內(nèi)容過期時從而更合理的承接。
問題在哪兒?主要存在以下問題:統(tǒng)計機(jī)器學(xué)習(xí)模型存在缺陷;長期的指標(biāo)觀測體系匱乏以及業(yè)務(wù)短視;缺乏合理的機(jī)制設(shè)計和產(chǎn)品視角。
2. 信息流推薦的增長目標(biāo)
用戶滿意度的衡量:
衡量用戶滿意度的指標(biāo)有很多,但主要集中在三大方面:內(nèi)容相關(guān)性、內(nèi)容質(zhì)量和內(nèi)容時效性,時效性一定程度上代表內(nèi)容的稀缺性。
ctr代表什么:一定需要ctr嗎?對內(nèi)容無認(rèn)知的用戶需要衡量用戶對列表頁素材的滿意度,對內(nèi)容有認(rèn)知的用戶還需要衡量用戶對內(nèi)容本身的滿意度。
用戶對內(nèi)容真正的認(rèn)可是通過點贊、分享、評論這種互動的方式來表現(xiàn)的,目前很多產(chǎn)品注重對互動的引導(dǎo)。
信息流推薦的增長目標(biāo),主要包括:
提升用戶留存、LTV
通過分發(fā)篩選出優(yōu)質(zhì)內(nèi)容、優(yōu)質(zhì)生產(chǎn)者:在傳統(tǒng)的認(rèn)知中,喜歡什么就給什么;但是更新后的認(rèn)知是創(chuàng)造需求和玩法,持續(xù)優(yōu)質(zhì)內(nèi)容生產(chǎn)
構(gòu)建內(nèi)容生態(tài):提高分發(fā)時效性;增加對upgc主的激勵 ( 曝光、點擊、粉絲、分成 );通過準(zhǔn)入、扶持打壓、激勵這種機(jī)制維持一個好的生態(tài)和增長。只有通過用戶和生態(tài)兩端的同時增長,才能讓產(chǎn)品得到一個飛輪效應(yīng),良性發(fā)展
03
核心增長機(jī)制
1. 雙邊冷啟動與流轉(zhuǎn)機(jī)制① 概述
在管理上也有這樣的一種思想,就是新人做老事、老人做新事,促進(jìn)事情穩(wěn)定向前推進(jìn),這就是流轉(zhuǎn)機(jī)制設(shè)計的主要思想。因此,如何對新用戶和新內(nèi)容做雙邊冷啟動就成了核心的問題。從算法來看,這是兩個不太相同的問題,但從整體設(shè)計思想來講,兩者又比較相近。新內(nèi)容通過相關(guān)性分析可以達(dá)到探索、分發(fā)、推廣的效果。進(jìn)而新用戶如何探索他的興趣?比如推薦股票,一定會先推薦近期走勢最好的股票;推薦科幻片,大概也是這樣,推薦評分最高的,這樣就可以實現(xiàn)新用戶規(guī)模本身的增長。對于新內(nèi)容來講,通過老用戶面對熱內(nèi)容的探索分析,也可以逐步推進(jìn)內(nèi)容生態(tài)的增長,其實這并不完全是算法的問題,這同樣是貫穿從內(nèi)容運營到產(chǎn)品設(shè)計整個體系的一個哲學(xué)思想。對于新和舊的定義是通過置信度對應(yīng)到多峰興趣級別,同時對應(yīng)到topic興趣的級別;對于新和老的準(zhǔn)確定義應(yīng)該是經(jīng)過某些流量的分發(fā)驗證,而不是簡單通過來的早晚;新內(nèi)容冷啟機(jī)制也叫爬坡機(jī)制。這里面帶來的技術(shù)問題包含:
基于表征學(xué)習(xí)的排序技術(shù),難以表達(dá)置信度;神經(jīng)網(wǎng)絡(luò)技術(shù)很難表達(dá)最重要的概念。
新內(nèi)容冷啟動技術(shù)選型業(yè)內(nèi)有很多的方案:隨機(jī)保量 ( 短期降效、對生態(tài)fairness問題相對友好、構(gòu)建寶貴的無偏數(shù)據(jù)集,消偏應(yīng)用 ) +Bandit類算法 ( 短程收斂性有一定劣勢 ) +uncertainty預(yù)估 ( 個人推薦 )
新用戶冷啟動的技術(shù)選型和新內(nèi)容還是有很大差別的,其主要是通過強(qiáng)化學(xué)習(xí)、聯(lián)邦學(xué)習(xí)這種人工智能的方式進(jìn)行分析,而通過統(tǒng)計學(xué),很難分析出人的偏好。
② 詳細(xì)實現(xiàn)
雙邊冷啟動與流轉(zhuǎn)機(jī)制的實現(xiàn),主要包括:a. 早期以顯式標(biāo)簽+統(tǒng)計連續(xù)值為主的推薦系統(tǒng)
Rank = pRelevance(topic | user)^ cu * pCTR( item | topic)^ ci 一方面用主題到用戶的相關(guān)性,另一方面用item到主題的統(tǒng)計值或者模型的估分,這里面會有兩個置信的概念,一個是用戶興趣的置信度,一個是item本身的置信度;
新item冷啟探索:ci低會提高cu,側(cè)重主題到用戶的相關(guān)性值以及預(yù)估穩(wěn)定性;
新用戶冷啟/興趣探索:cu低會提高ci,側(cè)重item到主題的統(tǒng)計值以及預(yù)估穩(wěn)定性;
純利用:對于老人做老事,ci高,cu也高,推薦的短期效率指標(biāo)是最高的,但是長期來看,如果只注重這種推薦的短期效率指標(biāo),不對新用戶和新內(nèi)容進(jìn)行探索,那長期就很難發(fā)展下去。
b. 以表征學(xué)習(xí)為主的推薦系統(tǒng),這塊主要是思考如何做成Risk-aware recommendation,目前構(gòu)建排序模型uncertainty的一種方式如下:
c. 超參學(xué)習(xí)/調(diào)控的目標(biāo)→系統(tǒng)全局E&E3. 消偏與因果推斷:背景介紹
對于幸存者偏差問題,我們是通過因果推斷的方式解決的。推薦系統(tǒng)其實是一個因果推斷的問題,通過用戶是什么樣的人,從而推測用戶會喜歡什么樣的item;對于推薦的causal effect,用戶會不會喜歡?效用有多大?會不會成為高價值客戶?如果推薦后,用戶會有hot moment,我們可以判定,推薦效果是好的。為什么會存在幸存者偏差呢?
推薦模型本身的樣本就是有偏的,user和item偏同時存在,比如用戶沒看喜歡的部分沒有參與到模型訓(xùn)練中。
對應(yīng)到item,就是selection-bias和fairness問題。比較典型的案例是youtube net,user embedding average pooling本質(zhì)上,依然是item-embased,后續(xù)諸多改進(jìn)沒有本質(zhì)的解決消偏問題。這樣就會導(dǎo)致后續(xù)推的東西比較類似,如果第一次推的好就會留下用戶,推得不好用戶就會很快流失。
4. 消除幸存者偏差:Casual Inference推薦框架
假設(shè):在因果推斷的推薦框架中,假設(shè)用戶變成低活、沉默的原因主要是用戶對之前推薦的內(nèi)容不滿意。方法:
構(gòu)建反事實鏡像人:利用無偏信息構(gòu)建相似度量,構(gòu)建低活user到高活user的匹配 ( Matching / Propensity Score / IPW,Causal Embedding )
去除低活、沉默用戶的leavecause,推薦高活鏡像人的stay causes
經(jīng)過實踐探索后發(fā)現(xiàn),causal inference框架將成為用戶增長方向的理論基石,對于消偏、效用衡量、歸因和生態(tài)公平性問題都有解法;同時,causal inference也為經(jīng)典推薦算法難題提供解法,如selection-bias、低活用戶畫像和推薦可解釋性等問題。5. 面向增長的用戶畫像
① 狀態(tài)里程碑表示法
經(jīng)典用戶畫像,主要要服務(wù)于運營的可解釋性、推薦或廣告系統(tǒng)的模型預(yù)估;通常建模成向量:高維離散、低維稠密以及多峰embedding。由于信息流產(chǎn)品具備連續(xù)型消費的特點 ( 同主題下的消費,upgc關(guān)注、直播 ),用戶消費行為可以在連續(xù)的時間上進(jìn)行切分,因此狀態(tài)表示法是對向量表示法的有力補(bǔ)充,狀態(tài)表示法主要包含活躍度、置信度,多峰興趣的置信度、活躍度;這樣將難度較大的"促留存"問題拆分為"目標(biāo)達(dá)成"問題,通過策略不斷使得用戶完成高階里程碑,將"促留存"的抓手聚焦在用戶狀態(tài)躍遷速度的提升上。② 全生命周期因果推斷
全生命周期的因果推斷:在構(gòu)建面向增長的用戶畫像時,需要采用全生命周期因果推斷:
狀態(tài)躍遷效用衡量
找到使用戶從低階到高階狀態(tài)轉(zhuǎn)化的干預(yù)因子:
· 內(nèi)容變化:新內(nèi)容上下架、熱點事件的產(chǎn)生和消逝
· 捕捉興趣的變化
· 分發(fā)幸存者偏差問題
根據(jù)causes的actions:
推斷后的數(shù)據(jù)統(tǒng)計到內(nèi)容采買和生產(chǎn)
干預(yù)場的設(shè)計和頁面組織
內(nèi)容供給指導(dǎo) ( 2b供應(yīng)鏈 )
構(gòu)建時間線上的的推薦系統(tǒng)來推斷個性化排序機(jī)制
6. 效用理論應(yīng)用
① 個性化排序機(jī)制
對于效用的普遍認(rèn)知是:
新用戶首次滿意消費和活動 ( 內(nèi)容質(zhì)量控制 )
低活用戶瀏覽深度和ctr ( 內(nèi)容質(zhì)量控制 )
高活用戶要增加新穎性和多樣性
個性化排序機(jī)制通過multi-task learning、強(qiáng)化學(xué)習(xí)和causal effect的方式,來進(jìn)行分狀態(tài)差異化的對用戶進(jìn)行躍遷效用最大化地排序推薦,無論是新用戶、低活還是各個細(xì)分狀態(tài)的用戶,都會讓用戶在平臺中覺得不是興趣收窄的,承擔(dān)著各自的職責(zé)。這些內(nèi)容在阿里都有落地并取得了很大的收益。② 生態(tài)效用技術(shù)
效用理論應(yīng)用是一個比較開放的課題,對于電商、短內(nèi)容的生態(tài)是不一樣的。供給歸因:
興趣覆蓋度、興趣點下的內(nèi)容質(zhì)量、時效性、競爭激烈程度
內(nèi)容供給知道(2B供應(yīng)鏈->內(nèi)容采買/生產(chǎn)/激勵機(jī)制)
up主激勵機(jī)制:
up主質(zhì)量體系:關(guān)注量曲線、生產(chǎn)效率、生產(chǎn)質(zhì)量,內(nèi)容正負(fù)反饋
輸入就是歷史分發(fā)數(shù)據(jù)(曝光量、點擊量、關(guān)注量、up主質(zhì)量體系)
計算:
· 曝光量->爆款成功率
· 最大化效用:激勵函數(shù)->內(nèi)容質(zhì)量和生產(chǎn)效率的擬合
輸出就是一定時間內(nèi)up主內(nèi)容的保量、限量range->在線排序的調(diào)控約束機(jī)制
未來方向:
流量貨幣化
更多經(jīng)濟(jì)學(xué)、機(jī)制設(shè)計理論的引入· 演化博弈論分析· 競對分析
以上就是針對面向用戶增長的信息流分發(fā)機(jī)制的分享,特別是短內(nèi)容領(lǐng)域利用推薦算法推動用戶增長的思考,分享比較偏技術(shù),是在阿里多年積累所沉淀下來的東西,沒有太多強(qiáng)調(diào)推薦算法模型的部分,更多是以整體的算法架構(gòu)和算法機(jī)制設(shè)計角度考量生態(tài)和用戶增長,里面很多問題也是特別難、特別開放的,歡迎大家一起交流探討。
今天的分享就到這里,謝謝大家。
來源:天師 DataFunTalk
以上是關(guān)于用戶增長師的相關(guān)信息,以供大家查看了解。想要了解更多用戶增長師信息,第一時間了解用戶增長師相關(guān)資訊,敬請關(guān)注唯學(xué)網(wǎng)用戶增長師欄目,如有任何疑問也可在線留言,小編會為您在第一時間解答!