數(shù)據(jù)中臺,一個老生常談的問題。關(guān)于數(shù)據(jù)中臺的解讀,公開的資料有很多,每個人似乎都有自己的理解。面對鋪天蓋地的各種名詞,難免會讓人有一種云山霧罩的感覺。本文將跳出數(shù)據(jù)中臺來淺聊一下數(shù)據(jù)中臺,拋卻這些高大上的解讀,回歸本質(zhì)。
首先,值得注意的是,數(shù)據(jù)中臺依然是當(dāng)下大數(shù)據(jù)領(lǐng)域最前沿的數(shù)據(jù)建設(shè)體系,數(shù)據(jù)中臺是傳統(tǒng)的數(shù)據(jù)倉庫的一種升級,是數(shù)據(jù)采集、建設(shè)、管理與使用的一整套體系。由此可見,數(shù)據(jù)中臺是一種數(shù)據(jù)建設(shè)體系,那要進(jìn)行數(shù)據(jù)體系化建設(shè),需要什么呢?組織、方法論和產(chǎn)品工具。所以,數(shù)據(jù)中臺不是孤立的一個產(chǎn)品,也不是數(shù)據(jù)加工處理之后做幾張報表那么簡單。
數(shù)據(jù)不是為了存儲,不是為了管理,更不是為了治理,而是為了服務(wù),為了價值化。
為什么做數(shù)據(jù)中臺
緣起
與其說為什么做數(shù)據(jù)中臺,不如說為什么使用數(shù)據(jù)。數(shù)據(jù)在如今時代的重要性是不言而喻的,因為數(shù)據(jù)很重要,所以我們要使用數(shù)據(jù)監(jiān)控業(yè)務(wù)的發(fā)展現(xiàn)狀,助力業(yè)務(wù)決策,賦能業(yè)務(wù)增長。一般而言,對于一些小企業(yè),其業(yè)務(wù)體量比較小,復(fù)雜度相對比較低,所以一些簡單數(shù)據(jù)處理就可以滿足日常對數(shù)據(jù)的使用。這里談的數(shù)據(jù)中臺,是針對于一些大型的數(shù)據(jù)化公司(互聯(lián)網(wǎng)科技公司),其業(yè)務(wù)體量之大和復(fù)雜度之高,使得一些簡單的數(shù)據(jù)處理難以滿足數(shù)據(jù)使用的需求,由此就應(yīng)運而生了很多數(shù)據(jù)處理的方法和工具。在實際的摸索實踐中,又不斷的沉淀升華,于是乎就有了一套標(biāo)準(zhǔn)和一些列可操作的SOP,這其中很多的環(huán)節(jié)都是數(shù)據(jù)倉庫的范疇,為了有別于數(shù)據(jù)倉庫,就起了一個數(shù)據(jù)中臺來進(jìn)行命名。所以,不需要糾結(jié)名字是什么,要搞懂其本質(zhì)是什么。
事物的發(fā)展不是直線前進(jìn)的,而是螺旋式上升的。所以,一定是在遇到問題并解決問題的過程中得以發(fā)展的。換句話說,新事物的出現(xiàn)是為了解決某些既定問題的。那在企業(yè)使用數(shù)據(jù)的過程中會遇到哪些問題呢?
數(shù)據(jù)標(biāo)準(zhǔn)問題
煙囪式開發(fā)及局部業(yè)務(wù)服務(wù)支撐,導(dǎo)致指標(biāo)同名不同口徑問題頻發(fā)
數(shù)據(jù)質(zhì)量問題
重復(fù)建設(shè)導(dǎo)致任務(wù)鏈冗長、任務(wù)繁多,計算資源緊張,數(shù)據(jù)時效性不好;口徑梳理定義的文檔沉淀到開發(fā)代碼實現(xiàn)之間存在脫節(jié),數(shù)據(jù)準(zhǔn)確性保障風(fēng)險高
需求響應(yīng)問題
煙囪式開發(fā)周期長、效率低,導(dǎo)致業(yè)務(wù)響應(yīng)速度慢
成本資源問題
煙囪式開發(fā)的重復(fù)建設(shè)浪費技術(shù)資源;上線難下線更難,源系統(tǒng)或業(yè)務(wù)變更不能及時反映到數(shù)據(jù)上,加之?dāng)?shù)據(jù)不標(biāo)準(zhǔn),研發(fā)維護(hù)難上加難的同時,大量無用計算和存儲造成資源浪費。
目標(biāo)
面對如此多的問題,需要一套體系化的方法和工具產(chǎn)品來支撐,方可一一破解。由此引申出來,做數(shù)據(jù)中臺要實現(xiàn)哪些目標(biāo),其實很簡單:降本提效賦能業(yè)務(wù)提升。
業(yè)務(wù)提升
使用數(shù)據(jù)的目的是輔助業(yè)務(wù)增長的,所以最本質(zhì),最原始的訴求或者目標(biāo)就是怎么讓業(yè)務(wù)增長。
效率提升
這個效率包括兩個方面,一方面是業(yè)務(wù)側(cè)因為有了數(shù)據(jù)的輔助而提效,另一方面產(chǎn)研側(cè)因為有了工具和方法論而提效。
降低成本
開源節(jié)流是亙古不變、顛撲不破的一條準(zhǔn)則,任何事情都要有成本的考量,無論是對于業(yè)務(wù)還是產(chǎn)研,在節(jié)省成本的情況下能夠不斷帶來業(yè)務(wù)增量才是一個可持續(xù)的發(fā)展。
怎么做數(shù)據(jù)中臺
前面提到,數(shù)據(jù)中臺是一整套體系,不是一個數(shù)據(jù)產(chǎn)品就能解決的事情。另外,無論對于數(shù)倉還是數(shù)據(jù)中臺,能否做成功并發(fā)揮作用,也取決于組織的環(huán)境。如果一個組織的基因是根植在數(shù)據(jù)上的,那實踐并推動起來就相對簡單,如果一個組織并沒有意識使用數(shù)據(jù)或者不需要那么復(fù)雜的數(shù)據(jù)場景,那么實現(xiàn)起來就會略顯困難。數(shù)據(jù)建設(shè)不是喊口號、做PPT吹水。它是一項復(fù)雜工程,涉及到方方面面,不是一蹴而就的,是在實踐中不斷完善的。如果一個組織壓根就沒有數(shù)據(jù)基因,那結(jié)果只會是空中樓閣。
與其說怎么做數(shù)據(jù)中臺,不如說怎么進(jìn)行體系化的數(shù)據(jù)建設(shè)。這樣理解起來就不是為了數(shù)據(jù)中臺而數(shù)據(jù)中臺?偨Y(jié)起來:
組織
方法論
產(chǎn)品工具
組織
組織是根本,皮之不存毛將焉附。一個組織對于數(shù)據(jù)的依賴程度和對數(shù)據(jù)的應(yīng)用深度,是數(shù)據(jù)中臺的根基。如果把數(shù)據(jù)中臺理解成一個工具,那組織就是使用工具的人,換句話說,組織是讓數(shù)據(jù)中臺運轉(zhuǎn)起來的載體。如果組織中的人對于數(shù)據(jù)的使用程度不高,數(shù)據(jù)中臺也就是成了無源之水無本之木了,也就很難推進(jìn)后續(xù)的事情,即便做成了,也不會有人使用,更不用說會發(fā)揮什么價值了。
所以,讓使用數(shù)據(jù)成為大家的肌肉反應(yīng),是一個前置條件。當(dāng)有了這個前置條件,就可以通過數(shù)據(jù)產(chǎn)品、數(shù)據(jù)應(yīng)用,從而讓組織中的人更好的理解和消費數(shù)據(jù)。
方法論
就像做開發(fā)一樣,任何一套框架背后還是有一套基本的思想。構(gòu)建數(shù)據(jù)中臺也有一套理論來支撐它:數(shù)據(jù)中臺的思想就是One Data方法論,由One Model、One ID、 One Service三個部分組成,包括數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、模型規(guī)范、數(shù)據(jù)研發(fā)規(guī)范、數(shù)據(jù)服務(wù)規(guī)范等一系列的建設(shè)標(biāo)準(zhǔn)外,還包括規(guī)范落地的相關(guān)工具去保障標(biāo)準(zhǔn)化、體系化的建設(shè)。
img
One Model:統(tǒng)一數(shù)據(jù)構(gòu)建和管理
數(shù)據(jù)是客觀的,只是存儲在數(shù)據(jù)庫一些表。關(guān)鍵是如何用數(shù)據(jù)表達(dá)、刻畫和呈現(xiàn)對應(yīng)的業(yè)務(wù)事實,這個背后需要有一套標(biāo)準(zhǔn),這個標(biāo)準(zhǔn)叫One Model。零散的數(shù)據(jù)存放在數(shù)據(jù)庫中,并不能直接拿來去使用的,需要加工處理之后才有業(yè)務(wù)意義。另外,現(xiàn)實中大家對于數(shù)據(jù)口徑的定義和解讀也是不一樣的,比如什么是PV,UV,什么是活躍,這些問題都會造成數(shù)據(jù)之間的阻塞。所以,只有數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一了,才能實現(xiàn)數(shù)據(jù)價值的最大化。
通俗來講,One Mode是數(shù)據(jù)建模的標(biāo)準(zhǔn),比如:
主題域建模:在數(shù)據(jù)中臺, 主題對應(yīng)一個宏觀的分析領(lǐng)域,比如交易、流量、商品、用戶等等。
維度建模:主題域的基礎(chǔ)之上,有響應(yīng)的維表和事實表。
One ID:統(tǒng)一數(shù)據(jù)萃取
One ID是數(shù)字化商業(yè)很重要的基礎(chǔ)設(shè)施,為了能夠更好的刻畫用戶,打通數(shù)據(jù)體系,通過ID Mapping 產(chǎn)生OneID,這一步之后我們的整個數(shù)據(jù)體系就將使用OneID作為用戶的ID,這樣我們整個數(shù)據(jù)體系才能得以打通。
OneService:統(tǒng)一數(shù)據(jù)服務(wù)
數(shù)據(jù)在一起不是為了統(tǒng)一,是為了Service。不提供服務(wù)的數(shù)據(jù),就只有成本,也感覺不到數(shù)據(jù)的價值。數(shù)據(jù)存在并且放在一起而不加以應(yīng)用,并不代表你有數(shù)據(jù)中臺。
OneService核心是服務(wù)的復(fù)用,能力包括:
利用主題邏輯表屏蔽復(fù)雜物理表的主題式數(shù)據(jù)服務(wù)
一般查詢+ OLAP 分析+在線服務(wù)的統(tǒng)一且多樣化數(shù)據(jù)服務(wù)
屏蔽多種異構(gòu)數(shù)據(jù)源的跨源數(shù)據(jù)服務(wù)
產(chǎn)品工具
有了方法論之后,還需要有一套工具產(chǎn)品來承接。如果只是大談特談方法論,而不去落地,那也很難將方法論延續(xù)、演進(jìn),所以方法論背后必須有一套工具。
數(shù)據(jù)采集
數(shù)據(jù)開發(fā)
數(shù)據(jù)質(zhì)量管理
元數(shù)據(jù)管理
數(shù)據(jù)資產(chǎn)管理
數(shù)據(jù)服務(wù)
數(shù)據(jù)安全
可以看出,數(shù)據(jù)中臺是一項很復(fù)雜的系統(tǒng)工程,涉及的工具產(chǎn)品有很多。當(dāng)然,這些產(chǎn)品工具都有對應(yīng)的云服務(wù),這樣開發(fā)人員就可以專注于數(shù)據(jù)和業(yè)務(wù),從而提升研發(fā)的效率。對于自研工具的企業(yè)而言,一般也是圍繞這些方面進(jìn)行開發(fā)的,指的注意的是,工具只是手段,不是目的。數(shù)據(jù)不是為了存儲,不是為了管理,更不是為了治理,而是為了服務(wù),為了價值化。
總結(jié)
本文首先介紹了數(shù)據(jù)中臺的起源,然后介紹了數(shù)據(jù)中臺的目標(biāo),接著介紹了如何去建設(shè)數(shù)據(jù)中臺,主要包括:組織、方法論和產(chǎn)品工具三個方面。希望本文對你有所幫助。
來源: 大數(shù)據(jù)技術(shù)與數(shù)倉
以上是關(guān)于用戶增長師的相關(guān)信息,以供大家查看了解。想要了解更多用戶增長師信息,第一時間了解用戶增長師相關(guān)資訊,敬請關(guān)注唯學(xué)網(wǎng)用戶增長師欄目,如有任何疑問也可在線留言,小編會為您在第一時間解答!