我搞不清「大資料開發」「etl開發」「資料倉儲開發」這三個崗位的區別,求解?

時間 2022-01-06 05:12:49

1樓:Rapheal Cheung

個人愚見,etl主要是對資料的採集和儲存,數倉是資料進行大量清洗、建模(實時和離線),資料開發是對各種框架的二次開發和對資料平台的開發

2樓:王知無

目前從事資料領域的開發工作。勉強答一下。

大資料開發、ETL開發、資料倉儲開發這個三個方向其實有很多的交集。不能被完全區分開。

一般來說,我們講大資料開發本身是包含了ETL和資料倉儲的。但是這個領域目前真的太雜了,在不同公司【大資料開發】的工作內容可能完全不同。

ETL和資料倉儲比較明確,ETL主要是做資料的處理,資料倉儲顧名思義就是做公司資料的資料倉儲,主要是離線和實時資料倉儲。

大資料領域繁多,如何能夠系統的學習大資料??

3樓:riceconjee

個人理解。三個崗位交集甚多,不知道為何分得如此清楚,但在對知識要求上還是有所不同。1.

etl本身就是數倉構建的前端工作,主要跟各類業務資料庫打交道,抽取轉換並標準化資料,落地後供構建數倉使用,個人認為偏藍領。2.數倉建設主要工作是把etl落地的資料打散揉碎,按照數倉設計要求重新進行高冗餘度資料建模,以多維度多角度呈現資料。

構建多個資料集市,滿足應用不同需求。3.我理解大資料開發和數倉很像,主要不同一是資料型別繁雜,不限於結構化資料;二是需要大量大資料處理平台參與,如spark hadoop等。

商用大資料平台普遍起來,大資料開發工程師會失業嗎?

看屋雲 當然不會。從業內的實際情況看,不如說剛好相反,商用大資料平台的推廣程度越高,大資料開發工程師的崗位需求越多。讓我們從兩個方面來講清楚這個問題 1.目前在國內,大資料開發工程師的崗位需求與商用大資料平台的推廣呈同步推進關係。2.長期來看,商用大資料平台不能取代自研資料平台,也不會導致開發工程師...

當下大資料市場的火熱,和做大資料開發的人如洪水猛獸般湧進來,大資料工程師的核心競爭力是什麼

IT人劉俊明 作為一名科技 教育工作者,我來說說我的看法。首先,隨著大資料技術體系的不斷成熟和發展,在工業網際網路的推動下,大資料技術已經處在了落地應用的初期階段,相信隨著越來越多的行業資源和社會資源向網際網路匯集,大資料自身將構建起乙個龐大的價值空間,這必然會釋放出大量的人才需求。當前大資料領域的...

做大資料底層開發如何更好的發展?

我和你一樣,也在某大廠裡做同樣的事。目前的看法如下 1.不管幹什麼細分領域的開發,始終重視底層原理,演算法資料結構 作業系統 尤其Linux 計算機網路 設計模式等基本功一定打紮實,無論是更快的學習原始碼還是其他的技術知識,以及其他大廠的面試都是需要的。不是太忙的時候抽時間基本功多鞏固。只有碎片時間...