什麽是數(shù)據工程師(shī)？

數(shù)據工程師(shī)設計(jì)、構建和(hé)優化大(dà)規模數(shù)據收集、存儲、訪問和(hé)分析系統。它們創建數(shù)據科學家(jiā)、以數(shù)據為(wèi)中心的應用程序和(hé)其他數(shù)據消費者使用的數(shù)據管道(dào)。

這個(gè)IT角色需要大(dà)量的技(jì)術(shù)技(jì)能，包括SQL數(shù)據庫設計(jì)和(hé)多(duō)種編程語言的深入知識。數(shù)據工程師(shī)還(hái)需要溝通(tōng)技(jì)能，以便跨部門(mén)工作(zuò)，了解業務領導者希望從公司的大(dà)型數(shù)據集中獲得(de)什麽。

數(shù)據工程師(shī)通(tōng)常負責構建訪問原始數(shù)據的算(suàn)法，但(dàn)要做(zuò)到這一點，他們需要了解公司或客戶的目标，因為(wèi)使數(shù)據策略與業務目标相一緻非常重要，尤其是在涉及大(dà)型複雜數(shù)據集和(hé)數(shù)據庫時(shí)。

數(shù)據工程師(shī)還(hái)必須知道(dào)如何優化數(shù)據檢索，以及如何為(wèi)利益相關者開(kāi)發儀表闆、報告和(hé)其他可(kě)視(shì)化。根據組織的不同，數(shù)據工程師(shī)也可(kě)能負責傳達數(shù)據趨勢。較大(dà)的組織通(tōng)常有(yǒu)多(duō)個(gè)數(shù)據分析師(shī)或科學家(jiā)來(lái)幫助理(lǐ)解數(shù)據，而較小(xiǎo)的公司可(kě)能會(huì)依賴數(shù)據工程師(shī)來(lái)擔任這兩個(gè)角色。

數(shù)據工程師(shī)的角色

根據Dataquest，數(shù)據工程師(shī)可(kě)以扮演三個(gè)主要角色。這些(xiē)措施包括：

多(duō)面手：通(tōng)常為(wèi)小(xiǎo)團隊或小(xiǎo)公司工作(zuò)的數(shù)據工程師(shī)作(zuò)為(wèi)公司中為(wèi)數(shù)不多(duō)的“以數(shù)據為(wèi)中心”的人(rén)之一，身兼數(shù)職。這些(xiē)通(tōng)才通(tōng)常負責數(shù)據處理(lǐ)的每一步，從管理(lǐ)數(shù)據到分析數(shù)據。Dataquest表示，對于任何希望從數(shù)據科學過渡到數(shù)據工程的人(rén)來(lái)說，這都是一個(gè)很(hěn)好的角色，因為(wèi)小(xiǎo)型企業通(tōng)常不需要為(wèi)規模而設計(jì)。

以管道(dào)為(wèi)中心：通(tōng)常在中型公司中，以管道(dào)為(wèi)核心的數(shù)據工程師(shī)與數(shù)據科學家(jiā)一起工作(zuò)，幫助利用他們收集的數(shù)據。Dataquest稱，以管道(dào)為(wèi)中心的數(shù)據工程師(shī)需要“對分布式系統和(hé)計(jì)算(suàn)機科學的深入了解”。

以數(shù)據庫為(wèi)中心：在大(dà)型組織中，管理(lǐ)數(shù)據流是一項全職工作(zuò)，數(shù)據工程師(shī)專注于分析數(shù)據庫。以數(shù)據庫為(wèi)中心的數(shù)據工程師(shī)跨多(duō)個(gè)數(shù)據庫使用數(shù)據倉庫，并負責開(kāi)發表模式。

數(shù)據工程師(shī)職位描述

數(shù)據工程師(shī)負責管理(lǐ)和(hé)組織數(shù)據，同時(shí)關注可(kě)能影(yǐng)響業務目标的趨勢或不一緻性。這是一個(gè)技(jì)術(shù)性很(hěn)強的職位，需要編程、數(shù)學和(hé)計(jì)算(suàn)機科學等領域的經驗和(hé)技(jì)能。但(dàn)是，數(shù)據工程師(shī)還(hái)需要軟技(jì)能來(lái)向組織中的其他人(rén)傳達數(shù)據趨勢，并幫助企業利用其收集的數(shù)據。數(shù)據工程師(shī)最常見的職責包括：

開(kāi)發、構建、測試和(hé)維護體(tǐ)系結構

使體(tǐ)系結構與業務需求保持一緻

數(shù)據采集

開(kāi)發數(shù)據集流程

使用編程語言和(hé)工具

确定提高(gāo)數(shù)據可(kě)靠性、效率和(hé)質量的方法

對行(xíng)業和(hé)商業問題進行(xíng)研究

使用大(dà)型數(shù)據集解決業務問題

部署複雜的分析程序、機器(qì)學習和(hé)統計(jì)方法

為(wèi)預測性和(hé)規範性建模準備數(shù)據

使用數(shù)據查找隐藏模式

使用數(shù)據發現可(kě)以自動化的任務

基于分析向利益相關者提供更新

數(shù)據工程師(shī)vs.數(shù)據科學家(jiā)

數(shù)據工程師(shī)和(hé)數(shù)據科學家(jiā)經常密切合作(zuò)，但(dàn)發揮着截然不同的作(zuò)用。數(shù)據工程師(shī)負責開(kāi)發、測試和(hé)維護數(shù)據管道(dào)和(hé)數(shù)據架構。數(shù)據科學家(jiā)利用數(shù)據科學從大(dà)量結構化和(hé)非結構化數(shù)據中發現見解，以塑造或滿足特定的業務需求和(hé)目标。

數(shù)據工程師(shī)vs.數(shù)據架構師(shī)

數(shù)據工程師(shī)和(hé)數(shù)據架構師(shī)的角色密切相關，經常混淆。數(shù)據架構師(shī)是将業務需求轉化為(wèi)技(jì)術(shù)需求并定義數(shù)據标準和(hé)原則的高(gāo)級幻想家(jiā)。他們可(kě)視(shì)化并設計(jì)組織的企業數(shù)據管理(lǐ)框架。數(shù)據工程師(shī)與數(shù)據架構師(shī)合作(zuò)創建該願景，構建和(hé)維護數(shù)據架構商的數(shù)據框架指定的數(shù)據系統。