鑽石舞台

文科生轉行數據挖掘工程師的歷程

首先看到第一部分的內容，也就是我的轉行歷程。

我高中那會兒讀的是文科，大學期間學習了社會學專業。在本科期間，我也接觸過一些統計學的知識，線性代數等知識也學過，但當時對這些學科將來的用途並不是很清楚。

參加工作後，最初我從事產品運營的相關工作。在工作過程中，我接觸到了數據分析相關的內容。當時我感覺自己工作內容比較雜，也沒有拿得出來的技能。

我認為數據分析很有前景，無論是文科生還是理科生都可以學，學起來也比較有趣，內容不枯燥，所以我漸漸開始學習數據分析。

這裡我列了幾個對我比較關鍵的節點，這些對我未來的工作有了較大的影響。

首先就是學數據挖掘，用的是SPSS Modeler。比較容易上手，入門也比較簡單。SPSS Modeler雖然很好用，但其實很多時候不能滿足數據清洗的一些需求，也有一些劣勢，比如算法更新很慢，只有比較常規的算法，如果想用比較先進的算法，還是開源的軟件提供的比較多。

之後我學習了Python，比較容易上手，語法也比較簡潔。通過大量練習掌握了爬蟲、數據清洗、數據可視化等技能點。Python基本能滿足日常工作的需求。

第三個節點是我學習了SQL和統計知識。SQL本身基礎的知識不是特別複雜，然後主要靠練習，包括統計的一些知識，這也是我在之後的工作中不斷學習的。

掃碼領取學習資料

掌握數據分析技能

從事數據挖掘技能需求

目前我目前從事的是數據挖掘的相關工作，接下來講一下工作中所需要的一些技能。

這部分可以分為硬技能和軟技能。

硬技能這裡我分為理論基礎、算法能力、分析工具和通用工具。下面具體來看一看。理論基礎中統計知識是不可或缺的。後面的概率論、線性代數、微積分其實是跟偏算法相關。

算法方面主要需要一些機器學習跟深度學習的算法。比如分類、回歸、聚類等一些比較基礎的算法。

不同於算法工程師對算法的要求會比較高，像偏業務的數據挖掘的崗位，對算法的要求沒那麼高。你能夠做到理解算法的基本原理跟應用場景，能夠應用工具去實現它，能夠解讀算法最後的結果，也就差不多了，對數學的要求也並不太高。

關於深度學習，現在數據挖掘等算法崗也相對內卷，如果你不會也不了解深度學習就有點說不過去了，這方面可以了解一下。還需要掌握一些工具庫，現在深度學習的工具庫比較多，也有一些比較簡便的工具庫能協助實現相關的功能。

然後看到分析工具。其實目前主要用的也就是SQL跟Python，主要是看你公司的數據量，如果數據量不是很大的話，基礎的一些SQL知識就夠了，可能關係數據庫就可以了，包括在單機裡面，去運行Python也可以的；但是如果公司的數據量特別大的話，比如我目前是在Hadoop的平台做一些數據分析跟數據挖掘。如果本身的數據量就比較大，可能會用到Hive數據倉庫等。

再看到建模工具，目前其實主流是Python，還有集成了Pyspark，這是用得比較多的。然後建模的話，考慮到數據量Python在80%的情況上都是夠用的。

關於通用工具，Excel跟PPT都是比較基礎的。下面這個Shell是開發工具，很多時候會涉及到一些開發的工作，比如說標籤表的開發，然後就會用到Shell結合ETL自動化平台，調用需要的腳本進行自動化的運行。就相當於是每天它會自動的跑一些腳本，而不需要去手工或者是在單機操作，這些都是在平台上面自動完成的。

軟技能這塊簡單看一下，包括像業務的理解，比如你進入任何一個行業，你前幾個月會多花時間了解該行業的業務表，業務涉及的一些內容，核心的盈利業務是哪些。還有一些通用的能力，比如溝通、匯報能力等，因為你經常會需要將模型和分析報告講給別人聽，因此這些能力也是十分重要的。還有學習能力。數據行業的迭代比較快，需要有持續學習的能力。

掃碼領取學習資料

掌握數據分析技能

數據分析項目實操

用Python創建電信客戶流失模型

下面我們再來看一下數據分析在電信行業的應用，目前國內運營商運用大數據主要有五方面：

（1）網絡管理和優化，包括基礎設施建設優化和網絡運營管理和優化；

（2）市場與精準營銷，包括客戶畫像、關係鏈研究、精準營銷、實時營銷和個性化推薦；

（3）客戶關係管理，包括客服中心優化和客戶生命周期管理；

（4）企業運營管理，包括業務運營監控和經營分析；

（5）數據商業化指數據對外商業化。