數(shù)據(jù)分析工作中常見的錯誤及規(guī)避技巧
數(shù)據(jù)分析師工作中難免會犯一些錯誤。今天小編就分享一篇關(guān)于數(shù)據(jù)分析師工作常見的錯誤及規(guī)避技巧的文章。希望可以對數(shù)據(jù)分析師們有所幫助。
1、相關(guān)關(guān)系和因果關(guān)系之間的混亂
對于每個數(shù)據(jù)科學(xué)家來說,相關(guān)性和因果關(guān)系的錯誤會導(dǎo)致成本事件,最好的例子是《魔鬼經(jīng)濟學(xué)》的分析,關(guān)于因果關(guān)系的相關(guān)性錯誤,導(dǎo)致伊利諾斯州給本州的學(xué)生發(fā)書,因為根據(jù)分析顯示家里有書的學(xué)生在學(xué)校能直接考的更高分。進一步分析顯示,在家里有幾本書的學(xué)生在學(xué)業(yè)上能表現(xiàn)的更好,即使他們從來沒有讀過這些書。
這改變了之前的假設(shè)和洞察:父母通常買書的家庭,能營造愉快的學(xué)習(xí)環(huán)境。
大部分的數(shù)據(jù)科學(xué)家在處理大數(shù)據(jù)時假設(shè)相關(guān)關(guān)系直接影響因果關(guān)系。使用大數(shù)據(jù)來理解兩個變量之間的相關(guān)性通常是一個很好的實踐方法,但是,總是使用“因果”類比可能導(dǎo)致虛假的預(yù)測和無效的決定。要想實現(xiàn)利用大數(shù)據(jù)的最好效果,數(shù)據(jù)科學(xué)家必須理解相關(guān)關(guān)系和根源的區(qū)別。關(guān)聯(lián)往往是指同時觀察X和Y的變化,而因果關(guān)系意味著X導(dǎo)致Y。在數(shù)據(jù)科學(xué),這是兩個完全不同的事情,但是許多數(shù)據(jù)科學(xué)家往往忽視了它們的區(qū)別;谙嚓P(guān)性的決定可能足以采取行動,我們不需要知道原因,但這還是完全依賴于數(shù)據(jù)的類型和要解決的問題。
每位數(shù)據(jù)科學(xué)家都必須懂得——“數(shù)據(jù)科學(xué)中相關(guān)關(guān)系不是因果關(guān)系”。如果兩個關(guān)系出現(xiàn)彼此相關(guān)的情況,也不意味著是一個導(dǎo)致了另一個的產(chǎn)生。
2、沒有選擇合適的可視化工具
大部分的數(shù)據(jù)科學(xué)家專心學(xué)習(xí)于分析的技術(shù)方面。他們不能通過使用不同的可視化技術(shù)理解數(shù)據(jù),即那些可以令他們更快獲得洞察力的技術(shù)。如果數(shù)據(jù)科學(xué)家不能選擇合適的可視化發(fā)展模型,監(jiān)控探索性數(shù)據(jù)分析和表示結(jié)果,那么即使是最好的機器學(xué)習(xí)模型,它的價值也會被稀釋。事實上,許多數(shù)據(jù)科學(xué)家根據(jù)他們的審美選擇圖表類型,而不是考慮數(shù)據(jù)集的特征。這個可以通過定義可視化的目標避免。
即使數(shù)據(jù)科學(xué)家開發(fā)了一個最優(yōu)秀和最好的機器學(xué)習(xí)模型,它也不會大叫說“尤里卡”——所有這些所需要的是結(jié)果的有效可視化,可以理解數(shù)據(jù)模式的不同,和意識到它的存在可以被利用來獲得商業(yè)成果。常言道“一張圖片勝過1000個單詞!薄獢(shù)據(jù)科學(xué)家不僅要熟悉自己常用的數(shù)據(jù)可視化工具,也要理解數(shù)據(jù)有效可視化的原理,用令人信服的方式獲得結(jié)果。
解決任何數(shù)據(jù)科學(xué)問題的至關(guān)重要一步,就是要獲得該數(shù)據(jù)是關(guān)于什么的洞察力,通過豐富的可視化表達,可以形成分析基礎(chǔ)和建立相應(yīng)模型。
3、沒有選擇適當(dāng)?shù)哪P?驗證周期
科學(xué)家認為,建立了一個成功的機器學(xué)習(xí)模型,就是獲得了最大程度的成功。但是,這只是成功了一半,它必須要確保模型的預(yù)測發(fā)揮作用。許多數(shù)據(jù)科學(xué)家經(jīng)常忘記或者傾向性的忽視這樣的事實,就是他們的數(shù)據(jù)必須在指定的時間間隔進行反復(fù)驗證。一些數(shù)據(jù)科學(xué)家經(jīng)常犯的一個普遍性錯誤:如果和觀察到的數(shù)據(jù)吻合,就認為預(yù)測模型是理想的。已建立的模型的預(yù)測效果可以因為模型的關(guān)系在不斷變化而瞬間消失。為了避免這種情況,數(shù)據(jù)科學(xué)家最好的解決方式就是每個小時都對含有新數(shù)據(jù)的數(shù)據(jù)模型進行評分,或者基于模型的關(guān)系變化快慢逐日逐月評分。
由于幾個因素,模型的預(yù)測能力往往會變?nèi)?因此數(shù)據(jù)科學(xué)家需要確定一個常數(shù),用以確保模型的預(yù)測能力不能低于可接受的水平。有實例即數(shù)據(jù)科學(xué)家可以重建數(shù)據(jù)模型。能建立幾個模型和解釋變量的分布總是更好的,而不是考慮單個模型是最好的。
為了保留已建模型的預(yù)測效果和有效性,選擇迭代周期是非常重要的,如果做不到,可能會導(dǎo)致錯誤的結(jié)果。
4、無問題/計劃的分析
數(shù)據(jù)科學(xué)協(xié)會主席Michael Walker說: “數(shù)據(jù)科學(xué)的最高級用途就是設(shè)計實驗,提出正確的問題和收集正確的數(shù)據(jù)集,一切工作都要根據(jù)科學(xué)的標準。然后你將獲得結(jié)果,并解釋它!
數(shù)據(jù)科學(xué)是一個結(jié)構(gòu)化的過程,以明確的目標開始,隨后出現(xiàn)一些假設(shè)的問題,最終實現(xiàn)我們的目標。數(shù)據(jù)科學(xué)家往往站在數(shù)據(jù)之上而不考慮那些需要分析回答的問題。數(shù)據(jù)科學(xué)項目必須要有項目目標和完美的建模目標。數(shù)據(jù)科學(xué)家們?nèi)绻恢浪麄兿胍裁础罱K得到的分析結(jié)果將會是他們不想要的。
大多數(shù)數(shù)據(jù)科學(xué)項目最終是回答“是什么”的問題,這是因為數(shù)據(jù)科學(xué)家通過手頭的問題作分析而不遵循做分析的理想路徑。數(shù)據(jù)科學(xué)是使用大數(shù)據(jù)回答所有關(guān)于“為什么”的問題。數(shù)據(jù)科學(xué)家應(yīng)該通過整合以前未被整合的數(shù)據(jù)集,主動分析給與的數(shù)據(jù)集,回答以前沒人解答的問題。
為了避免這種情況,數(shù)據(jù)科學(xué)家應(yīng)該集中精力獲得正確的分析結(jié)果,這可以通過明確實驗,變量和數(shù)據(jù)準確性和清晰明白他們想要從數(shù)據(jù)中獲得什么實現(xiàn)。這將簡化以往通過滿足假設(shè)的統(tǒng)計方法來回答商業(yè)問題的過程。引用伏爾泰的一句話——“判斷一個人,是通過他的問題而不是他的答案!薄却_定明確的問題是及其重要的,能夠?qū)崿F(xiàn)任何企業(yè)的數(shù)據(jù)科學(xué)目標。
5、僅關(guān)心數(shù)據(jù)
根據(jù)博思艾倫咨詢公司的數(shù)據(jù)科學(xué)家Kirk Borne,“人們忘記在數(shù)據(jù)的使用,保護以及統(tǒng)計產(chǎn)生的問題如認為相關(guān)關(guān)系就是因果關(guān)系會產(chǎn)生倫理問題。人們忘記了如果你處理的數(shù)據(jù)足夠長,它就會告訴你任何事,如果你有大量的數(shù)據(jù),那么你就可以找到相關(guān)關(guān)系。如果人們擁有大數(shù)據(jù)他們會相信他們看到的任何事情”。
數(shù)據(jù)科學(xué)家常常因為得到來自多個數(shù)據(jù)源的數(shù)據(jù)而興奮,并開始創(chuàng)建圖表和可視化來做分析報告,忽視發(fā)展所需的商業(yè)智慧。這對任何組織來說都是危險的事情。數(shù)據(jù)科學(xué)家經(jīng)常給與數(shù)據(jù)太多決策制定的權(quán)力。他們不夠重視發(fā)展自身商業(yè)智慧,不明白分析如何令企業(yè)獲益。數(shù)據(jù)科學(xué)家應(yīng)該不僅僅讓數(shù)據(jù)說話,而且善于運用自身的智慧。數(shù)據(jù)應(yīng)該是影響決策的因素而不是數(shù)據(jù)科學(xué)項目決策制定的最終聲音。企業(yè)雇傭的數(shù)據(jù)科學(xué)家應(yīng)該是可以將領(lǐng)域知識和技術(shù)特長結(jié)合起來的,這是避免錯誤的理想情況。
6、忽視可能性
數(shù)據(jù)科學(xué)家經(jīng)常傾向性忘記方案的可能性,這將導(dǎo)致作出更多的錯誤決策。數(shù)據(jù)科學(xué)家經(jīng)常犯錯,因為他們經(jīng)常說,如果企業(yè)采取了X操作一定會實現(xiàn)Y目標。對于特定的問題這沒有唯一的答案,因此要確認數(shù)據(jù)科學(xué)家從不同可能性中所做的選擇。對指定問題存在不止一個可能性,它們在某種程度是不確定的。情景規(guī)劃和可能性理論是數(shù)據(jù)科學(xué)的兩個基本核心,不應(yīng)該被忽視,應(yīng)該用以確認決策制定的準確性頻率。
7、建立一個錯誤人口數(shù)量的模型
如果一個數(shù)據(jù)項目的目的是建立一個客戶影響力模式的模型,但是他們僅僅考慮那些具有高度影響力的客戶的行為數(shù)據(jù),這不是對的做法。建立該模型不僅要考慮那些具有高度影響力的客戶的行為數(shù)據(jù),也要考慮那些不怎么有影響力但是具有潛在影響力的客戶的行為數(shù)據(jù)。低估任何一邊人口的預(yù)測力量都可能導(dǎo)致模型的傾斜或者一些重要變量的重要性下降。
這些都是數(shù)據(jù)科學(xué)家在做數(shù)據(jù)科學(xué)時常見的錯誤。如果你能想到的任何其他常見的數(shù)據(jù)科學(xué)錯誤,我們很樂意在下面的評論聽到你的想法。