在使用數(shù)據(jù)時(shí)，大多數(shù)人都同意你的見解和分析取決于所使用的數(shù)據(jù)質(zhì)量。基本上，垃圾數(shù)據(jù)輸入就是垃圾分析輸出。如果您想創(chuàng)建圍繞高質(zhì)量數(shù)據(jù)決策的文化，數(shù)據(jù)清理(也稱為數(shù)據(jù)清理和數(shù)據(jù)清理)是您的組織最重要的步驟之一。

一、什么是數(shù)據(jù)清洗?

數(shù)據(jù)清洗是在數(shù)據(jù)集中修復(fù)或刪除不正確、損壞、格式不正確、重復(fù)或不完整數(shù)據(jù)的過(guò)程。當(dāng)合并多個(gè)數(shù)據(jù)源時(shí)，數(shù)據(jù)重復(fù)或標(biāo)簽錯(cuò)誤的機(jī)會(huì)就很多。如果數(shù)據(jù)不正確，結(jié)果和算法就不可靠，即使它們看起來(lái)正確。在數(shù)據(jù)清洗過(guò)程中沒有一種絕對(duì)的方法來(lái)規(guī)定確切的步驟，因?yàn)檫@些過(guò)程會(huì)因數(shù)據(jù)集而異。但是，建立一個(gè)數(shù)據(jù)清洗流程模板非常重要，這樣您就知道每次都是正確的方式進(jìn)行清洗。

二、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換有什么區(qū)別?

數(shù)據(jù)清洗是移除數(shù)據(jù)集中不屬于的數(shù)據(jù)的過(guò)程。數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)從一種格式或結(jié)構(gòu)轉(zhuǎn)換為另一種格式的過(guò)程。轉(zhuǎn)換過(guò)程也可以稱為數(shù)據(jù)整理，或數(shù)據(jù)操作，將數(shù)據(jù)從一種“原始”數(shù)據(jù)形式轉(zhuǎn)換為另一種格式進(jìn)行存儲(chǔ)和分析。本文重點(diǎn)介紹了清理數(shù)據(jù)的過(guò)程。

三、如何清洗數(shù)據(jù)?

1.移除重復(fù)或無(wú)關(guān)的觀察結(jié)果

從數(shù)據(jù)集中移除不需要的觀察結(jié)果，包括重復(fù)的觀察結(jié)果或無(wú)關(guān)的觀察結(jié)果。重復(fù)的觀察結(jié)果在數(shù)據(jù)收集過(guò)程中經(jīng)常會(huì)出現(xiàn)。當(dāng)你從多個(gè)地方合并數(shù)據(jù)集、抓取數(shù)據(jù)或者從客戶或多個(gè)部門接收數(shù)據(jù)時(shí)，就有可能產(chǎn)生重復(fù)數(shù)據(jù)。去重是這個(gè)過(guò)程中需要考慮的最大的領(lǐng)域之一。無(wú)關(guān)的觀察結(jié)果是指你注意到的與你試圖分析的具體問(wèn)題不符的觀察結(jié)果。例如，如果你想分析千禧一代客戶的數(shù)據(jù)，但你的數(shù)據(jù)集包括了老一代的人，你可能會(huì)移除那些無(wú)關(guān)的觀察結(jié)果。這樣可以使分析更有效率，減少對(duì)主要目標(biāo)的分散注意力，同時(shí)創(chuàng)建一個(gè)更易管理和性能更好的數(shù)據(jù)集。

2.修復(fù)結(jié)構(gòu)性錯(cuò)誤

結(jié)構(gòu)性錯(cuò)誤是指在測(cè)量或傳輸數(shù)據(jù)時(shí)注意到奇怪的命名慣例、打字錯(cuò)誤或不正確的大小寫。這些不一致性可能導(dǎo)致錯(cuò)誤的類別或分類。例如，你可能會(huì)發(fā)現(xiàn)"N/A"和"Not Applicable"都出現(xiàn)了，但它們應(yīng)該被視為同一類別。

3.過(guò)濾不需要的異常值

通常情況下，會(huì)有一些只出現(xiàn)一次的觀察結(jié)果，一眼看上去似乎不符合你正在分析的數(shù)據(jù)。如果你有正當(dāng)理由移除一個(gè)異常值，比如不正確的數(shù)據(jù)輸入，那么這樣做將有助于提高你正在處理的數(shù)據(jù)的性能。然而，有時(shí)候一個(gè)異常值的出現(xiàn)會(huì)證明你正在研究的理論。記住：異常值存在并不意味著它是不正確的。這一步驟是為了確定該數(shù)字的有效性。如果一個(gè)異常值被證明對(duì)分析無(wú)關(guān)或者是一個(gè)錯(cuò)誤，考慮將其移除。

4.處理缺失數(shù)據(jù)

你不能忽略缺失的數(shù)據(jù)，因?yàn)樵S多算法不會(huì)接受缺失的值。處理缺失數(shù)據(jù)有幾種方法。雖然都不是最佳選擇，但都可以考慮。

作為第一選擇，你可以刪除具有缺失值的觀察結(jié)果，但這樣做會(huì)丟失信息，所以在刪除之前請(qǐng)注意這一點(diǎn)。

作為第二選擇，你可以根據(jù)其他觀察結(jié)果輸入缺失值;同樣，有可能會(huì)丟失數(shù)據(jù)的完整性，因?yàn)槟憧赡苁腔诩僭O(shè)而不是實(shí)際觀察結(jié)果操作的。

作為第三選擇，你可以改變數(shù)據(jù)的使用方式以有效地處理空值。

5.驗(yàn)證和質(zhì)量保證

在數(shù)據(jù)清理過(guò)程結(jié)束時(shí)，作為基本驗(yàn)證的一部分，你應(yīng)該能夠回答以下這些問(wèn)題：

數(shù)據(jù)是否合理?

數(shù)據(jù)是否遵循其領(lǐng)域的適當(dāng)規(guī)則?

它是否證明或證偽了你的工作理論，或者帶來(lái)了任何見解?

你是否能找到數(shù)據(jù)中的趨勢(shì)，以幫助你形成下一個(gè)理論?如果不能，那是因?yàn)閿?shù)據(jù)質(zhì)量問(wèn)題嗎?

由于不正確數(shù)據(jù)而導(dǎo)致的錯(cuò)誤結(jié)論可能會(huì)影響到糟糕的業(yè)務(wù)策略和決策。錯(cuò)誤的結(jié)論可能會(huì)導(dǎo)致在報(bào)告會(huì)議上尷尬的時(shí)刻，當(dāng)你意識(shí)到你的數(shù)據(jù)經(jīng)不起審查。在到達(dá)那一步之前，建立一個(gè)質(zhì)量數(shù)據(jù)的文化對(duì)于你的組織是很重要的。為了做到這一點(diǎn)，你應(yīng)該記錄可能用于創(chuàng)建這種文化的工具以及數(shù)據(jù)質(zhì)量對(duì)你意味著什么。

海馬課堂專業(yè)課程輔導(dǎo)

1.擁有4000+嚴(yán)選碩博學(xué)霸師資。針對(duì)學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師。

2.根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排。

3.中英雙語(yǔ)詳細(xì)講解課程中的考點(diǎn)、難點(diǎn)問(wèn)題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識(shí)，補(bǔ)足短板。