首頁Python+大數據學習常見問題正文

大數據培訓：數據清洗的策略是什么?

更新時間:2022年09月02日09時30分來源:傳智教育瀏覽次數:

好口碑IT培訓

　　在數據倉庫環(huán)境中，數據清洗可以在不同階段實現，并且存在不同的清洗策略，目前數據清洗的策略主要分為一般的數據清洗策略和混合的數據清洗策略。下面針對數據清洗的兩種策略進行講解。

　　1.一般的數據清洗策略

　　按照數據清洗的實現方式與范圍劃分，一般分為手工清洗策略、自動清洗策略、特定應用領域的清洗策略以及與特定應用領域無關的清洗策略，這4種清洗策略的具體介紹如下。

　　·手工清洗策略，即通過人工直接修改“臟”數據。

　　·自動清洗策略，即通過編寫專門的應用程序檢測并修改“臟”數據。

　　·特定應用領域的清洗策略，即根據概率統(tǒng)計學原理檢測并修改數值異常的記錄。

　　·與特定應用領域無關的清洗策略，即根據相關算法檢測并刪除重復記錄。

　　2.混合的數據清洗策略

　　混合的數據清洗策略主要以自動清洗為主。在數據倉庫的數據初次裝載階段和增量裝載階段，可以通過編寫應用程序實現批量數據的自動清洗，但該清洗策略并不能完全涵蓋所有的錯誤類型。若無法按照已有策略識別某些錯誤類型，修改數據的工作就需要人工監(jiān)督和確認，這時系統(tǒng)會設定異常報警功能，通過用戶自身對錯誤的識別、理解和確認，最終實現數據清洗。

上一篇：Python大數據培訓：離散化連續(xù)數據 下一篇：大數據培訓：Hadoop1.x架構存在哪些缺點?