大数据建设中会出现数据混乱、数据重复、数据缺失等问题,就需要对非标数据进行处理,涉及到数据治理与数据清洗,常常把数据治理和数据清洗搞混,可从以下方面进行区分:
一、概念不同
数据治理主要是宏观上对数据管理,由国家或行业制定制度,更具有稳定性。数据清洗是数据在指定数据规则对混乱数据进行清洗,规则由自己设定,数据清洗主要是微观上对数据的清洗、标准化的过程
二、处理方式
数据治理由各种行业制度,
三、角色方面
数据治理属于顶层设定、具有权威性,数据清洗由需要部门提出的,随意性比较强。
大数据建设中会出现数据混乱、数据重复、数据缺失等问题,就需要对非标数据进行处理,涉及到数据治理与数据清洗,常常把数据治理和数据清洗搞混,可从以下方面进行区分:
一、概念不同
数据治理主要是宏观上对数据管理,由国家或行业制定制度,更具有稳定性。数据清洗是数据在指定数据规则对混乱数据进行清洗,规则由自己设定,数据清洗主要是微观上对数据的清洗、标准化的过程
二、处理方式
数据治理由各种行业制度,
三、角色方面
数据治理属于顶层设定、具有权威性,数据清洗由需要部门提出的,随意性比较强。