当前位置:首页>维修大全>综合>

一分钟了解互联网大数据分析(互联网大数据的五种特征)

一分钟了解互联网大数据分析(互联网大数据的五种特征)

更新时间:2024-01-31 10:01:12

一分钟了解互联网大数据分析

大数据分析(Big Data Analysis)是当前信息技术的一个重要应用领域,对我们的工作和生活产生着巨大的影响。

相对于传统的数据概念,“大数据”的定义为四个“V”:数量大(volume)、多样化(variety)、变化快(velocity)和有价值(value)。具体,请参阅我之前的文章《三分钟读懂大数据》。本文着重介绍对于大数据的分析方法。

大数据分析的流程一般为:

数据采集→数据传输→数据预处理→数据统计与建模→数据分析/挖掘→数据可视化/反馈。

下面依次加以说明:

数据采集:

数据采集的功能包括:

通过物联网设备采集数据。(参见《三分钟读懂物联网》)

通过在应用程序中插入特定代码(“埋点”)来采集数据。

将采集的数据传输到指定的服务器。

不论是采集数据,还是传输数据,都要求最大限度地保证数据的准确性、完整性和及时性,这就要求数据采集能处理很多细节方面的问题,比如用户标识、网络策略、缓存策略、同步策略、安全保障等。

数据预处理:

主要包括数据清理和数据整理。

1. 数据清理

数据清理是指发现并处理数据中存在的质量问题,如缺失、异常等。例如,某用户在填写调查问卷时,没有填写“年龄”一栏的信息,那么对于该用户填写的这条数据来说,年龄就是缺失值;异常是指虽然有值但值明显偏离了正常取值范围,如针对18~30岁成年人的调查问卷中,某用户填写调查问卷时将年龄误填为2。

必须处理好包含缺失值或异常值的数据,否则会严重影响数据分析结果的可靠性。

2. 数据整理

数据整理是指将数据整理为数据建模所需要的形式。例如,在建立房屋价格预测模型时,通常需要将对房价预测无用的数据项(如房屋的ID编号)去除,将用于预测目标值的特征(如房龄、朝向等)和目标变量(房屋价格)分开。

数据统计与建模:

数据统计是指对数据计算均值、方差等统计值,通过统计分析掌握数据特性,完成对已知数据的解释。建模则是根据已有数据建立模型以对未来数据进行预测、分类,解决实际应用问题。

数据分析/挖掘:

数据挖掘是从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程。

数据可视化/反馈:

数据可视化是指将数据

更多栏目