大数据技术可以分为哪几种类型 大数据技术主要可以分为几类

来源:互联网 2023-05-31 21:14:28


(相关资料图)

大数据技术可以分为数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现。以下是详细介绍:

1、数据收集:在大数据的生命周期中,数据采集处于第一个环节。根据MapReduce产生数据的应用系统分类,大数据的采集主要有4种来源:管理信息系统、Web信息系统、物理信息系统、科学实验系统。

2、数据存取:大数据的存去采用不同的技术路线,大致可以分为3类。第1类主要面对的是大规模的结构化数据。第2类主要面对的是半结构化和非结构化数据。第3类面对的是结构化和非结构化混合的大数据,

3、基础架构:云存储、分布式文件存储等。

4、数据处理:对于采集到的不同的数据集,可能存在不同的结构和模式,如文件、XML 树、关系表等,表现为数据的异构性。对多个异构的数据集,需要做进一步集成处理或整合处理,将来自不同数据集的数据收集、整理、清洗、转换后,生成到一个新的数据集,为后续查询和分析处理提供统一的数据视图。

5、统计分析:假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。

6、数据挖掘:目前,还需要改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

7、模型预测:预测模型、机器学习、建模仿真。

x

热门推荐

中国会展经济研究会年会在昆明举行 专家共话会展业高质量发展潜力

2022-09

宝马计划与韩国厂商进行合作 生产固态电池

2022-07

海南推动农贸市场全面落实禁塑 加强违禁塑料制品源头治理

2021-12

柴犬登登拍卖记:动物是如何被司法拍卖的

2021-12

江西:到2025年鄱阳湖区断面水质优良比例达到50%以上

2021-12

西藏森林消防:锻造雪域救援尖兵 打造高海拔山岳救援队伍

2021-12

加强人才融通发展 第10届海峡两岸水利青年工程交流营成功举办

2021-12

四川:空手夺刀救人的“95后”女民警捐献万元奖金传递爱心

2021-12

中国食品名市临沂坚持“三化融合” 争做“食安”守望者

2021-12

上海闵行一幼儿园教职工殴打幼儿 2名涉事人员已被行拘

2021-12

推荐阅读

大数据技术可以分为哪几种类型 大数据技术主要可以分为几类

2023-05

七匹狼:公司目前未使用AI技术用在中国市场|世界报资讯

2023-05

董其昌书昼锦堂记_关于董其昌书昼锦堂记的简介 天天微资讯

2023-05

中国·淳化荞麦产业高质量发展大会暨第二届淳化荞面饸饹文化旅游节落幕 全球今亮点

2023-05

沿河黑水镇:桃树挂满致富果 群众心头乐悠悠

2023-05

实时:大自然家居副总佘嘉浚是创始人儿子 曾说回来是因看到父亲很多白发

2023-05

心悦会员等级会掉吗(心悦会员等级)

2023-05

当“南粮北运”变为“北粮南运”,河南熟了,天下富了

2023-05

海蓝之谜官网旗舰店_海蓝

2023-05

宁夏—湖南特高压直流输电工程获核准

2023-05