大数据导论

内容实用——理论与实践结合，重点突出应用

体系完善——构建完整的大数据专业解决方案

产教融合——高校企业共参与，对标行业标准

资源丰富——微课、课件、教案、源码、答案

随着物联网、移动互联网的兴起，全球数据呈爆炸式增长，各行各业都在经历大数据带来的革命，大数据时代已经到来。大数据具有体量巨大、速度极快、类型众多、价值巨大的特点，对数据从产生、存储、分析到利用提出了前所未有的新要求。为了响应社会发展需要，教育部于2016年开始在高等院校正式开设“数据科学与大数据技术”专业，本书正是为数据科学与大数据技术专业的“大数据导论”课程编写的教材。

本书旨在让大学新生对该专业相关的基本知识、典型技术、具体应用等有一个相对全面而直观的了解，在入门性的学习过程中提高对专业的认识，激发学生的专业学习兴趣。本书注重知识结构的基础性与完整性，确保技术内容的通用性、普适性与先进性，遵循教育规律，加强能力培养，同时精选行业应用案例，开阔学生视野，启发创新思维。本书在写作思路和内容编排上具有以下几个方面的特色。

（1）知识体系完整。本书包括大数据采集、预处理、存储管理、挖掘分析以及可视化等处理流程中的基本理论、方法和关键技术，涵盖数据科学与大数据技术专业比较完整的理论体系，脉络清晰，知识完整。

（2）理论与案例结合。本书在各部分知识的讲解中，融入了大量入门性的教学案例，做到深入浅出、图文并茂，帮助读者对大数据知识和技术进行深入理解，体现专业认知的引导性。

（3）注重实践应用。本书在各章节中配置了运用大数据工具解决问题的综合实践案例，通过实践内容的细致讲解和辅助的视频，能够帮助读者完成动手实践的环节，加深读者对专业知识的理解。

（4）适用范围广。本书是为高等院校数据科学与大数据技术专业的“大数据导论”课程编写的教材，可作为高职高专大数据技术与应用专业的教材，也可作为大学非计算机专业的本科生或研究生的通识课程教学用书以及大数据爱好者的科普读物。

本书共7章：数据与大数据时代、大数据获取和预处理、大数据存储与管理、大数据挖掘分析、大数据可视化、大数据处理技术和行业大数据应用。第1章介绍大数据的发展历程、大数据思维、数据科学的内涵以及大数据处理流程等；第2章至第6章以数据获取和预处理、数据存储管理、数据挖掘分析、数据可视化的大数据处理流程为主线，对大数据的关键技术进行讲解，进一步阐述当前典型大数据处理平台中的技术和方法；第7章介绍行业大数据的典型应用案例，让读者了解大数据在农业、教育、社交、旅游、交通、金融等多个行业中应用带来的巨大价值。

本书由苑迎春任主编，徐静、路小英、王超、董素芬任副主编，其中第1章由苑迎春、宋宇斐编写，第2章由程芳、王超编写，第3章由王超编写，第4章由路小英编写，第5章由董素芬、徐静编写，第6章由沈红岩、苑迎春编写，第7章由徐静、宋宇斐、孙洁丽、贺平编写，全书统稿工作由苑迎春完成。

本书参考了大量图书资料，也参考了大量网络资源，在编写过程中，河北农业大学信息科学与技术学院的研究生潘飞、何晨等做了大量辅助性工作，在此一并向他们表示衷心感谢。由于编者水平有限，加之时间仓促，书中难免存在错误和不妥之处，恳请读者批评指正。

编　者

2020年10月

第1章　数据与大数据时代 1
1.1　从数据到大数据 2
1.1.1　数据及其作用 2
1.1.2　大数据时代的到来 3
1.2　大数据概念 3
1.2.1　大数据定义 3
1.2.2　大数据结构 4
1.2.3　大数据特征 5
1.3　大数据思维 6
1.3.1　全样思维 6
1.3.2　容错思维 7
1.3.3　相关思维 8
1.4　数据科学的内涵 9
1.4.1　科学研究的第四范式 9
1.4.2　数据科学的内涵 10
1.4.3　数据科学对其他学科的影响 11
1.5　大数据处理技术 12
1.5.1　大数据处理流程 12
1.5.2　大数据计算模式 14
1.6　大数据应用 16
1.6.1　大数据的行业应用 16
1.6.2　大数据的商用途径 20
习题与思考 22
第2章　大数据获取和预处理 23
2.1　概述 24
2.1.1　数据的来源 24
2.1.2　数据的质量 25
2.1.3　数据预处理 26
2.2　大数据获取方法 27
2.2.1　分布式日志采集 27
2.2.2　网络爬虫 34
2.2.3　其他获取方法 44
2.3　大数据预处理技术 46
2.3.1　数据清洗 46
2.3.2　数据集成 49
2.3.3　数据归约 51
2.3.4　数据变换 55
2.3.5　Kettle数据转换实例 58
习题与思考 66
第3章　大数据存储与管理 68
3.1　概述 69
3.1.1　数据库管理技术 69
3.1.2　数据仓库管理技术 70
3.1.3　大数据存储管理技术 72
3.2　关系数据库存储与查询 74
3.2.1　关系数据模型 74
3.2.2　关系数据库管理系统 76
3.2.3　SQL结构化查询语言 77
3.3　大数据存储与查询 80
3.3.1　分布式文件系统 80
3.3.2　NoSQL数据库 81
3.3.3　NewSQL数据库 90
3.3.4　云数据库 91
3.3.5　大数据SQL查询引擎 93
习题与思考 96
第4章　大数据挖掘分析 98
4.1　概述 99
4.1.1　数据挖掘的概念 99
4.1.2　数据挖掘的流程 99
4.1.3　数据挖掘常用方法 100
4.1.4　数据挖掘常用工具 100
4.2　数据统计分析 101
4.2.1　数据的集中趋势 101
4.2.2　数据的离散程度 102
4.2.3　数据的相关性度量 103
4.3　数据挖掘方法 106
4.3.1　聚类分析 106
4.3.2　关联分析 107
4.3.3　分类分析 111
4.3.4　回归分析 116
4.4　数据分析应用举例 118
4.4.1　描述分析案例 118
4.4.2　相关分析案例 120
4.4.3　回归分析案例 120
习题与思考 123
第5章　大数据可视化 125
5.1　概述 126
5.1.1　数据可视化的目标 126
5.1.2　数据与可视化的关系 128
5.2　大数据可视化方法 129
5.2.1　统计数据可视化 130
5.2.2　关系数据可视化 132
5.2.3　时空数据可视化 133
5.2.4　文本数据可视化 134
5.3　可视化技术和工具 136
5.3.1　数据可视化工具 136
5.3.2　可视化编程语言 138
5.3.3　Web可视化技术 139
5.4　Excel数据可视化示例 140
5.4.1　对比—直方图 140
5.4.2　趋势—折线图 142
5.4.3　占比—饼状图 144
5.4.4　分布—散点图 147
5.4.5　多维数据—雷达图 148
5.4.6　综合应用—动态看板 149
5.5　Tableau数据可视化示例 150
5.5.1　气泡图 150
5.5.2　文字云 152
5.5.3　盒须图 153
5.5.4　地图 155
习题与思考 155
第6章　大数据处理技术 158
6.1 概述 159
6.1.1　集中式与分布式计算架构 159
6.1.2　大数据处理平台架构 161
6.1.3　典型的大数据计算平台 162
6.2　Hadoop分布式计算平台 164
6.2.1　Hadoop概述 164
6.2.2　Hadoop生态体系 166
6.2.3　Hadoop核心技术 171
6.3　Spark内存计算架构 178
6.3.1　Spark概述 178
6.3.2　Spark技术架构 179
6.3.3　Spark核心技术 181
习题与思考 185
第7章　行业大数据应用 187
7.1　农业大数据应用 188
7.1.1　概述 188
7.1.2　农业大数据在智慧棉花系统中的应用 189
7.1.3　农业大数据助力奶牛数字化精细养殖 190
7.1.4　农业大数据应用于农作物虫害预测分析 192
7.1.5　农业大数据支撑渤海粮仓增产增效 194
7.2　教育大数据应用 195
7.2.1　概述 195
7.2.2　教育大数据助力教学改革案例 196
7.2.3　教育大数据支持MOOC中学生
活跃度分析 197
7.2.4　教育大数据助力个性化学习 198
7.2.5　教育大数据支持贫困生精准管理 200
7.3　社交大数据应用 201
7.3.1　概述 202
7.3.2　社交大数据支撑个性化推荐 203
7.3.3　社交大数据服务识别风险客户 204
7.3.4　社交大数据应用于城市规划 205
7.4　旅游大数据应用 206
7.4.1　概述 206
7.4.2　旅游大数据助力精准营销 207
7.4.3　旅游大数据支撑智慧旅游 210
7.5　交通大数据应用 213
7.5.1　概述 213
7.5.2　城市交通大数据应用案例 214
7.5.3　铁路交通大数据应用案例 217
7.6　金融大数据应用 219
7.6.1　概述 219
7.6.2　金融大数据服务精准营销 220
7.6.3　金融大数据服务银行资源配置规划 223
7.6.4　金融大数据增强风险防控 226
7.6.5　金融大数据支撑普惠服务 227
习题与思考 229
参考文献 230
参考资料 232

1. Python程序设计案例教程 [主编 毛锦庚 钟肖英 周贤来 ]
2. 数据标注技术 [俞永飞]
3. 信息系统项目管理师案例分析一本通 [王树文]
4. 网络规划设计师5天修炼（第二版） [朱小平 施游]
5. 软考论文高分特训与范文10篇—信息系统项目管理师 [薛大龙]
6. 大数据营销 [丁慧洁 杨升炜]
7. 软考论文高分特训与范文10篇—网络规划设计师 [雷红艳 施游 朱小平]
8. 基于.NET Core框架的分布式系统架构设计 [汤佳 著]
9. 高职院校软件类专业“类上班制”人才培养模式研究 [杨智勇 王海洋 著]
10. 浮式圆柱型结构物涡激运动特性研究 [孙洪源 李 磊 林海花 著]
11. 信电类专门用途英语教程 [主编 宋晶]
12. 体育舞蹈教程 [主编 刘伟 陈志明 曾明]
13. VR-X3D虚拟现实开发与设计 [张金钊 张金镝 张帅晨 张]
14. 线性代数导学篇 [主编 史昱]
15. 信息技术基础实训与习题指导（Windows7+Office2016） [主编 周金容 唐天国]
16. 中考英语单词循环速记手抄本 [宋德伟 编著]
17. 运动控制系统安装调试与运行 [张燕 李兰云 王爱林]
18. Mr.Yang的魔法自然拼读 [杨家成]
19. 机械制图 [许淑珍 于利民]
20. 微积分（经管类）导学篇（下册） [王海棠 曹海军 周玲丽]
21. 大学生创新创业基础 [主编 姜国权 姜福佳]
22. 农产品云仓模式研究—以北京农产品流通物流供应链重构为例 [武晓钊 王成林 王春娟 等著]
23. 信息技术（微课版） [王云　徐江鸿　李清霞　罗学锋　]
24. 管理基础与实务 [主编 王凤基 颜汉军]
25. 高等数学导学篇（下册） [主编 李文婧 胡雷 尹金生]
26. 高等数学导学篇（上册） [主编 李文婧 胡雷 尹金生]
27. 高等数学（下册） [主编 李爱芹 胡雷 尹金生]
28. 高等数学（上册） [主编 李爱芹 胡雷 尹金生]
29. 庭院风骨—树、灌、篱 [创意房主 著]
30. Python语言程序设计教程 [郭其标 房宜汕]