数据清洗

内容实用——理论与实践结合，重点突出应用

体系完善——构建完整的大数据专业解决方案

产教融合——高校企业共参与，对标行业标准

资源丰富——微课、课件、教案、源码、答案

前　　言

近年来，随着数字经济的快速发展，数据成为继土地、劳动力、资本、技术之后的第五大生产要素，在国家治理、社会发展和人民生活中的作用日益突出。而大数据是现代社会高科技发展的产物，是第四次工业革命最主要的内容之一，也是数字经济发展重要的推动力量。

当前，发展大数据已经成为国家战略，大数据在引领经济社会发展中的新引擎作用更加明显。2015年，国家印发《关于促进大数据发展的行动纲要》，第一次将大数据上升到国家战略高度，提出了我国大数据的顶层设计。此后，随着大数据底层设施逐渐成熟，大数据分析开始结合具体行业，向下游垂直行业应用延伸。

大数据必须经过清洗、分析、建模、可视化才能体现其潜在的价值。例如政府、银行和保险公司等内部存在海量的非结构化、不规则的数据，而只有将这些数据采集并清洗为结构化、规则的数据，才能提高公司决策支撑能力和政府决策服务水平，使之发挥应有的作用。

本书以理论与实践操作相结合的方式深入讲解了数据清洗的基本知识和实现的基本技术，在内容设计上既有上课时老师讲述的部分（包括详细的理论与典型的案例），又有大量的实训环节，双管齐下，极大地激发了学生的学习积极性和主动创造性，让学生在课堂上跟上老师的思维，从而学到更多的知识和技能。

本书特色如下：

（1）采用“理实一体化”教学方式：课堂上既有老师讲述的内容又有学生独立思考、上机操作的内容。

（2）丰富的教学案例：包含教学课件、习题答案等多种教学资源。

（3）紧跟时代潮流，注重技术变化：书中包含最新的大数据分析知识及一些开源库的使用。建议读者在阅读本书时使用3.7以上的Python程序版本，且需要安装MySQL和Kettle等软件。

（4）编写本书的老师都具有多年教学经验，做到重难点突出，能够激发学生的学习热情。

（5）配有微课视频：对本书中的重难点进行细致讲解，方便学生课后学习。

本书可作为大数据专业、人工智能专业、软件技术专业、云计算专业、计算机网络专业的教材，也可作为大数据爱好者的参考书。

本书建议学时为50学时，具体分布见下表。

章节 建议学时

数据清洗简介 4

数据清洗中的理论基础 6

文件格式及其转换 6

Excel数据清洗 4

Kettle数据清洗 8

Kettle与数据仓库 6

Python数据清洗 12

数据清洗综合实训 4

本书由黄源、刘智杨、孙大松任主编，陈勇、王曙光、刘广敏任副主编。其中，黄源编写第1章和第2章并负责统稿工作，刘智杨编写第3章，孙大松编写第4 章，陈勇编写第5章和第6章，王曙光编写第7章，刘广敏编写第8章。

在本书编写过程中，编者得到了中国电信金融行业信息化应用重庆基地总经理助理杨琛的大力支持，同时参阅了大量相关资料，在此一并表示感谢。

由于编者水平有限，书中难免存在疏漏甚至错误之处，恳请读者批评指正，编者电子邮箱：2103069667@qq.com。

编　者

2021年10月

前言
第1章　数据清洗简介 1
1.1　数据清洗概述 2
1.1.1　什么是数据清洗 2
1.1.2　数据清洗的原理 2
1.1.3　数据清洗的过程 3
1.2　数据质量管理 5
1.2.1　数据质量管理的含义 5
1.2.2　数据质量的评估 6
1.2.3　数据质量管理应用 7
1.3　数据清洗模型研究 8
1.3.1　数据清洗模型描述 8
1.3.2　数据清洗模型应用 9
1.4　数据清洗常用软件与工具 9
1.4.1　数据清洗常用软件 9
1.4.2　数据清洗常用工具 11
1.5　实训 11
练习1 13
第2章　数据清洗中的理论基础 14
2.1　微积分 15
2.1.1　微积分概述 15
2.1.2　微积分的作用 15
2.2　线性代数 15
2.2.1　线性代数概述 16
2.2.2　线性代数的定义 16
2.3　概率论与数理统计 21
2.3.1　概率论与数理统计概述 21
2.3.2　概率论与数理统计基本概念 21
2.4　最优化理论 26
2.4.1　最优化理论定义 26
2.4.2　凸函数 26
2.5　主成分分析 27
2.5.1　主成分分析概述 27
2.5.2　主成分分析的实现 27
2.6　数据清洗常见算法 28
2.6.1　哈希算法 29
2.6.2　字符串匹配算法 29
2.6.3　聚类算法 31
2.7　实训 33
练习2 34
第3章　文件格式及其转换 35
3.1　文件格式概述 36
3.1.1　文件格式简介 36
3.1.2　Windows中常见的文件格式介绍 36
3.2　数据类型与字符编码 37
3.2.1　数据类型 37
3.2.2　字符编码 37
3.3　跨平台数据传输格式 38
3.3.1　XML 38
3.3.2　JSON 39
3.4　Kettle中文件格式的运行与转换 40
3.4.1　文本文件的转换 41
3.4.2　XML文件的转换 43
3.4.3　JSON文件的转换 46
3.4.4　CSV文件的转换 48
3.5　实训 50
练习3 56
第4章 Excel数据清洗 57
4.1　认识Excel 58
4.1.1　Excel介绍 58
4.1.2　Excel数据清洗的特点 58
4.2　Excel数据清洗基本操作 58
4.2.1　Excel数据工具的认识 58
4.2.2　Excel数据工具的应用 59
4.3　使用Excel中的函数进行数据清洗 65
4.3.1　Excel中的函数介绍 65
4.3.2　Excel函数的具体应用 66
4.4　实训 70
练习4 71
第5章 Kettle数据清洗 72
5.1　Kettle数据清洗概述 73
5.1.1　Kettle数据清洗简介 73
5.1.2　Kettle数据清洗的认识 73
5.2　Kettle数据清洗基础 74
5.2.1　Kettle数据清洗基本操作 75
5.2.2　Kettle数据清洗的实现 75
5.3　实训 94
练习5 105
第6章　Kettle与数据仓库 106
6.1　数据仓库概述 107
6.1.1　什么是数据仓库 107
6.1.2　数据仓库的特点 107
6.2　Kettle中的数据仓库相关技术 107
6.2.1　Kettle连接数据库 107
6.2.2　Kettle成功连接数据库的其他操作 109
6.3　Kettle在数据仓库中的应用 111
6.3.1　Kettle读取数据库 111
6.3.2　Kettle迁移数据库 115
6.4　实训 117
练习6 119
第7章　Python数据清洗 120
7.1　Python数据清洗概述 121
7.1.1　Python数据清洗简介 121
7.1.2　Python扩展库的安装与导入 121
7.2　Python数据清洗基础 122
7.2.1　NumPy库的使用 122
7.2.2　Pandas库的使用 128
7.3　机器学习中的数据清洗 149
7.3.1　Seaborn库 149
7.3.2　对机器学习中的数据集进行分析清洗 152
7.4　Python中的时间序列 154
7.4.1　时间序列基础datetime 154
7.4.2　Pandas中的日期与时间工具 156
7.5　实训 157
练习7 165
第8章　数据清洗综合实训 166
8.1　Kettle输入记录排序 167
8.2　Kettle数据流优先级排序 171
8.3　Kettle生成记录排序 175
8.4　使用Python清洗数据 178
8.5　Python读取CSV文档 180
参考文献 186

1. 人工智能应用基础 [主编 杨缨 李佳]
2. 中华水文化（慕课版）（第二版） [毕雪燕 杨华轲 罗玲谊 等编著]
3. 电路与电子技术Ⅱ——电路分析基础 [主编 陈晓 金哲]
4. 人工智能概论（第二版） [主编　任云晖　丁红　徐迎春 ]
5. 信息时代美育之道 [主编　刘宏宇　黎娅]
6. 数字媒体交互设计项目式教程（微课版） [主编　苏陆]
7. Amazing！儿童英语自然拼读分级教材（全8册） [王玲　编著]
8. Spark大数据处理技术 [主编　刘仁山　周洪翠　庄新妍]
9. 人工智能算法与实践 [主编　梁琨　张翼英]
10. 计算机网络技术项目化教程（微课版） [主编 王艳萍 安华萍]
11. 电路设计与PCB制作实操教程 [主编 周永宏]
12. 电路与电子技术Ⅰ—数字电子技术 [主编 郑玉珍 王淑琴]
13. Java编程基础案例式教程 [主编 陈艳华 唐春兰]
14. Python语言同步案例习题精解 [主编 肖朝晖]
15. Excel在会计工作中的应用（第三版） [主 编 赵艳莉 耿聪慧]
16. 应用数学 [主编 刘东海 刘丽瑶]
17. Web用户界面设计与制作 [主编 赵娟]
18. 计算机网络基础创新教程（模块化+课程思政版） [主编 唐继勇 李旭]
19. 计算机应用技术基础案例教程 [主编 周丽娟 王璐]
20. Unity应用开发与实战（微课版） [主 编 程永恒]
21. PHP程序设计项目化教程 [主 编 杜海颖]
22. 文学基础与影视欣赏 [杨华轲 朱伟利 毕雪燕 罗玲谊]
23. 路由交换技术项目化教程 [主编　范国娟]
24. 信息技术基础立体化教程 [邹承俊 周洪林 刘和文 叶煜 ]
25. 大学计算机基础与计算思维 [主编 闵笛 汪莹]
26. 无线局域网技术与实践 [主编 唐继勇 刘思伶]
27. 信息技术基础项目化教程 [主编 王宏斌 王万丽 王芳]
28. 体育与健康 [主编 马驰 吴雅彬]
29. 大学计算机信息素养（第二版） [主编 卢山]
30. 全国计算机等级考试一级（MS Office）指导手册 [主编 王宏斌 孙元 禹晨]