Hive编程技术与应用（第二版）

内容实用——理论与实践结合，重点突出应用

体系完善——构建完整的大数据专业解决方案

产教融合——高校企业共参与，对标行业标准

资源丰富——微课、课件、教案、源码、答案

再 版 前 言

现在是大数据时代，我们正以前所未有的速度和规模产生数据。数据资产正在成为与土地、资本、人力并驾齐驱的关键生产要素，并在社会、经济、科学研究等方面颠覆人们探索世界的方法，驱动产业间的融合与分立。大数据是用来描述巨大数据规模、复杂数据类型的数据集，它本身蕴含着丰富的价值。对这些数据的分析处理促进了许多优秀的海量数据分析平台的产生，Hadoop平台就是当前最为主流的一款。

Hive是Hadoop生态系统中必不可少的一个工具，它提供了一种SQL语言，可以查询存储在HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）中的数据或者Hadoop支持的其他文件系统，如MapR-FS、Amazon S3、HBase和Cassandra。Hive降低了应用程序迁移到Hadoop集群的复杂度，掌握SQL语句的开发人员可以轻松地学习并使用Hive。

本书在第一版的基础上修订了差错，升级软件版本并配套了微课资源和习题。全书共分10章，其中不仅有详细的理论讲解，还有大量的实战操作。具体内容如下：

第1章首先介绍了Hive的基本工作原理及HiveQL语句在Hive中执行的具体流程；其次介绍了Hive中的数据类型，主要包括基本数据类型和复杂数据类型；最后介绍了Hive的特点。

第2章详细介绍了Hive的基本架构，主要包括Hive的相关用户接口、Hive元数据库中的表结构和三种存储方式、Hive数据存储中的相关概念、Hive中文件格式的不同特性和区别。

第3章介绍了HiveQL的相关表操作。

第4章介绍了HiveQL的相关数据操作，主要包括数据的导入和导出。

第5章介绍了HiveQL查询语句中的不同语法和使用方式。

第6章介绍了Hive的完整安装过程。在此基础上给出Hive的不同访问方式，并基于Hive CLI方式给出相关操作的介绍，同时给出Hive数据定义的相关操作。

第7章介绍了Hive的自定义函数，给出了UDF、UDTF、UDAF各自的函数实现方式，并给出了具体的实现源码。

第8～10章给出了Hive的相关综合案例，将之前章节的内容通过实际案例串联起来，达到最终应用的目的。

本书由张铁红、张继山、那锐担任主编，林徐、孙帅、谌婧娇、王云担任副主编，参与编写的还有何姗姗。本书的编写得到北京百知教育科技有限公司和中国水利水电出版社的大力支持，在此表示感谢。

由于时间仓促，加之编者水平有限，书中难免存在不足之处，恳请读者提出宝贵的意见和建议。

编　者

2022年5月

第1章　Hive介绍 1
1.1　Hive的工作原理 1
1.2　Hive的数据类型 2
1.3　Hive的特点 3
本章小结 4
习题1 4
第2章　Hive架构 6
2.1　Hive用户接口 6
2.1.1　Hive CLI 6
2.1.2　HWI 7
2.1.3　Thrift服务 11
2.2　Hive元数据库 12
2.2.1　Hive元数据表结构 12
2.2.2　Hive元数据的三种存储模式 13
2.3　Hive数据存储 14
2.4　Hive文件格式 15
2.4.1　TextFile格式 15
2.4.2　SequenceFile格式 15
2.4.3　RCFile格式 15
2.4.4　ORC格式 15
本章小结 17
习题2 17
第3章　HiveQL表操作 19
3.1　内部表 19
3.2　外部表 23
3.3　分区表 25
3.3.1　静态分区 27
3.3.2　动态分区 28
3.4　桶表 30
3.5　视图 32
3.5.1　使用视图降低查询复杂度 33
3.5.2　使用视图来限制基于条件过滤的数据 33
3.5.3　动态分区中的视图和map类型 34
本章小结 34
习题3 34
第4章　HiveQL数据操作 36
4.1　装载数据到表中 36
4.2　通过查询语句向表中插入数据 37
4.3　单个查询语句中创建并加载数据 39
4.4　导出数据 39
本章小结 39
习题4 40
第5章　HiveQL查询 42
5.1　select...from语句 42
5.1.1　使用正则表达式来指定列 43
5.1.2　使用列值进行计算 43
5.1.3　算术运算符 44
5.1.4　函数 45
5.1.5　limit语句 48
5.1.6　列别名 49
5.1.7　嵌套select语句 49
5.1.8　case...when...then语句 49
5.2　where语句 49
5.2.1　谓词操作符 50
5.2.2　关于浮点数比较 51
5.2.3　like和rlike 52
5.3　group by语句 53
5.4　join语句 54
5.4.1　inner join 54
5.4.2　join优化 55
5.4.3　left outer join 56
5.4.4　right outer join 56
5.4.5　full outer join 56
5.4.6　left semi join 57
5.4.7　笛卡儿积join 57
5.4.8　map-side join 58
5.5　order by和sort by 58
5.6　含有sort by的distribute by 59
5.7　cluster by 60
5.8　类型转换 60
5.9　抽样查询 61
5.9.1　数据块抽样 61
5.9.2　分桶表的输入裁剪 62
5.10　union all 62
本章小结 63
习题5 63
第6章　Hive配置与应用 65
6.1　Hive安装与配置 65
6.2　Hive访问 68
6.3　Hive基本操作 70
6.3.1　Hive CLI命令行操作讲解 70
6.3.2　Hive的数据类型 74
6.3.3　Hive表的创建 75
6.3.4　Hive数据导入 76
6.3.5　Hive数据导出 78
6.4　Hive数据定义 80
6.4.1　内部表与外部表的区别 80
6.4.2　内部表的创建 80
6.4.3　外部表的创建 82
6.4.4　表的分区与桶的建立 83
6.4.5　删除表与修改表结构 89
6.4.6　HiveQL简单查询语句 90
6.4.7　where语句 93
6.5　Hive高级查询 93
本章小结 99
习题6 100
第7章　Hive自定义函数 102
7.1　UDF 102
7.2　UDTF 105
7.3　UDAF 107
7.4　Hive函数综合案例 112
7.4.1　Row_Sequence实现列自增长 112
7.4.2　列转行和行转列 113
本章小结 116
习题7 116
第8章　Hive综合案例（一） 118
8.1　项目背景与数据情况 118
8.2　关键绩效指标 119
8.3　开发步骤分析 120
8.4　表结构设计 120
8.5　数据清洗过程 121
8.5.1　定期上传日志至HDFS 121
8.5.2　编写MapReduce程序清理日志 122
8.5.3　定期清理日志至HDFS 124
8.5.4　查询清洗前后的数据 124
8.6　数据统计分析 125
8.6.1　借助Hive进行统计 125
8.6.2　使用HiveQL统计关键指标 125
本章小结 126
第9章　Hive综合案例（二） 127
9.1　项目应用场景 127
9.2　设计与实现 127
9.2.1　日志格式分析 127
9.2.2　建立表 127
9.2.3　程序设计 128
9.2.4　编码实现 129
9.2.5　运行并测试 130
本章小结 131
第10章　Hive综合案例（三） 132
10.1　应用场景 132
10.2　设计与实现 132
10.2.1　数据处理 132
10.2.2　使用Hive对清洗后的数据进行多维分析 134
10.2.3　在MySQL中建立数据库 137
10.2.4　使用Sqoop把分析结果导入到 MySQL中 138
10.2.5　程序设计与实现 139
10.2.6　运行并测试 139
本章小结 140
附录1　部分类代码 141
附录2　MySQL安装 153

1. 信息技术基础（麒麟操作系统+WPS Office） [主编　芮雪　蒋莉　王亮亮]
2. Office高级应用项目式教程（第2版） [主编 李观金 张倩文 黎夏克 ]
3. 巧用翻译学英语：英汉互译500例 [王学文 著]
4. 高等教育多维评价体系构建与高质量发展研究 [张妍 著]
5. 系统规划与管理师章节习题与考点特训（第二版） [主编 薛大龙]
6. 计算机操作系统实践指导（openEuler版） [主编 秦光 曾陈萍 岳付强]
7. 信息系统管理工程师真题及模考卷精析（适用机考） [主 编 薛大龙 程 刚 上官绪]
8. 航海类院校体育教育教学研究 [张利超 李宁 著]
9. 新时代背景下我国职业教育产教融合长效机制建设研究 [王玉贤 著]
10. 电路分析 [主编 李飞 毛先柏]
11. 信息系统管理工程师（适用第2版大纲）一站通关 [指尖疯　编著]
12. 传统山水画论解读与实践 [陈钠 著]
13. 网络工程师备考一本通（适配第6版考纲） [夏杰 编著]
14. 陈孝云的职教理想与情怀 [祝吉太 江传瑞 张义廷 著]
15. 地方本科院校电子信息学科课程思政案例集 [王甫]
16. Excel数据处理与分析（第二版） [主编 张志明 邹 蕾]
17. 网络工程师5天修炼（适配第6版考纲） [主编　朱小平 施游]
18. 仓储管理实务（第二版） [周宁武 编著]
19. 基于AE与C#的地理信息系统二次开发 [李小根 贾艳昌 乔翠平 姜彤 ]
20. 2023年长沙市文化和旅游业发展报告 [主编 陈莉]
21. 舞台化妆造型设计 [主编 刘思彤 张 涛 张忆雨]
22. 产教融合视角高校体育专业实践教学体系构建研究 [杨柳青 叶华兵 著]
23. 知识图谱及应用案例 [张善文 黄文准 于长青 陈明淑]
24. Python程序设计案例教程（微课版） [主编　石利平　田辉平　余以胜]
25. 皓月繁星：青少年儿童心理成长手册 [主　编　林赞歌 副主编　杜志南]
26. 材料力学 [章宝华 赵新胜 徐斌]
27. 系统集成项目管理工程师考试32小时通关（第3版） [主编　薛大龙 副主编　上官绪阳]
28. 软考论文高分特训与范文10篇——系统分析师（第二版） [薛大龙 邹月平 施游]
29. 黄河海勃湾水利枢纽防凌安全运行 [王战领 王丛发 范瑜彬 著]
30. 大学生心理健康教育 [方雄 著]