数据仓库原理、设计与应用

信息技术的迅速发展和企业管理决策支持的迫切需要，在短短的几年内将数据仓库（Data Warehouse）从纯粹的理论研究迅速转化为决策支持领域中一种实用性极强的技术。数据仓库的发展将我们从简单的批处理、联机事务处理的信息处理时代带入了联机分析处理、数据仓库和数据挖掘的信息分析时代。这一发展过程具有内在的动力和外在的推力。企业在早期的信息化进程中所构建的联机事务处理系统为企业业务快速、准确地处理提供了基本条件，同时为企业积累了大量有价值的业务信息。但是这些处理只能支持企业的日常业务工作，而对企业的经营管理决策却很少能够提供支持。许多企业的经营管理人员在日趋严重的市场竞争压力下，开始着手建立数据存储--数据集市用于经营管理决策，以应对日益严酷的市场竞争。这些因素最终促进了数据仓库的发展与应用。数据仓库所包含的数据仓库技术、联机分析处理和数据挖掘技术不仅体现了当今世界上最先进的IT技术，而且还提供了能够对企业管理决策提供实际支持的系统。

数据仓库的建立不仅需要有各种建设工具，而且还需要有相应的数据支持，数据仓库的建设必须基于比较完善的信息化构架，只有在一定的信息化基础上，才能进行数据仓库的建设。数据仓库的建设是企业经营管理决策与信息化的结合过程，只有依照企业管理决策的实际需要，才能建设一个支持企业管理决策的数据仓库。数据仓库的建设是各种先进的信息处理技术与企业管理决策结合的过程。只有将OLAP技术、数据挖掘技术与数据仓库中庞大的数据相结合，与企业先进的管理决策方法相结合，才能使数据仓库在企业的经营管理决策中发挥巨大的作用。数据仓库的建设成功不仅取决于技术人员对数据仓库开发方法与开发工具的熟练应用，更取决于数据仓库能否得到熟练应用。可以毫不夸张地说，数据仓库的成功关键在于用户的应用情况，而不是数据仓库开发技术的熟练应用。因此，本书在介绍了数据仓库的开发模型和开发方法后，还用相当的篇幅介绍了数据仓库的管理与应用。其中包含了大量的数据仓库应用情况与应用案例，使读者可以了解如何利用数据仓库来降低企业的运营成本，建立更好的客户关系管理，提高产品的质量。

为使读者能够清楚地了解数据仓库的开发，本书介绍了数据仓库开发应用的生命周期。数据仓库的整个开发过程从数据仓库规划分析到设计实施，终结于应用管理，使读者可以了解到数据仓库开发应用的完整周期，以及如何处理在不同阶段中所遇到的问题。为使读者能够通过实际的数据仓库开发应用，以加深对数据仓库与数据挖掘的了解，本书还介绍了超市数据仓库规划、设计和实施实例，并在其中穿插介绍了SQL Server 2000在数据仓库开发应用中的实际应用，目的在于使读者能够更深入地了解数据仓库、联机分析处理与数据挖掘技术。

全书共分9章。第1章主要介绍数据仓库和数据挖掘技术的产生背景、发展、总体结构和使用技术；第2章从理论上介绍了数据仓库的开发模型--概念模型、逻辑模型、物理模型、元数据模型和数据粒度及聚集模型；第3章叙述了数据仓库开发应用的完整周期，涉及到数据仓库的开发规划、需求分析、设计、实施、使用及支持等；第4章阐述了联机分析技术（OLAP）的基本概念、结构、实施以及OLAP工具评价标准；第5章详细介绍了传统的数据挖掘技术--统计分析类数据挖掘技术、工具、应用及应用中的问题；第6章介绍了现代数据挖掘技术与发展，其中包含了规则类、神经网络类、遗传算法类和粗糙集类型等现代挖掘技术，同时还介绍了知识发现工具与应用，以及文本挖掘、Web挖掘、可视化数据挖掘、空间数据挖掘和分布式数据挖掘等数据挖掘技术的未来发展；第7章从数据仓库的用户、应用案例、运行技术管理、元数据管理、应用中的法律问题以及成本与效益分析等角度说明了数据仓库的应用和管理中的问题；第8章和第9章分别介绍了数据仓库的开发和应用实例，以及SQL Server 2000在数据仓库开发中的具体应用。

参加本书研讨并提供实例资料的还有陈京民、朱慧云、杜冬军、俞强、吴受珠、祁泌午、王武平、葛福江、徐航、闫朝阳、李晖、沈宗军、刘宇英等。另外，孙春亮为本书的顺利出版做了大量的筹备和组织工作。在此对他们的辛勤工作表示深深的谢意！

由于数据仓库技术正处于日新月异的发展阶段，加之编者水平有限，书中谬误或疏漏之处在所难免，恳请广大读者不吝指教，欢迎联系：

E_mail：cjm20020101@sina.com。

作 者

2004年2月

前言
第1章 数据仓库与数据挖掘概述 1
1.1 数据仓库的发展与展望 1
1.1.1 从传统数据库到数据仓库 1
1.1.2 数据仓库的定义与基本特性 3
1.1.3 数据仓库的未来发展 7
1.2 数据仓库的体系结构 8
1.2.1 数据仓库的概念结构 8
1.2.2 虚拟数据仓库结构 8
1.2.3 数据集市结构 9
1.2.4 单一数据仓库结构 9
1.2.5 分布式数据仓库结构 10
1.3 数据仓库的参照结构 11
1.3.1 数据仓库基本功能层 11
1.3.2 数据仓库的管理层 18
1.3.3 数据仓库的元数据管理层 19
1.3.4 数据仓库的环境支持层 20
1.4 数据挖掘技术概述 21
1.4.1 数据挖掘的发展 21
1.4.2 数据挖掘的定义 22
1.5 数据挖掘技术与工具 24
1.5.1 常用的数据挖掘技术 24
1.5.2 常用数据挖掘工具 26
1.5.3 数据挖掘工具的评价标准 28
1.5.4 常用数据挖掘工具的选择 29
1.6 数据挖掘的应用 30
1.6.1 数据挖掘与数据仓库 30
1.6.2 数据挖掘过程 31
1.6.3 数据挖掘的用户 35
第2章 数据仓库开发模型 36
2.1 数据仓库开发模型概述 36
2.2 数据仓库概念模型 37
2.2.1 概念数据模型 37
2.2.2 规范的数据模型 40
2.2.3 星型模型 41
2.2.4 雪花模型 43
2.3 数据仓库的逻辑模型 43
2.3.1 事实表模型设计 45
2.3.2 维模型设计 47
2.4 数据仓库的物理模型 47
2.4.1 数据仓库物理模型的存储结构 47
2.4.2 数据仓库物理模型的索引构建 48
2.4.3 数据仓库物理模型的优化问题 52
2.5 数据仓库的元数据模型 53
2.5.1 元数据的类型与组成 53
2.5.2 元数据在数据仓库中的作用 55
2.5.3 元数据的收集 58
2.6 数据仓库的粒度和聚集模型 59
2.6.1 数据粒度的划分 60
2.6.2 确定粒度的级别 61
2.6.3 数据仓库的聚集模型确定 62
2.6.4 聚集模型的处理 62
2.6.5 聚集模型的管理 63
第3章 数据仓库开发应用过程 64
3.1 数据仓库开发应用的特点 64
3.1.1 数据仓库开发应用的阶段性 64
3.1.2 数据仓库的螺旋式开发方法 65
3.1.3 数据仓库的开发特点 66
3.2 数据仓库的规划 67
3.2.1 选择数据仓库的实现策略 67
3.2.2 确定数据仓库的开发目标和实现范围 68
3.2.3 数据仓库的结构 70
3.2.4 数据仓库使用方案和项目规划预算 71
3.3 数据仓库的概念模型设计 72
3.3.1 概念模型的需求调查 72
3.3.2 概念模型的定义 73
3.3.3 概念模型的分析 76
3.3.4 概念模型的设计 77
3.3.5 概念模型文档与评审 79
3.4 数据仓库的逻辑模型设计 80
3.4.1 分析主题域 81
3.4.2 粒度层次和聚集的确定 82
3.4.3 确定数据分割策略 82
3.4.4 关系模型定义 83
3.4.5 数据仓库的实体定义 83
3.4.6 数据仓库的数据抽取模型 84
3.4.7 数据仓库元数据模型的建立与应用 89
3.4.8 逻辑模型的评审 90
3.5 数据仓库的物理模型设计 91
3.5.1 数据仓库设计的规范 91
3.5.2 确定数据结构的类型 92
3.5.3 数据仓库索引的创建 93
3.5.4 确定数据的存放位置 94
3.5.5 确定存储分配 94
3.5.6 数据仓库物理模型的评审 95
3.6 数据仓库的实施 96
3.6.1 数据仓库与业务处理系统接口的设计 97
3.6.2 数据仓库的创建 97
3.6.3 数据仓库的数据加载、复制与发行 98
3.6.4 数据仓库的中间件设计 99
3.6.5 数据仓库的测试 99
3.7 数据仓库的应用、支持和增强 100
3.7.1 数据仓库的用户培训及支持 100
3.7.2 数据仓库的使用方式 101
3.7.3 数据仓库使用中的数据刷新 102
3.7.4 数据仓库的增强 103
第4章 OLAP技术 105
4.1 OLAP技术概述 105
4.1.1 OLAP的发展 105
4.1.2 OLAP的特性 105
4.2 OLAP与多维分析 106
4.2.1 多维基本概念 106
4.2.2 多维分析 109
4.2.3 维的层次关系 111
4.2.4 维的类关系 111
4.2.5 OLAP与数据仓库的关系 112
4.3 OLAP的实施 113
4.4 多维OLAP与关系OLAP 114
4.4.1 多维数据库 114
4.4.2 多维数据库的数据存储 116
4.4.3 多维数据库与数据仓库 116
4.4.4 MOLAP的创建与功能 117
4.4.5 ROLAP实现的三个规则 118
4.4.6 ROLAP的多维表示方法 119
4.4.7 ROLAP的创建与功能 121
4.5 OLAP技术评价 122
4.5.1 MOLAP与ROLAP的比较 122
4.5.2 OLAP的衡量标准 124
4.5.3 OLAP服务器和工具的评价标准 126
第5章 传统数据挖掘技术 128
5.1 传统的统计分析类数据挖掘技术 128
5.1.1 统计与统计类数据挖掘技术 128
5.1.2 数据的聚集与度量技术 129
5.1.3 柱状图数据挖掘技术 129
5.1.4 线性回归数据挖掘技术 131
5.1.5 非线性回归数据挖掘技术 133
5.1.6 聚类数据挖掘技术 133
5.1.7 最近邻数据挖掘技术 140
5.2 统计分析类工具 141
5.2.1 统计类数据挖掘工具 141
5.2.2 统计类数据挖掘的商业分析 142
5.2.3 统计类数据挖掘工具的功能 142
5.2.4 统计类数据挖掘工具??SPSS 143
5.3 统计分析类工具的应用 146
5.3.1 趋势分析 146
5.3.2 时序分析 147
5.3.3 周期分析 147
5.4 统计分析类工具应用的问题 148
5.4.1 统计类数据挖掘的预处理问题 148
5.4.2 统计分析应遵循的基本原则 150
5.4.3 统计分析的步骤 151
5.4.4 统计类数据挖掘的性能问题 151
第6章 现代数据挖掘技术与发展 153
6.1 知识挖掘系统的体系结构 153
6.1.1 知识发现的定义 153
6.1.2 知识发现系统的结构 154
6.2 现代挖掘技术及应用 156
6.2.1 规则型现代挖掘技术及应用 156
6.2.2 神经网络型现代挖掘技术 161
6.2.3 遗传算法型现代挖掘技术 166
6.2.4 粗糙集型现代挖掘技术 170
6.2.5 决策树型现代挖掘技术 172
6.3 知识发现的工具与应用 175
6.3.1 知识挖掘工具的系统结构 175
6.3.2 知识挖掘工具运用中的问题 177
6.3.3 知识挖掘的价值 179
6.3.4 现代数据挖掘工具简介 180
6.4 数据挖掘技术的发展 181
6.4.1 文本挖掘 181
6.4.2 Web挖掘技术 183
6.4.3 可视化数据挖掘技术 186
6.4.4 空间数据挖掘 187
6.4.5 分布式数据挖掘 190
第7章 数据仓库的应用与管理 193
7.1 数据仓库的用户 193
7.1.1 数据仓库的用户??信息的使用者与知识的挖掘者 193
7.1.2 信息使用者的数据仓库使用方式 193
7.1.3 知识挖掘者的数据仓库使用方式 194
7.2 数据仓库应用案例 195
7.2.1 分层决策体系 195
7.2.2 数据抽样分析 197
7.2.3 发挥历史数据的经济效益 198
7.2.4 回扣分析 199
7.2.5 客户关系管理 199
7.3 数据仓库的运行技术管理 200
7.3.1 数据加载的一些问题 200
7.3.2 故障恢复管理 201
7.3.3 访问控制与安全管理 201
7.3.4 数据增长的管理 202
7.4 数据仓库的元数据管理 203
7.4.1 元数据的存储、管理与维护 203
7.4.2 元数据的用户与使用方法 204
7.4.3 元数据管理模型 206
7.5 数据仓库应用中的法律问题 208
7.5.1 数据的隐私权问题 209
7.5.2 数据隐私权的处理 209
7.6 数据仓库的成本与效益分析 211
7.6.1 数据仓库的投资回报的定量分析 211
7.6.2 数据仓库的投资回报的定性分析 212
第8章 数据仓库开发实例 214
8.1 超市销售数据仓库的规划与分析 214
8.1.1 超市销售数据仓库的需求分析 214
8.1.2 超市销售数据仓库E-R模型的构造 215
8.1.3 超市数据仓库事实表模型 216
8.1.4 超市数据仓库维表模型设计 218
8.1.5 超市数据仓库模型的关键字设计 223
8.1.6 超市数据仓库的元数据设计 225
8.2 数据仓库开发工具简介 228
8.2.1 数据仓库开发工具 228
8.2.2 SQL Server数据仓库开发应用工具 230
8.3 SQL Server的数据仓库创建 232
8.3.1 创建数据库 233
8.3.2 创建表 234
8.4 SQL Server数据仓库事实表与多维数据集的建立 235
8.4.1 Analysis Manager数据库的创建与数据源确定 235
8.4.2 SQL Server数据仓库的维创建 239
8.4.3 SQL Server的多维数据集创建 246
第9章 数据仓库应用实例 253
9.1 数据仓库的数据加载与钻取 253
9.1.1 数据仓库的数据加载 253
9.1.2 超市数据仓库系统的数据加载 256
9.1.3 多维数据集的更新 262
9.1.4 数据仓库的钻取访问 267
9.1.5 数据仓库的多维表达式MDX应用 270
9.2 数据挖掘模型的设计 272
9.2.1 数据挖掘对象的分析 272
9.2.2 数据挖掘模型与相关数据的准备 273
9.2.3 数据挖掘模型的应用 276
9.3 SQL Server中的数据挖掘工具 276
9.3.1 决策类数据挖掘工具的应用 277
9.3.2 聚类分析数据挖掘工具的应用 282
9.4 数据仓库客户端界面的设计 287
9.4.1 客户端界面展现内容的设计 287
9.4.2 客户端界面展现工具的选择 288
9.4.3 Excel展现界面的实现 289
参考文献 294

1. 数据挖掘算法—基于C++及CUDA C [蒂莫西•马斯特斯（Timothy]
2. SQL Server数据挖掘与商业智能基础及案例实战 [谢邦昌]
3. 历史灾害数据挖掘与建模 [胡明生]
4. 试卷质量统计分析与数据挖掘原理、设计与实现 [张春生 著]
5. 数据挖掘技术在生物信息学中的应用 [裴志利 著]
6. SQL Server 2008 R2数据挖掘与商业智能基础及高级案例实战 [谢邦昌 郑宇庭 苏志雄 著]
7. 数据挖掘技术 [谭建豪 等编著]
8. SQL Server 2005数据挖掘实例分析 [王欣 等编著]
9. 协同演化算法及其在数据挖掘中的应用 [董红斌 贺志 著]