• 顾客满意度管理浅析 不要轻易放弃。学习成长的路上,我们长路漫漫,只因学无止境。


    该文给出了数据仓库的定义通过对相关文献的研究给出了普通数据仓库和空间数据仓库的构建方法研究了数据仓库的关键技术包括数据仓库的粒度、查询、维护、集成等方法文章还就数据仓库的应用进行了深入的研究最后进行了总结与展望 数据仓库空间粒度维护 & 概述 随着企业对数据管理不断提出新的求人们求计算机在处理日常简单数据的同时能够更多地参与数据分析和决策支持由此出现了一种用于数据分析处理和决策支持的数据存储和组织技术即数据仓库技术构建数据仓库是实现海量数据存储和管理的有效途径针对数据仓库的实现特别是大型数据仓库的实现面临许的多技术问题围绕开发一个灵活、高效的数据仓库等关键问题进行了研究和 数据仓库定义 美国著名信息工程学家把数据仓库定义为数据仓库是一个面向主题的、集成的、稳定的、包含历史数据的数据集合它用于支持管理中的决策制定过程即数据仓库是将普通的操作型数据通过集成提取进而提供分析型数据的一种信息技术数据仓库的是为了充分利用已有的数据资源帮助用户更好地理解信息从新的角度看待它们以便获得更好的洞察力发现模式和趋势从中挖掘出信息和知识更好地进行辅助决策数据仓库的通用结构如图所示 数据仓库构建方法 一般数据仓库构建方法 文献指出企业应对整个系统的建设提出一个全面、清晰的远景规划及技术实施蓝图按“总体规划、分步实施、步步见效”的原则将整个项实施分成若干个阶段可以在每一步建设的基础上分阶段纳入不同的业务系统逐步建立起一个大型的、专题较为完善的、适合部门、子单位使用的完整、健壮的数据仓库系统迅速从当前投资中获得收益因此这种系统结构的数据仓库建设方法在大型企业数据仓库建设中非常实用 文献认为构建数据仓库的关键是技术即如何准确、安全、可靠地从各种不同的业务数据库中抽取数据并经转换、清洗以及集成后载入数据仓库 在数据仓库的构建过程中利用模糊数学可实现数据仓库内数据的语义表示丰富数据加工的手段提高分析处理的能力文献提出了纺织企业中数据仓库的构建可以采取首先构建数据集市最后将各个数据集市整合在一起形成数据仓库的渐进模式通过概念层、逻辑层、物理层建模确定相关主题域外贸出口、库存、采购、销售、营销和财务的数据集市进行分析系统的相关知识阐述了数据仓库技术在系统中应用的必然性提出了该分析型系统中客户信息数据仓库模型的设计方案具体阐述了概念模型设计、逻辑模型设计和物理模型设计并以平台为基础给出了具体的实现在企业引入分析型系统时为构建数据仓库提供了参考依据 文献提出了构建数据仓库模型的建议采用星系模型在实际应用中用户的需求多种多样数据来源可能为多个事实表故可采用多个事实表共存之间通过公用的维表相关联的星系模型也称为事实星座原子级数据模型和汇总级数据模型并存坚持原子级数据模型和汇总级数据模型并存而且尽可能地细化原子级数据设立代理键代理键是维表中一些没有业务含义的字段只是一个由数据仓库加载程序时建立的数字 文献认为对于流程工业中的数据仓库建设存在一贯性质量分析的需求即前一个工序的工艺可能影响下一个工序的产品质量针对这种需求提出了一种数据仓库的概念设计模型星链模型其中引入了链式事实主题结构的概念并把度量细分为传递型度量与非传递型度量给出了星链模型的图形表示法以及由概念模型到逻辑模型的转换规则该模型可以方便地转化成多种逻辑模型如星型模式、雪花模式以及星座模式 由于数据仓库的一个主特点是其“非易失性”即进入数据仓库中的数据长期保存不再改变文献利用“时问”维度可以标识事实数据的历史实现了“事实数据的非易失性”但是“时间维并不能标识数据仓库模式的变化”“模式结构的非易失性”需构建数据仓库模式版本来实现针对数据仓库多维模式结构的进化问题文献提出一种多版本数据仓库模型给出模型结构、模型对象以及对象之间指派关系的定义多版本数据仓库基于“版本控制”策略管理数据仓库的多维模式将数据仓库进化过程中的每一种有效状态都以版本的形式保存下来 空间数据仓库构建方法 近年来空间数据仓库的研究也取得了较大进展文献给出了空间数据仓库的定义和特征文献首先表述了空间数据仓库的三个核心思想其次设计出了空间数据仓库的概念框架着重描述了空间数据仓库的外部结构、内部结构以及各组成模块的工作流程设计出了空间数据仓库认知过程的概念框图并对认知的基本概念进行了描述表述了认知过程个世界模型和个转换算子的基本并用代数系统给出了严格定义 把空间信息融合进企业现有的数据仓库中采用种方式构建企业空间数据仓库把空间信息作为多维模型中的维引入把空间信息作为分析主题引入在维和度量中都包含空间信息因此计算并存储所有空间度量是不现实的文献使用空间索引树如—在最细空间粒度上构建分组层次作为空间维的分层每个空间维需建立一棵空间索引树空问度量类似数值度量空间数据的聚集函数根据计算性质也可以分为类空间分配型聚集函数包括等函数空间代数型聚集函数例如求个点的中心和几何体重心都是空间代数型聚集函数空间整体型聚集函数例如等分割—和最短距离—等函数 数据仓库关键技术 确定数据粒度 数据粒度是指数据仓库中保存数据的细化或综合程度数据仓库中包含大量数据表这些数据表中的数据以什么粒度来存储会对信息系统的多方面产生影响在做数据仓库设计时设计者确定以数据的什么层次作为粒度的划分标准将直接影响到数据仓库中数据的存储量及查询质量并进一步影响到系统是否能满足最终用户的分析需求一般情况下根据将数据仓库中的数据划分为详细数据、轻度总结、高度总结三级或更多级划分原则是细化程度越高粒度越小细化程度越低粒度越大确定数据粒度是数据仓库设计的基础当数据粒度合理确定后设计和实现的其他问题就会变得非常容易相反如果没有合理地确定粒度后续的工作就会很难进行下去 提出确定适当的粒度水平首先对数据的记录数和数据仓库的磁盘空间进行估算接着考虑粒度的大小通常利用经验选择粒度水平先创建部分数据仓库让用户使用当用户产生新的需求后再对粒度进行调整最终建立整个数据仓库的粒度水平和存储方式 查询优化 不论是数据库还是数据仓库索引建立的好坏直接影响访问效率索引查找是优化查询响应时间的重方法因而为提高数据仓库的处理能力必须系统地使用索引技术位图索引可以突破树索引一些限制提高查询处理和索引存取的效率也认为传统的树索引并不能很有效地改善查询速度对于只有少量的离散值来说使用树索引不是很好更好的方法是利用位图索引 物化视图的选择策略是数据仓库研究的重问题之一文献提出了一种多维数据集中物化视图动态选择的新策略包括候选视图生成算法、物化视图选择算法、物化视图调整算法和物化视图动态调整算法文献提出用蚁群算法来解决物理空间约束下的物化视图选择问题算法中应用信息素的局部和全局更新并对每次迭代的最优解进行局部搜索最终得出合理的解决方案 文献通过基于主动决策引擎日志的数据挖掘来找到分析规则的使用模式从而为多维数据实视图选择算法提供重依据在此基础上设计了概率模型并给出考虑受访概率分布的视图选择贪婪算法以及结合视图挽留原则的视图动态调整算法 为缩短查询响应时间和提高决策支持能力文献分析了现有方法处理大规模视图更新的不足提出一种基于粗集约简发现中间视图依赖层次的方法利用有效代价确定更新次序以达到更新费用最低随后分析算法的复杂性并通过实验证明其有效性 数据仓库的维护 在大型数据仓库特别是在全球范围的大型跨国业的数据仓库设计和实现中存在着许多问题大型数库中存储着海量数据一般到达级所以联机分析处理服务器灵活、快进行查询是最关键的问题因此大型数据仓库支持高数据立方体计算技术、一定的索引优化策略和查询优化另外大型数据仓库中数据的生命周期也很长这给数据的更新、维护提出了较高的求一般数据仓库的刷新护是在夜间进行的但对跨国公司来说实际上没有真正时间来对数据仓库进行刷新和维护刷新时限短且不以延长在刷新中一旦发生故障会严重影响企业的商业和动作文献针对大型数据仓库实现中的几个关键技术立方体的有效计算、增量式更新维护、索引优化、故障恢复 在数据仓库的增量式更新中一般采用的是关系变化差值差策略利用值差进行增量式更新的关键是如何得到值差数据仓库自维护的关键是如何从局部抽取数据以及抽取得到的数据再转换为全局实化视图文献首先将一个或多个数据源上全局的实化视图分解为局部的单源视图集并保证实化视图和单源视图集一起满足自维护的条件其次将定义在各个信息源上局部的单源视图集整合成全局的实化视图并重新定义实化视图与原来用户定义的实化视图等价 文献认为实现实体化视图是提高系统响应时间的一个关键技术和有效的解决方案在具体的实现过程中面临着实体化视图的维护问题由于源数据的不稳定性其数据的变化必须及时传播到实体化视图中以保持实体化视图与源数据的变化一致性否则会降低实体化视图中数据的新鲜度并影响联机分析处理查询结果的真实性和有效性针对视图的维护问题提出了实体化视图的一种维护算法它将使视图重计算代价最小化

    上一篇:陈乔恩圣诞收贴心礼物 卖萌甜笑可爱暖心

    下一篇:路桥施工中预应力技术应用探析