登陆注册
8925700000043

第43章 物流决策支持系统(3)

5)数据集市(datamarts)

为了特定的应用目的或应用范围而从数据仓库中独立出来的一部分数据,也可称为部门数据或主题数据(subjectarea)。在数据仓库的实施过程中往往可以从一个部门的数据集市着手,以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是在实施不同的数据集市时,同一含义的字段定义一定要相容,这样再以后实施数据仓库时才不会造成大麻烦。

数据仓库管理包括:安全和特权管理,跟踪数据的更新,数据质量检查,管理和更新元数据,审计和报告数据仓库的使用和状态,删除数据,复制、分割和分发数据,备份和恢复,存储管理。

信息发布系统,即把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。基于Web的信息发布系统是对付多用户访问的最有效方法。

2.联机分析处理

(1)联机分析处理的概念

联机分析处理(On‐Line Analytical Processing,OLAP)的概念最早是由关系数据库之父爱德华·库德(E.F.Codd)博士于1993年提出的,是一种用于组织大型商务数据库和支持商务智能的技术。OLAP数据库分为一个或多个多维数据集,每个多维数据集都由多维数据集管理员组织和设计以适应用户检索和分析数据的方式,从而更易于创建和使用所需的数据透视表和数据透视图。

库德同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理(OLTP)明显区分开来。库德提出OLAP的12条准则来描述OLAP系统:

准则1 OLAP模型必须提供多维概念视图;

准则2 透明性准则;

准则3 存取能力推测;

准则4 稳定的报表能力;

准则5 客户/服务器体系结构;

准则6 维的等同性准则;

准则7 动态的稀疏矩阵处理准则;

准则8 多用户支持能力准则;

准则9 非受限的跨维操作;

准则10 直观的数据操纵;

准则11 灵活的报表生成;

准则12 不受限的维与聚集层次。

当今的数据处理大致可以分成两大类:联机事务处理OLTP和联机分析处理OLAP。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

(2)联机分析处理逻辑概念和典型操作

OLAP展现在用户面前的是一幅幅多维视图。

①维(dimension),是人们观察数据的特定角度,是考虑问题时的一类属性,属性集合构成一个维(时间维、地理维等)。

②维的层次(level),是人们观察数据的某个特定角度(即某个维),还可以存在细节程度不同的各个描述方面(时间维:日期、月份、季度、年)。

③维的成员(member),即维的一个取值,是数据项在某维中位置的描述。(“某年某月某日”是在时间维上位置的描述)。

④度量(measure),即多维数组的取值。(2000年1月,上海,笔记本电脑,$100000)。

OLAP的基本多维分析操作有钻取(drill‐up和drill‐down)、切片(slice)和切块(dice)以及旋转(pivot)等。

①钻取,是改变维的层次,变换分析的粒度。它包括向下钻取(drill‐down)和向上钻取(drill‐up)/上卷(roll‐up)。drill‐up是在某一维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而drill‐down则相反,它从汇总数据深入细节数据进行观察或增加新维。

②切片和切块,是在一部分维上选定值后,关心度量数据在剩余维上的分布。如果剩余的维只有两个,则是切片;如果有三个或以上,则是切块。

③旋转,是变换维的方向,即在表格中重新安排维的放置(例如行列互换)。

(3)联机分析处理系统的体系结构和分类

数据仓库与OLAP的关系是互补的,现代OLAP系统一般以数据仓库作为基础,即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储器中供前端分析工具读取。OLAP系统按照其存储器的数据存储格式可以分为关系OLAP(Relational OLAP,ROLAP)、多维OLAP(Multidimensional OLAP,MOLAP)和混合型OLAP(Hybrid OLAP,HOLAP)三种类型。

1)关系联机分析处理(ROLAP)

ROLAP将分析用的多维数据存储在关系数据库中,并根据应用的需要有选择地定义一批视图,作为表也存储在关系数据库中。不必要将每一个SQL查询都作为实视图保存,只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对OLAP服务器的查询,优先利用已经计算好的实视图来生成查询结果以提高查询效率。

同时用作ROLAP存储器的RDBMS也针对OLAP作相应的优化,比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube,rollup)等等。

2)多维联机分析处理(MOLAP)

MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式,形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围,而总结数据作为多维数组的值存储在数组的单元中。由于MOLAP采用了新的存储结构,从物理层实现起,因此又称为物理OLAP(Physical OLAP);而ROLAP主要通过一些软件工具或中间软件实现,物理层仍采用关系数据库的存储结构,因此称为虚拟OLAP(Virtual OLAP)。

3)混合联机分析处理(HOLAP)

由于MOLAP和ROLAP有着各自的优点和缺点,且它们的结构迥然不同,这给分析人员设计OLAP结构提出了难题。为此,一个新的OLAP结构——混合型OLAP(HOLAP)被提出,它能把MOLAP和ROLAP两种结构的优点结合起来。迄今为止,对HOLAP还没有一个正式的定义。但很明显,HOLAP结构不应该是MOLAP与ROLAP结构的简单组合,而是这两种结构技术优点的有机结合,能满足用户各种复杂的分析请求。

3.数据挖掘

(1)数据挖掘的定义

数据挖掘(DataMining,DM)又称数据库中的知识发现(Knowledge Discoverin Database,KDD),是目前人工智能和数据库领域研究的热点问题,所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,作出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,作出正确的决策。

1)技术上的定义

数据挖掘(datamining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。

与数据挖掘相近的同义词有数据融合、数据分析和决策支持等。这个定义包括好几层含义:数据源必须是真实的、大量的、含噪声的;发现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运用;并不要求发现放之四海而皆准的知识,仅支持特定的发现问题。

何为知识?从广义上理解,数据、信息也是知识的表现形式,但是人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看做是形成知识的源泉,好像从矿石中采矿或淘金一样。原始数据可以是结构化的,如关系数据库中的数据;也可以是半结构化的,如文本、图形和图像数据;甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的,也可以是非数学的;可以是演绎的,也可以是归纳的。发现的知识可以被用于信息管理、查询优化、决策支持和过程控制等,还可以用于数据自身的维护。因此,数据挖掘是一门交叉学科,它把人们对数据的应用从低层次的简单查询,提升到从数据中挖掘知识,提供决策支持。在这种需求牵引下,汇聚了不同领域的研究者,尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的学者和工程技术人员,投身到数据挖掘这一新兴的研究领域,形成新的技术热点。

这里所说的知识发现,不是要求发现放之四海而皆准的真理,也不是要去发现崭新的自然科学定理和纯数学公式,更不是什么机器定理证明。实际上,所有发现的知识都是相对的,是有特定前提和约束条件的,面向特定领域的,同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果。

2)商业角度的定义

数据挖掘是一种新的商业信息处理技术,其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理,从中提取辅助商业决策的关键性数据。

简而言之,数据挖掘其实是一类深层次的数据分析方法。数据分析本身已经有很多年的历史,只不过在过去数据收集和分析的目的是用于科学研究,另外,由于当时计算能力的限制,对大数据量进行分析的复杂数据分析方法受到很大限制。现在,由于各行业业务自动化的实现,商业领域产生了大量的业务数据,这些数据不再是为了分析的目的而收集的,而是由于纯机会的(opportunistic)商业运作而产生。分析这些数据也不再是单纯为了研究的需要,更主要是为商业决策提供真正有价值的信息,进而获得利润。但所有企业面临的一个共同问题是:企业数据量非常大,而其中真正有价值的信息却很少,因此从大量的数据中经过深层分析,获得有利于商业运作、提高竞争力的信息,就像从矿石中淘金一样,数据挖掘也因此而得名。

因此,数据挖掘可以描述为:按企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性,并进一步将其模型化的先进有效的方法。

(2)数据挖掘常用的方法

利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等,它们分别从不同的角度对数据进行挖掘。

1)分类

分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类,其目的是通过分类模型,将数据库中的数据项映射到某个给定的类别。它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等,如一个汽车零售商将客户按照对汽车的喜好划分成不同的类,这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中,从而大大增加了商业机会。

2)回归分析

回归分析方法反映的是事务数据库中属性值在时间上的特征,产生一个将数据项映射到一个实值预测变量的函数,发现变量或属性间的依赖关系,其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。它可以应用到市场营销的各个方面,如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。

3)聚类分析

聚类分析是把一组数据按照相似性和差异性分为几个类别,其目的是使得属于同一类别的数据间的相似性尽可能大,不同类别中的数据间的相似性尽可能小。它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。

4)关联规则

关联规则是描述数据库中数据项之间所存在的关系的规则,即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现,即隐藏在数据间的关联或相互关系。在客户关系管理中,通过对企业的客户数据库里的大量数据进行挖掘,可以从大量的记录中发现有趣的关联关系,找出影响市场营销效果的关键因素,为产品定位、定价与定制客户群,客户寻求、细分与保持,市场营销与推销,营销风险评估和诈骗预测等决策支持提供参考依据。

5)特征分析

特征分析是从数据库中的一组数据中提取出关于这些数据的特征式,这些特征式表达了该数据集的总体特征。如营销人员通过对客户流失因素的特征提取,可以得到导致客户流失的一系列原因和主要特征,利用这些特征可以有效地预防客户的流失。

6)变化和偏差分析

偏差包括很大一类潜在有趣的知识,如分类中的反常实例、模式的例外、观察结果对期望的偏差等,其目的是寻找观察结果与参照量之间有意义的差别。在企业危机管理及其预警中,管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。

同类推荐
  • 商业银行中间业务创新研究

    商业银行中间业务创新研究

    近年来,“银行中间业务”已成为商业银行激烈竞争的创新领域。随着我国金融体制改革的深入和社会经济的发展对金融需求的推动,我国各商业银行现在越来越注重中间业务的创新,逐步认识到中间业务作为商业银行三大支柱业务之一的重要意义,积极探索新的服务方式,倡导新的服务理念。
  • 做最好的采购总监

    做最好的采购总监

    《做最好的采购总监》以“管理理念+案例解析+操作要点”为行文思路,通过采购总监任职基础、采购管理要务、采购发展趋势、采购掌控技能四个单元,对采购总监各个环节的工作内容进行了高度总结与提炼,指出问题并提供解决办法。本书以强调共性、把握视角、突出精华为写作原则,为采购总监传递知识、提供技能、总结规律,易于掌握与应用,堪称“上午学,下午就能用”的采购总监案头必备工具书。
  • 李彦宏的百度世界

    李彦宏的百度世界

    它是Google在中国望洋兴叹的本土企业。它是纳斯达克的“中国奇迹”。一家从中关村起步的小公司,用10年时间,成长为中国互联网界的巨人。这就是李彦宏的百度世界故事。这是一本全面、真实、客观的百度正史,作者贴身采访了李彦宏及其团队里的所有关键人物,以第三方的角度,全方位、近距离记录了百度的成长历程。该书深入探究了百度令世人瞩目的发展背后的成长基因,多角度剖析了百度独特的商业模式、企业文化、技术研发与资本运作,通过百度这个最具代表性的中国互联网企业,以一个企业为基点,记述了波澜壮阔的中国互联网发展史。
  • 销售精英是这样炼成的

    销售精英是这样炼成的

    郑一群创作的《销售精英是这样炼成的》系统地阐述了如何才能把自己打造成为一名销售精英,从培养积极的销售心态、销售中懂得主动出击、坦然面对客户、包容与接纳客户、坚持不懈才能赢得销售、合理使用销售攻心术、巧妙应用销售技巧、与客户快速达成成交、将服务延伸到销售全程等九个方面,以案例加分析的形式对销售过程中怎样把握和驾驭顾客的心理直至让自己成为销售精英进行了详细的分析,并提出了一定的解决办法,从而帮助销售员更深刻地理解销售的重要性,同时掌握一些被无数人证明行之有效的销售技巧和方法,力图帮助销售员在每一次销售过程中都能轻松成交,轻松提升销售业绩,进而步入销售精英的行列。
  • 销售员的28堂效率提升课

    销售员的28堂效率提升课

    为什么那么多的销售人员在同一家公司,一天同样的24小时,销售一模一样的产品,别人的业绩总是比自己高?你知道全世界所有的成功人士是怎么成为成交高手的吗?你在销售工作上,是否已经发挥了个人100%的能力与潜力?你现在的成交率高吗?如何才能顺利获得订单?如何才能成为一名签单高手?如何才能使小订单变成大订单?你想改变现状吗?你想成为超级销售战将吗?那么,别在犹豫,现在就请你打开这本《销售员的28堂效率提升课》,它能帮你实现这些梦想!
热门推荐
  • 神武之巅

    神武之巅

    平凡的繁华生活,造就了一个平凡的他。但是在另外一个不平凡的世界,平凡的他却不甘平凡。在这个光怪陆离的世界中,且看平凡的他如何决战神武,对战太古皇族,战败无数天才妖孽,牵手绝世美女,站在神武之巅。
  • 快穿系统:反派男神攻略

    快穿系统:反派男神攻略

    【宠文,苏文,1v1】“我是恶魔,却为你所有。”作为世界上最后一个反派,林沫世必须为女主顶罪,执行反该有的结局,不料却遇上了一个沉睡中的大魔王,绑定了反派攻略系统。任务很简单,不希冀所谓的渣渣男主,只负责将所有反派BOSS收入囊中,目的却是集齐大魔王的灵魂碎片?可是她没想到的是,攻略的BOSS一个比个坏,却一个比一个难缠!作为反派,请敬业好不好?
  • 王权道

    王权道

    八荒大陆上,人、魔、妖鼎足而立。人族所居之地,为神州。神州之南,有国也,称洛。洛朝倾覆,皇族弃子苏辞,遭人暗算,沦为痴呆乞儿。觉醒之日,身怀无上法诀虚空尽,得上古神器八荒镜。为复河山,为除逆臣,踏上修道之路。进,步步为营!退,万丈深渊!八荒无主,我自成王!若杀戮是为罪恶,那我便化身修罗。以鲜血祭山河,成就我无上王权!
  • 小小的艳阳天

    小小的艳阳天

    订婚前夜被相恋三年的初恋男友无情抛弃,一转身,却被新的顶头上司内定。同样的爱情故事,她不想重演,她在毫无章法的躲避和逃离中慢慢掉进他的温柔陷井,她为他慢慢敞开心扉的时候,却发现前男友曾经无情的背叛实为无心的伤害。她在新欢与旧爱中苦苦挣扎,在豪门恩怨中随波沉浮。谁在她的世界里种下阴霾,谁在她的天地里拨云见月?一次无心的背叛带来的伤痛,一瞬间不经意的疼痛牵起的心动。我在最美的季节里给了你最纯真的爱,却在最黑暗的岁月里得到了阳光的照耀。从此,我的世界里,只有一片艳阳天。
  • 危机领导力:在突发事件中打造一流的影响力和执行力

    危机领导力:在突发事件中打造一流的影响力和执行力

    现代社会已经进入了突发事件频发的时代。这个时代的到来是以全球经济的迅猛发展、世界政治军事的相互渗透、各类人员流动的密集频繁、文化信息的快速传播和社会转型期各种关系的交叠碰撞为标志的。这就使得蕴藉于社会深层的各种错综复杂的矛盾随时会以各种可能的形式爆发出来,就像一泓平静的湖水,由于水下各种矛盾的增加和运动形式的变化,使得人们无法断定会在什么时间、什么地点激荡起什么样的波澜!
  • 福妻驾到

    福妻驾到

    现代饭店彪悍老板娘魂穿古代。不分是非的极品婆婆?三年未归生死不明的丈夫?心狠手辣的阴毒亲戚?贪婪而好色的地主老财?吃上顿没下顿的贫困宭境?不怕不怕,神仙相助,一技在手,天下我有!且看现代张悦娘,如何身带福气玩转古代,开面馆、收小弟、左纳财富,右傍美男,共绘幸福生活大好蓝图!!!!快本新书《天媒地聘》已经上架开始销售,只要3.99元即可将整本书抱回家,你还等什么哪,赶紧点击下面的直通车,享受乐乐精心为您准备的美食盛宴吧!)
  • 总裁追妻:老婆别跑了

    总裁追妻:老婆别跑了

    他是世界领先的ceo,有着帅气的面孔。她原本是家庭里受宠爱的小姐,却因母亲的死亡被父亲抛弃。她外表冰冷,内心却脆弱,却有着震撼人心的外貌,与众不同的气势。当他与她的故事开启,又会发生什么是呢?
  • 萌宝,大神叫你站住

    萌宝,大神叫你站住

    宠文上线宝宝们快来啊,甜腻你的心,大神小白等你看
  • 霸爱总裁:沫沫很无奈

    霸爱总裁:沫沫很无奈

    她是一个被父亲遗弃和母亲相依为命的苦命孩子,虽然很优秀,老天却没有给她一个施展才华的空间,为了相依为命的妈妈,还有什么是她不能做的呢?本已无依无靠,要是再失去了妈妈,真不知道她还能否找到活下的理由。他无论是家事相貌才华都是那么的令人羡慕,他似乎就是上天的宠儿,他是那么的完美,一切似乎都在他的安排中,他的人生都按照着他计划好了的轨迹一步步的进行着,可是她的出现,一次次打破了他的常规,让他烦恼,让他无所适从,让他感到威胁,感到恐惧,但?似乎这样无可意料的人生才是真正的有了意义!
  • 囚笼中的树洞

    囚笼中的树洞

    龙羽,为什么要坚强龙羽,为什么要坚持龙羽,为什么要胜利龙羽,为什么不要哭龙羽,你的身后还有我为你抵挡风沙。