软题库 培训课程
当前位置:信管网 >> 综合知识 >> 文章内容
新技术专题:数据仓库与E-Business
来源:信管网 2012年06月26日 【所有评论 分享到微信

一、电子商务简介及其面临的问题

伴随着互联网络的发展,电子商务从兴起到快速发展已经经历了十多年的时间,电子商务作为一种全新的商务运行模式,已经深入到我们的生活中,在企业与企业之间的商务活动中同样发挥着越来越重要的作用。构建符合企业经营模式、有效实现销售、供应、生产三者有机结合的电子商务系统已经成为更多商业企业的当务之急,未来电子商务对企业利润的重要支撑作用也已经成为人们的共识。

在电子商务系统的发展过程中,出现了一些新问题引起了研发人员的注意:

1、  数据规模不断扩大

众所周知,基于Web的电子商务平台已经成为电子商务系统的主流并不断发展壮大,这种模式比传统的系统运行更有效、更节约成本,但随之而来的问题是Internet上数据量异常巨大,用传统方法进行处理已捉襟见肘。

2、  数据复杂性大大增加

Internet上的数据不仅数量巨大,而且格式多种多样,内容种类千差万别,往往同一领域内的数据其类型和格式相差甚远,如何进行集成也是一个大问题。

3、  历史数据需要妥善处理

以往商务活动产生了巨大的数据,但这些数据影响了系统运行的效率,在进行数据索引、重组、监控等方面对系统响应时间的影响很大,同时也浪费了许多资源。如何把这些历史数据从操作型数据库中移出,使之能在需要进行趋势分析和预测的时候合理利用也是一个值得考虑的问题。

4、  高级查询的需求

在数据查询方面,常规的查询和汇总功能已经不能满足电子商务的需求,分析人员要求对整个系统中的数据进行全局查询和快速汇总,而传统的数据库系统既满足不了大量一致性的数据需求,又实现不了对高级查询的快速响应,很难实现对商务管理的决策支持。

5、  对大量概要视图的需求

电子商务中可能有些人经常要看一些商品、价格、库存的汇总表,如果按照传统数据库系统的处理方法,需要先定义虚拟视图,在每次用户请求时都要从实际数据库中把数据经过抽取装入视图中,这在查询操作比较多的情况下将严重消耗系统资源,也在一定程度上增加了响应时间。如果能把一些格式比较固定、需求量又比较大的视图在系统中进行物化存储,当需要的时候快速地提供给使用者,将大大提高系统性能。

6、  如何为数据挖掘提供支持

随着电子商务规模的发展,积累的数据越来越丰富,利用数据挖掘技术在这些数据上进行挖掘分析已经成为不可回避的话题,如何有效组织数据为数据挖掘提供数据源也成了企业的当务之急。

7、  希望存储点击流数据

基于Web环境的电子商务系统通常会产生大量点击流数据,每当用户进行页面浏览或查看产品时就产生一个点击事件。电子商务分析人员可以通过点击流事件了解用户心理倾向、购买习惯和对产品的评价,点击流数据对电子商务分析有重要价值,如何有效存储这些数据为今后的分析提供依据也是企业关心的问题。

       在早期的电子商务系统中,人们更注重于具体业务功能的实现,数据尽管是必须的,但一般都是简单的堆放,其整理、存储也都是按照具体的应用来组织的,满足的是电子商务运行的最低数据需求,在这些数据之上只能实现简单的汇总查询功能,要进行分析预测是非常困难的,更谈不上有效的辅助管理决策。随着商务规模的壮大,各种数据不断增长,原来的数据组织方式已经满足不了业务发展的需求,亟需一种新的数据组织方式,用以整合企业全局数据,将数据统一规划,统一处理,并按主题模式统一存储,只有这样才能有效管理数据,并进行数据统计、分析、预测,最终为企业决策提供依据。而数据仓库的出现恰好满足了以上需求,可以说,电子商务与数据仓库的结合是必须的也是必然的。

二、数据仓库对电子商务的支持

       电子商务的核心是信息获取、管理与有效地使用,可以说,数据仓库是电子商务的运行基础。一般认为,数据仓库在两方面对电子商务提供支持,一是事务处理,即传统事务处理概念的延伸,另一种是决策支持,也是未来电子商务的核心所在。

1、  数据仓库对事务处理的支持

一方面,电子商务系统的运行首先要处理大量的操作性事务,这是在日常的运作过程中不可避免的,包括处理终端用户的购买行为、处理与供应商及合作伙伴的交易等,当然也包括相应的安全认证,电子支付等。上述行为的实现一般是用传统的数据库技术,但我们应该看到:在电子商务环境下由于数据量巨大、数据种类繁杂,用传统的操作型数据库进行管理已经不能胜任,需要数据仓库系统对这些数据进行统一存储、管理,即用数据仓库进行全局控制。一般的做法是用数据库进行各种事务处理,保存短期数据,之后把这些数据转入数据仓库中统一管理。

另一方面,企业的电子商务系统往往与企业其他系统出现交互的情况,例如企业资源规划(ERP)、客户关系管理(CRM)、企业供应链管理(SCM)等应用都需要数据仓库的支持,其中大部分应用都需要数据仓库直接作为他们的底层存储机制,即使不是这样,企业最终也需要把上述系统中的数据统一存储到数据仓库中以备企业整体需求。

我们看到,从长期数据存储与统一管理的角度讲,对数据仓库的需求已经相当迫切。

2、  数据仓库对决策支持的支持

决策支持是电子商务系统的核心,运用企业宝贵的信息进行分析、预测并最终为决策经营提供合理依据才是电子商务的魅力所在,企业利润的最终提升才是电子商务成功的标志。在数据仓库基础上,分析人员不必考虑数据来源,也不需考虑非集成的数据以及细节数据和汇总数据两者之间的连接,简言之,数据仓库提供了电子商务分析人员有效支持电子商务处理所需的数据基础。除了日常交易数据,来自企业资源计划、供应链管理系统的数据也将成为电子商务分析决策的重要数据资源。数据仓库使电子商务分析人员从数据工程师的角色中摆脱出来,成为真正的分析人员。

综合以上两方面:数据仓库对电子商务的支持主要表现在:

★数据仓库为电子商务提供集成的,面向主题的数据存储

★数据仓库的只读特性为高级查询功能提供良好的支持

★数据仓库支持汇总数据的物化存储

★数据仓库为向下、向上探察处理提供方便,有利与业务分析

★数据仓库的元数据为分析人员理解系统数据的组织提供巨大帮助

★数据仓库可以存储大量的点击流数据,辅助分析人员进行用户购买习惯、动机的分析,最终保留或赢得更多的顾客

★数据仓库庞大的历史数据支持决策人员进行数据挖掘和趋势分析

三、基于数据仓库的电子商务系统架构

1、  系统目标

电子商务系统的主要设计目标是确定一个系统模型,使之既能满足电子商务日常运作的需求,又能对决策管理进行有效支持。数据模型必须清楚易懂,能够支持分析人员进行方便快速的查询汇总和业务分析。为了达到上述目标,必须建立集成一致的数据仓库,而且需要在数据仓库之上建立适合业务分析的多维数据集市。数据仓库平台的开发过程相对复杂,是一个数据驱动的过程,既要有效配合电子商务中用户、供应商、企业内部销售市场部门的操作流程,又要考虑数据仓库与企业原有系统如企业资源规划ERP、供应链管理SCM的有效融合,此外还要为数据挖掘等其他高级应用提供数据接口。

2、  系统组成

基于数据仓库的电子商务系统是由硬件和软件两部分组成的。硬件平台是用来支撑大量数据存取、多类用户操作、多种任务执行;软件平台则用一个高效且优化的方式来组织和管理数据。数据仓库在电子商务系统的基础作用要通过合理有效的平台支持才能发挥出来,系统平台决定了数据仓库环境的处理能力。一个高性能的数据仓库平台必须能够适应电子商务业务的增长,包括用户需求的增长和商务人员分析需求的增长。

3、  介绍一个典型而全面的系统架构

上面我们提到,基于数据仓库的电子商务系统比以往的系统更加复杂,需要对企业全局应用进行综合考虑,下面介绍一个W.H.Inmon提出的系统架构。

从图中我们看到:

●     数据仓库是整个电子商务系统的基础

信息是电子商务系统的灵魂,数据仓库为整个系统提供安全、集成、面向主题的数据存储。如果把电子商务系统比做一个人体,数据仓库起到了骨骼的支撑作用[1],它一方面容纳其他应用产生的业务数据,另一方面又为进一步的分析处理提供丰富可靠的数据源。

●     企业里各业务系统产生的数据放入数据仓库

企业资源规划(ERP)、企业供应链管理(SCM)以及企业里运行的各种应用都产生和处理大量数据,这些数据是企业的宝贵财富,系统通过抽取、汇总、装载等步骤把这些数据放进数据仓库,数据仓库中汇集了丰富的历史数据。

●     进行OLAP多维分析需要数据仓库的支持

OLAP分析直接依靠具有多维数据模型的部门数据仓库即数据集市,而数据集市中的数据都是从企业数据仓库中取得的。

●     与用户进行业务交易需要数据仓库的间接支持

用户通过Web与电子商务系统进行交互主要有三种方式。

一种方式是与Web双向传递数据,比如商品信息、交易信息或者某用户的历史购买信息,这种情况下为了提高响应速度不是由数据仓库中直接处理数据(数据仓库也不适合进行操作型业务处理),而是预先把数据存放到操作型数据库中,由操作型数据库与用户进行交互。

第二种方式是用户的点击流数据向系统传递,用户点击流对商务分析人员分析用户的购买习惯、消费心理有重要的意义,需要从Web日志转入数据仓库中保存,但这类数据往往非常庞大,需要经过粒度管理器进行清理、汇总再放入数据仓库中。

此外,系统有时需要向用户传递一些商品促销等临时性的信息给特定的用户,实际上在这种特殊情况下,用户群体的确定必须依据数据仓库中的信息。

可见,电子商务系统与用户的交互离不开数据仓库的支持。

数据仓库与E-Business(个人文章汇总)

●     数据仓库为企业高级应用提供数据支持。

数据仓库中宝贵而大量的数据只有通过企业的有效应用才能发挥最大作用,有了数据仓库的支撑,企业客户关系管理系统、商务报表汇总系统、智能商务系统、数据挖掘系统等高级应用系统就有了丰富可用的数据源,而且随着商务的发展,更多的分析系统将被开发出来,这些系统的数据主要来源于企业数据仓库。

●     数据仓库中的数据也需要备份转储

尽管数据仓库适合保存大量历史数据,但过量的数据可能造成系统性能的下降,特别是有些数据的访问频率非常低,如用户点击流数据,如果一直保留着将对数据仓库系统造成很大压力,所以在设计电子商务系统时还要考虑将数据仓库中访问频率低的大量数据转储到准在线存储系统或海量存储环境中去。

四、结束语

伴随着Internet的快速发展,电子商务已经深入到我们的日常生活当中,越来越多的企业也把搭建电子商务环境作为自己的目标。本文介绍了电子商务系统中所面临的一些普遍问题,这些问题大多数与企业数据相关。为解决这些问题,需要在电子商务环境中引入企业级数据仓库,并论述了数据仓库与电子商务的结合将成为电子商务继续发展的必要条件。本文还探讨了以数据仓库为基础的电子商务系统的组成,并介绍了一个典型而全面的电子商务架构的实例。

参考文献:

[1] http://www.billinmon.com

[2].  W.H.Inmon:Building the Data Warehouse,Third Edition(2002). John Wiley & Sons.Inc.

[3].钟珞等.支持电子商务的高性能数据仓库平台的设计.武汉理工大学学报,2003年2月,第25卷第2期.

[4]. http://www.iturls.com.

扫码关注公众号

温馨提示:因考试政策、内容不断变化与调整,信管网网站提供的以上信息仅供参考,如有异议,请以权威部门公布的内容为准!

信管网致力于为广大信管从业人员、爱好者、大学生提供专业、高质量的课程和服务,解决其考试证书、技能提升和就业的需求。

信管网软考课程由信管网依托10年专业软考教研倾力打造,官方教材参编作者和资深讲师坐镇,通过深研历年考试出题规律与考试大纲,深挖核心知识与高频考点,为学员考试保驾护航。面授、直播&录播,多种班型灵活学习,满足不同学员考证需求,降低课程学习难度,使学习效果事半功倍。

相关内容

发表评论  查看完整评论  

推荐文章