软题库 培训课程
当前位置:信管网 >> 其它资料 >> 文章内容
构建高效的数据仓库项目组织团队
来源:信管网 2012年01月04日 【所有评论 分享到微信


0 引言
  数据仓库目前在银行、证券、电信和保险等行业得到广泛的应用。由于数据仓库涉及到的技能非常庞杂,且与整个企业的各个业务系统及各部门、各层面的员工都可能发生广泛而深刻的联系,这些大型企业的数据仓库项目组织团队也常常是非常复杂的。
如何构建高效的数据仓库项目组织团队,对数据仓库项目建设的成功及后期系统的运营应用有至关重要的意义。数据仓库在建设和运营的两个阶段目标不同,参与方也往往不同,对团队人员的技能要求有很大差别,项目的组织团队也会发生很大变化。
如何调整组织团队适应项目生命周期进展的需要,既顺利衔接,又适应变化是许多企业在实施数据仓库项目时面临的难题。一些企业由于疏忽了这个问题的处理,虽然在数据仓库建设阶段取得了很好的成果,顺利构建起了符合最初项目目标的数据仓库系统,
但在后期的运营应用中却遇到了困难,不能使花费了大量成本构建的系统很好地发挥出应有的价值。另外,有些数据仓库项目在建设期间将数据集中作为自己的主要目标,在构建项目团队时甚至将应用开发人员划入外围团队,重数据采集与平台搭建,却忽视了应用的及时切入,从而使项目不能尽快产生效益导致失败。
本文总结了某省级电信企业在大型数据仓库项目组织团队建设中探索的成果,借签了Teredata公司的国际经验,为构建高效的数据仓库项目组织团队提供了可供参考的解决方案。
1 数据仓库建设阶段项目团队组织构建
   项目团队包括为完成项目而分派有角色和职责的人员。“团队、角色、人员”是用来描述项目组织的三个概念,不同的角色代表不同的分工即职责,同一角色可由多个人员承担,同一人员也可同时兼任多个不同角色。下面描述中团队、组属于“团队”层面概念,用“角色”来描述团队的具体组织架构,一个角色可能包含多名成员。
下面是某省级电信企业在数据仓库建设期间的项目团队组织架构,包括项目核心团队和项目外围团队。项目核心团队由数据仓库产品厂商、数据仓库集成商、数据仓库建设单位的人员混编而成。核心团队中建设单位参与人员主要是IT部门人员,建设单位项目经理也一般由IT部门派人承担。
项目外围团队主要包括数据仓库最终用户(省公司级及分公司级业务部门人员)、系统维护工程师和源系统技术专家。项目核心团队成员都专职参与项目,项目外围团队一般采取虚拟团队模式,成员兼职参与。由于示例中,项目所建数据仓库后续由集成商负责平台维护和应用开发,
建设单位只在每个小组中派驻了项目管理人员,在系统建设期间这些人员通过深入参与项目得到很好的培养和锻炼,后期不只负责技术管理,还都成长为技术专家。项目建设期间的每个角色分工,都由数据仓库厂商和集成商的人员共同承担,使集成商得到很好的知识转移,为后续独立承担运营应用任务打下坚实基础。
由于该系统的硬件平台后续采取外包维护的形式,因此将系统维护(数据硬件平台维护)角色也纳入外围团队。项目核心团队由三个小组构成,数据模型组负责源系统的信息分析,概念模型、逻辑模型及物理模型设计,模型的解释培训,
编码映射及元数据的管理,也负责模型的调整和维护。平台维护组负责数据库管理,包括数据库性能、空间、访问权限及安全管理,表及视图创建;与源系统数据文件接口的实现及维护,保证数据文件及时、完整、正确传送,并对接口机进行维护;
ETL程序开发、测试、维护及调度管理;数据质量管理与数据问题跟踪处理等。应用开发维护组又下分报表多维分析开发、专题应用数据挖掘开发及即席查询开发三个小组。应用开发维护组负责应用需求分析管理,应用开发、测试、维护,应用推广培训,应用门户网站(Portal)的开发维护,应用服务器的维护等。
这种组织模式,结合数据仓库各项工作不同的技能要求,分工非常明确,从系统建设阶段就考虑到了后期运营的承接,并从一开始就特别重视数据仓库的应用。在实施数据仓库应用时,也常将某个应用独立成一个项目进行运作,
数据仓库核心团队中应用开发人员与外围团队中业务部门的业务专家密切配合,甚至阶段性地全职参与该项应用的开发工作,并对分析成果投入应用的全程进行跟踪和管控,从而使应用能切实发挥效用,产生价值。外围团队不像核心团队一样是个严格按项目管理来运作的项目组,而是一个虚拟团队。
团队成员的主要职责往往不是参与数据仓库建设,只是在需要的时候听从召唤,阶段性参与到相关工作中来,或将其中的某些工作纳入到已有工作职责中成为自己工作的一部分。系统维护角色主要负责数据仓库硬件平台,包括主机、磁带库等的维护及数据备份与恢复,他们常还兼任其他系统硬件平台的维护。
源系统专家配合数据仓库接口文件的抽取和数据模型的信息调研等工作。分公司IT部门负责在分公司层面对数据仓库应用的承接,包括分公司业务系统与数据仓库接口的维护,与分公司业务系统相关的数据质量管理及数据问题处理,分公司数据集市维护,应用需求分析与应用开发、维护等。各类业务部门(本示例中主要是市场部)是数据仓库的最终用户,
他们负责应用需求的发起与分析成果的应用,使之产生价值,并对应用效果进行评估。
2 数据仓库建设团队向运营团队的演进
   数据仓库项目区别于传统的事务型IT系统建设项目。传统IT项目系统建设完成后,项目团队就解散了,留下少量人员做系统的日常运维。而数据仓库系统平台建设完成后,更大量的报表及分析应用开发工作也需要以项目的形式进行运作,项目团队可能会随着应用需求的拓展而不断膨胀,这也给团队组织架构带来挑战。
数据仓库系统平台建设验收后就转入运营阶段,这时项目团队会发生一系列显著变化,主要是核心团队会发生变化。数据仓库厂商的人员会撤离项目组,小型项目由建设单位,大型项目由集成商和建设单位承担起数据仓库平台的日常运营应用工作。
工作内容也会有很大变化,模型设计、ETL开发的工作量会大为减少,相反应用由星星之火渐成燎原之势,应用需求会应接不暇;且随着应用的拓展和深化,各类数据问题也会充分暴露,接踵而至。数据仓库项目团队必须及时调整以适应这些变化。
如何明确人员职责分工,打造核心团队,建立起适合长期运营,并以项目的形式开展应用开发工作的高效稳定的团队组织架构?本文的解决办法是根据关键工作流程梳理出关键环节,根据关键环节明确关键功能点,对应设置关键角色和组织架构。
如某省级电信企业,梳理出了3个关键流程和7类关键角色。三个关键流程分别是:数据流、任务流(应用需求)和问题流。数据流保障数据的完整、及时、准确,贯穿数据从源系统到应用展现的整个流程,在流程的各个环节中,
模型管理、运维支撑、应用支撑、体系管理和质量管理等几类关键角色分别承担了相应职责。任务流保障应用需求(任务)的合理产生和合格落实,使应用开发符合范围、进度、质量和优化(持续生效)的要求,任务流贯穿于应用开发的整个生命周期。
在流程的各个环节中,需求管理、模型管理、应用支撑、专题支撑、运维支撑、体系管理和质量管理等几类关键角色分别承担了相应职责。问题流保障问题及时、准确、全面地解决,它可以是和数据仓库工作相关的任何问题,包括数据质量问题。
问题流贯穿于问题由产生到解决的整个生命周期。在流程的各个环节中,质量管理、模型管理、应用支撑、专题支撑、运维支撑和体系管理等几类关键角色分别承担了相应职责。根据以上关键流程抽象出的关键角色,形成了以下适应数据仓库长期运营的矩阵式项目核心团队组织架构。
在数据仓库运营阶段,数据仓库所属企业的IT部门专门有一个分支机构负责数据仓库的运营,由如表1所示的角色构成。以上成员分别渗透到集成商的各项工作中,对应各关键角色,发挥专家顾问和项目管理的作用。
该企业数据仓库的容量达到83TB,由以上建设单位及集成商构成的44人团队负责日常运营和应用,其中技术支撑团队38人,核心成员8人分别占据7类关键角色,支撑起整个团队稳定高效的运转。团队组织中7类关键角色的职责分工、技能要求及职业发展规划。
项目团队组织架构在团队内明确了关键角色,利于打造一支稳定称职的核心数据仓库运营支撑队伍,并通过这些关键角色保证数据仓库的关键工作流程得到高效落实。通过需求管理,加强与客户的沟通和需求的统筹把控,保证团队人力资源发挥最大价值;
通过需求管理、模型管理对应用及中间层数据模型进行统一规划,提升应用开发成果的可重用性;通过质量管理,加强对问题的跟踪解决和客户申告的及时处理,提升客户满意度,并让各环节、各岗位协同解决数据质量问题,全员对数据质量问题负责,更适合数据质量问题的解决特点。
应用开发与ETL开发需要的技能相同,应用人员可参与ETL开发,应用开发从ETL开发开始,贯通各环节,便于开发的项目管理及应用的维护管理,并可根据需要动态调节ETL开发资源。运维与开发的工作性质有很大区别,将ETL运维与开发分开,运维只需要较低的技能,ETL运维人员可同时兼接口运维等工作,便于工作管理、提升效率、保证质量。
将应用门户维护、Web类应用开发等需要专门技能的工作纳入应用支撑组统一管理,相关资源共享,并保证各类应用的统筹规划部署。应用及专题支撑开发采用项目经理制,各成员都有机会成为负责具体应用项目的项目经理,充分挖掘人员的潜力,
且随着应用项目的拓展不会导致组织机构膨胀。通过以上调整,数据仓库运营团队面貌焕然一新,成员的工作积极性被极大激发,潜能被充分挖掘,团队更加稳定,流程更加顺畅,工作更为高效,数据仓库价值得到更好发挥。
3 结语
   本文为大型企业数据仓库建设及运营阶段项目团队的构建提供了可参考的解决方案。其特点是,建设阶段的项目团队由项目发起方、数据仓库厂商、集成商混编而成,明确各自定位,注重知识转移,从系统建设阶段就考虑到了后期运营的承接,并从一开始就特别重视数据仓库的应用;
在运营阶段,适时进行团队组织的调整,以适应形势变化,经历了应用急剧膨胀的考验,通过摸索演进,最终找到了一种高效的、稳定的适应长期运营的数据仓库项目团队组织构建模式。该模式根据关键工作流程梳理出关键环节,根据关键环节明确关键功能点,对应设置关键角色和组织架构。
通过组织架构调整后,团队面貌焕然一新,工作效率极大提高,客户满意度显著提升,使数据仓库系统价值得到更好发挥。

扫码关注公众号

温馨提示:因考试政策、内容不断变化与调整,信管网网站提供的以上信息仅供参考,如有异议,请以权威部门公布的内容为准!

信管网致力于为广大信管从业人员、爱好者、大学生提供专业、高质量的课程和服务,解决其考试证书、技能提升和就业的需求。

信管网软考课程由信管网依托10年专业软考教研倾力打造,官方教材参编作者和资深讲师坐镇,通过深研历年考试出题规律与考试大纲,深挖核心知识与高频考点,为学员考试保驾护航。面授、直播&录播,多种班型灵活学习,满足不同学员考证需求,降低课程学习难度,使学习效果事半功倍。

相关内容

发表评论  查看完整评论  

推荐文章