根据新技术特点浅谈数据仓库和数据挖掘架构

数据仓库和数据挖掘是两个比较大的概念,在国外已经非常成熟,在国内随着前几年企业数据的累计、ERP的成熟,数据仓库和数据挖掘开始起步。 数据挖掘工具

  数据挖掘实验室

如何建立数据仓库和数据挖掘是个不断值得探讨和优化的问题,不仅仅在技术上,在商业应用上也是如此。随着新的技术和观念的不断引入,传统的数据仓库技术方法有了很大的改变,基于数据仓库的应用也有了新的发展。每个企业的数据仓库根据企业特点不同,可以采用非常灵活的选型方法进行选型设计、实施。本文根据一些比较新的技术特点,谈谈数据仓库和数据挖掘的架构。

 

从成熟的数据仓库架构入手来看,建立EDW(Enterprise Data Warehouse)是个比较好的选择。EDW是企业数据仓库,对整个企业数据有一个完整的不冗余的保留关键历史变化信息的唯一视图。基于EDW可以建立不同主题的数据集市Data Mart,数据集市不同的企业有不同的要求,基本上可以分用户主题,业务流主题,产品主题等等,在EDW的基础上可以有非常多的主题应用,如何建立EDW 是个比较重要的问题。

  数据挖掘交友

建立EDW的关键是要把握数据仓库的本质,提供关键历史变化信息,可以真实还原企业数据的关键历史视图。也就是现在提到比较多的DSS层,在DSS层之下有ODS层做当前数据视图,有缓冲层做增量数据视图,利用增量数据视图和DSS层数据视图结合起来,利用缓慢变化维或者代理键技术,从理论上就可以实现DSS层的任何数据历史变化。但是在实际实施DSS层时候,一个能提供高性能计算的数据库和选择一个切合业务发展的增量时间频率是两个关键点。 数据挖掘实验室

 

数据挖掘论坛

缓慢变化维从具体实施过程的可以维护性出发,比较统一通用的方法可以采用增加快照开始时间和快照结束时间,结合业务系统的主键,就可以完成DSS层真实企业数据关键历史快照视图。在实施过程中关键要把握增量数据缓冲层中三种集合数据,纯粹新增的数据A,关键历史信息发生变化的数据B,关键历史信息没有发生变化的数据C。对集合A,B都需要增加快照记录,对集合C则采用更新快照记录。这个过程的重点是高性能计算和商业需求。 数据挖掘实验室

 

在DSS层之上,根据EDW方案种数据库不同,可以采用建立数据集市。数据集市基本上可以采用星型模型建立,便于多维分析。

上一页12 下一页
[数据挖掘工作交流] [数据挖掘研究院] [数据挖掘论坛] [数据挖掘实验室]
上一篇:i2 强势登陆中国,欲进入中国警务信息现代化市场
下一篇:根据新技术特点浅谈数据仓库和数据挖掘架构
最新评论共有 1 位网友发表了评论 , 查看所有评论
发表评论( 不能超过250字,需审核,请自觉遵守互联网相关政策法规。 )
匿名?
数据挖掘网站导航 数据挖掘论坛导航
  • 数据挖掘工具
  • 数据挖掘论坛
  • DataCruncher - Cognos
  • MineSet - MathSoft
  • Intelligent Miner - GainSmarts
  • Sqlserver - SAS - Clementine
  • CART - Weka - WizSoft
  • NeuroShell - ModelQuest
  • data mining tools - Darwin
  • 数据挖掘交友
  • 数据挖掘博客
  • 数据挖掘工具
  • 数据挖掘资源
  • 数据挖掘技术算法
  • 数据挖掘相关期刊、会议
  • 研究院联盟合作专区
  • 数据挖掘基础与相关技术
  • 数据挖掘厂商与就业
  • 数据挖掘研究者乐园
  • 知名厂商数据挖掘工具资料
  • 国内数据挖掘实验室
  • Foreign Data Mining Lab
  • 热点关注
  • 数据挖掘书籍推荐
  • 从HTML文件中抽取正文的简单方案
  • :::数据挖掘的流程:::
  • 谷歌印钞机后的神秘团队---质量控制中的数
  • 数据挖掘在电子商务型CRM设计应用
  • Microsoft 决策树算法
  • 第五届机器学习及其应用研讨会
  • :::实施数据挖掘项目考虑的问题:::
  • 数据库中数据挖掘的基本技术介绍
  • 数字资源利用跟踪分析方法
  • 论坛最新话题
  • 线性和非线性回归算法
  • 时间序列预测算法源码(C#)
  • Snowball: A language for stemming algori
  • 搜索引擎Ask.com改版 搜索速度质量双双提升
  • 正规省级、国家级别期刊征集论文稿件
  • 寻data mining cookbook 一书的配套光盘
  • 网博垂直搜索引擎完全开源版
  • 电脑也会成为火灾元凶 操作不当也会有危险
  • 网络暴力间接逼死崔真实 韩国拟立法实名上
  • 网络最流行的歌曲单良《那一场雪》推荐给大
  • 相关资讯
  • 云计算来了,数据挖掘该怎么用
  • Yahoo! 数据挖掘案例
  • 微软亚洲研究院发布“人立方关系搜索”
  • 如何保护数据隐私
  • 数据挖掘在电子商务型CRM设计应用
  • Conferences papers were submitted to
  • 数据挖掘书籍推荐
  • 基于电子商务的组织创新研究
  • Papers from Web Search and Data Mining 2
  • APRA Summit on Prospect Data Mining and
  • 数据挖掘实验室资料
  • Prepare for Medicare audits by using dat
  • 注册成为SAS用户与爱好者俱乐部会员
  • 水南梅
  • 明日烟
  • 新人报道
  • 下载
  • 厦门服务器托管,450元/月—0592-5177319 高
  • 买空间送域名--0592-5177319 高静
  • mit ocw 数据挖掘相关课程连接
  • Introduction to Data Mining