“我们把世界看成数学,并且把你也看成数学”——用这句话来说明数据挖掘技术的复合性和应用的广泛性似乎再好不过。如今,虽然一些行业在应用这一技术上仍然缺乏足够的主动,但一个不能阻挡的趋势是:已经有越来越多的人在快乐并有效地使用这一技术,同时不由自主地成为“挖掘”的对象。
禽流感该如何更好地监控?今天你写Blog了吗?
数据挖掘实验室
你是否觉得这两个问题连在一起问很无厘头? 数据挖掘工具
事实上,美国一家公司正在试图让这两个事件之间的关系日渐明了。
这家公司目前正在通过从全球的Blog网页中挖掘出和禽流感相关的信息,从而建立一个预警机制。这一项目考虑到Blog已经成为新闻传播的重要途径,先从网上抓取有关禽流感的网页,存入到公司的数据仓库,再指定“国家”为关键目标词,然后利用关联分析技术,即可得到和禽流感关联最大的国家,由此可以判定该国的禽流感传染可能比较严重。 数据挖掘工具
就在此前,已经有很多人在抱怨,网上多如牛毛的Blog除了浪费人们数以十万年的阅读时间之外,还有多少用处?如今,数据挖掘技术正在力图从这些爆炸式增长的Blog中“挖”出更有价值的东西,同时它也在更多领域中展示其非凡的力量。 数据挖掘工具
工具篇:前方是岔路口
数据挖掘论坛
数据挖掘其实并非单纯的IT技术,而是数学家和计算机科学家之间的合作产物。在过去十年中,高等数学和计算机建模的联姻改变了科学和工程技术,以至于有人认为这一合作已经开创了一个全新的商业领域。
数据挖掘实验室
有关数据挖掘技术的定义有很多版本,综其要点,主要在于应用一系列统计与人工智能技术来发现以前并不了解的数据规律,并解决实际业务问题。如今,数据挖掘技术已经从最开始的一个简单的算法包,发展出通用挖掘平台和专业挖掘工具两大种类。其中,像IBM、NCR、SAS、微软、SPSS、StatSoft等厂商的数据挖掘产品(模块)基本都是通用型工具平台;而像美国的 Unica 公司、Fair Isaac 则主要专注于诸如营销自动化、信用卡积分等细分领域,属于后一种工具。具体来看,目前在数据挖掘领域声势颇大的大多是通用型工具平台。 数据挖掘实验室
“现在IBM更侧重的是平台优势。”在采访中,IBM软件部中国区DB2信息管理技术经理刘晶炜明确表示。目前,IBM的DB2中包含Intelligent Miner for Data和Intelligent Miner for Text两个数据挖掘模块,将数据挖掘和数据仓库整合到一个平台之上。其中,前者主要针对结构化信息,分为建模、浏览、Scoring Service三个部分;后者则是针对文本的挖掘模块,其主要功能是特征抽取、文档聚集、文档分类和检索。
NCR Teradata的数据挖掘工具同样也是与其数据仓库整合在一起的。具体来说,其数据挖掘工具可以按照挖掘的步骤主要分成Profiler、ADS Generator、Warehouse Miner和模型管理器四块。目前Teradata最新版的数据挖掘方案是Teradata Warehouse Miner 4.1。
SAS 公司和SPSS公司作为两家从传统的统计分析技术发展而来的数据挖掘厂商,二者在业内的影响力可谓有目共睹。其中,SAS 公司提供了SAS Enterprise Miner 、SAS ETS(时间序列预测)、SAS OR(运筹学)、SAS STAT(统计分析)、SAS QC(质量控制)等一系列工具;SPSS公司也提供了Clementine和AnswerTree两项产品。