数据挖掘将革命电子商务？[讨论]

你喜欢科幻书籍吗？这正是Amazon.com 想出售给你的。当你点击这个站点时，为什么这
个电子商务巨人能够规模地零售DVD、Q-Tips和情人节巧克力呢？
　　
数据挖掘能为电子商务淘金　　
科学家认为，回答是显而易见的：Amazon和大多数的e追随者已经开始进行“数据挖掘”
（data mining），亦既采用统计分析方法，在凌乱的信息中揭示隐藏规律。专家预测在
今后十年中，“数据挖掘”将是具有革命性进展的举措之一，是提供“个性化网络”的
关键，即通过采集信息、识别有用结构并进行实时分析，从而满足用户个性化选择。具
有影响力的“MIT技术回顾”最近对数据挖掘技术极力赞扬，认为这将是十大新兴技术之
一，它“将改变世界”。
　　
但一些学者警告，主流挖掘得出的也可能是一些古怪的分析结果。分析家早已警告那些
投资者要小心，这种变幻莫测数据片段可能是一场骗局。美国波士顿的Aberdeen集团副
总裁Bob Moran说，“大多数人认为，我只要将这个放在市场商人的手中，我们就可以得
到‘神秘的沙司’。其实绝对没有所谓的‘神秘沙司’。数据挖掘只能将灰色区域向后
推，它绝不可能完全揭示黑或白。”
　　
但已经认识到该技术巨大商业潜力的市场商人却不同，他们认为它可不止黑与白，他们
还看到了绿色商机，那是科学潜力中蕴含的高额利润和源源不断的财富。
　　
无论这种技术复杂与否，近年来各公司都在进行各种各样的数据挖掘研究，以期让那些
近年来急速堆积增长的原始数据，变得有意义。
　　
最近《工程新闻－记录》（Engineering News-Record）杂志中有篇文章提到，电子商务
促使一些公司收集大量的消费者数据――从在家上网冲浪者的人数，甚至到他们车库中
小汽车的价格。编辑Tom Sawyer在该刊去年11月版中写到“在过去几年中，数据库结构
日益成为追逐效益和利润的数字信息工具，记录数据如山聚集，现在人们普遍认识到是
瓜分这些镀金宝山的时候了”。
　　
大约一打小型数据开采公司正极力想获得市场份额，象Oracle和IBM这些数据库商和软件
商也在逐渐进入这块市场。其他一些公司正在为非统计学专业人士们开发一些更加自动
化的数据挖掘应用软件，让科学技术更加实用化，为商人和不了解算法的人谋福。
　　
通过数据挖掘，市场商人可以瞄准目标客户，采用那些个人股票行市、最新信息、特殊
的市场推广活动新或其他一些特殊的信息手段，从而极大地减少广告预算和增加收入。

　　
这一切都可以自动化完成，对顾客行为的改变能立即作出反应，而不象今天的网站那样
用户需要填写问卷才能获得个人服务。
　　
也许数据挖掘的最大挑战也就是大多数专家称都无法解决的一个难题，那就是一切结论
都有可能是种怀疑。数据挖掘是基于对消费者过去的消费行为进行的预测，如进行过的
交易、人口统计信息和其他数据点。但是，批评家指出，它绝不可预测人们到底买还是
不买东西。
　　
例如，数据挖掘可以预测一个有住房和两个孩子的34岁妇女，在今后十年内，她有可能
每3年购买１个独立式微波炉。但是你不能确定如果价钱隐约地在这个消费者的花费范围
内的话，她也许会选择购买更贵的、带有烤箱的整体式微波炉。
　　
Emerald Solutions公司的商业情报主管Kyle Johnstone认为，弄清人们到底是选择购买
还是仅仅作个决定，这对全球的市场商人来说是关键，唯一的办法就是询问他们的实际
需要，反之就要依赖于他们以前的消费习惯。
　　
Johnstone说“人们可能会告诉你他们喜欢牛排，但当他们在7月4日那天聚会时，他们买
的确是汉堡包，在你的渴望和你的购买之间是没有联系的。你也许可以弄清魔术的表演
方式，但同时你会觉得更迷惑，这就是为什么人们的实际需求用数学几乎无法确定道理
的原因。”
　　
回避隐私问题
　　
大多数数据挖掘公司得到的顾户信息都来源于他们的用户，这些用户租用空间建立数据
库，每月开始费用为10，000＄。数据挖掘工们避开人们所关心的隐私问题，把这些数据
信息非公开地保存起来。他们分析这些数据后再以表格形式、图表、条形图和其他视觉
文件返回给用户。少数数据挖掘公司还充当咨询者的角色，向客户推荐如何最大效率地
浏览使用网页。
实际上，极少有公司愿意举出些现实的例子，讨论这项技术如何促进销售、增加用户。
不过，Usama Fayyad，前微软公司的执行官却非如此。Fayyad离开微软后创建了DigiMi
ne公司，他宣称，该公司使用数据挖掘技术帮助微软翻新MSNBC.com网站，增加了访问人
数。
　　
Fayyad曾发现22％的MSNBC用户具有相同的习惯，他们准确地点击同一份报告，不过这些
用户并不属该公司的5类读者群。Fayyad先生宣称，他的公司研究测定，将这些人粘在一
起的是一些暗含诽谤性的故事，类似一些小报消息。MSNBC网站为此做了重大改版来迎合
这些读者群，现在它的主页每天至少有这样一个专题。Fayyad公司的研究帮助MSNBC的生
活频道成为了该网站最收欢迎的频道。
　　
将数据挖掘应用于电子商务
　　
几十年来，一些职能公司一直在进行数据挖掘，并在已经过世的那一代人身上验证了所
采集的数据。捕捉这些信息主要用来检查顾客是否有欺诈行为，这对健康卡和信用卡尤
为重要。
　　
百货商场、超市和一些老字号的零售店也在进行数据挖掘，以便猜测这些年来顾客的消
费习惯。但相对来说只对极少数消费者进行了电子跟踪，这其中的一部分原因是实际开
发中所遇到的问题，这涉及到算法、取样和可比较性――这些太复杂、难以理解。但不
管怎样开始找到进入主流的出路了。
　　
Bethpage的总裁兼首席数据挖掘技术长官Michael Gilman认为，电子商务现在是最新和
最炙手可热的一个行业，无论在哪里你都有历史数据，用这些数据你可以得到用眼睛无
法看到的模式结论。
　　
最早同时也是最大型的数据挖掘公司是位于 Cary, N.C.的已有25年历史的SAS研究所，
据SAS统计分析认为，进入《财富》前500公司中的98％都已瞄准了电子商务，而那些只
是通过目录和站点销售产品的零售商，由数据挖掘使他们投资的回报增加了1000％。
　　
数据挖掘越来越易用，将深入社会生活
　　
位于加州San Mateo的Epiphany公司是一家网站客户关系管理公司，它深入研究数据挖掘
技术，并以其较为简易实用的工具产品著称。
　　
斯坦福大学的统计学博士George John自称是Epiphany的“数据挖掘宗师”，他认为关于
该公司让数据挖掘简单化，虽有争议，但显示了自己易用的特色，其他竞争对手的软件
虽然很复杂精确，但对普通用户来说实在太难懂了。
　　
目前已在Epiphany开发数据挖掘程序的IBM资深专家John说，“在Epiphany第一代数据挖
掘软件中，我们尝试着后退一步，看看商业用户们能否使用，我们知道他们只愿意提较
浅的问题。每一次我们力求使用户界面清楚易用，我们想‘现在商人们能用它了’，我
们只是关注人们到底想要什么。”
　　
虽然看起来具有逻辑性，但数据挖掘简单化操作的结果受到了诋毁。Fayyad和其他专家
警告说，过分简单将会使结果出现偏差，使执行者基于错误的推理作出定价和盘货决定
。
　　
一个更重要的争论是由于数据挖掘技术从学术界进入到了企业界，学术界的统计专家们
最引以自豪的就是复杂的分析，他们称进入企业界的是为市场商人拉拢的变节者。
　　
Epiphany公司的专家John说，他必须不断地纠正人们的错误认识，他们用“沉默下降”
（dumbing down）来形容该公司的彩色图表和其他简单的统计简图。而John宁愿把数据
挖掘技术进入商人和非统计学者行列称之为“深层次渗透”（deeper penetration）。

　　
John辩解说：“我们向用户提供了一套带有良好制表绘图功能、用户喜欢的软件，关键
是人们认为这个还不错，即使是不能获得诺贝尔技术奖也很好。