在数据处理中,分为两大类。一是事务处理,二是数据查询和分析。数据处理或者分析,一般是在数据库中处理,而数据查询分为两大类,一是数据库查询,二是搜索技术。而随着各种技术的互相作用,搜索技术和数据分析也越来越有“合作”的意思。
可能各大IT新闻都会提到“数据中心”,看起来是很庞大的家伙,IT巨头google.MS等耗资巨头投入到数据中心建设中,那么什么是数据中心?从字面意思,非IT人可能人认为是放数据的计算机中心,其实这只是表面,数据中心的建设在不同情况,它的作用是不完全一样的。
在数据处理中,分为两大类。一是事务处理,二是数据查询和分析。数据处理或者分析,一般是在数据库中处理,而数据查询分为两大类,一是数据库查询,二是搜索技术。而随着各种技术的互相作用,搜索技术和数据分析也越来越有“合作”的意思。
搜索技术还处于“模糊查询”阶段,也就是从数亿计互联网信息中模糊搜索出想要的信息,但由于是模糊查询,所以绝大多数信息都不是想要的,于是几大巨头都在把数据挖掘技术容入搜索技术中,缩小客户搜索到准确信息的时间。
但由于搜索技术其“模糊特点”,在企业内部的信息化中,暂时还不适合,因为企业查询的需要是准确的信息,老板可没那么多时间一个个排除。于是企业内部建设的数据中心基本是数据仓库,为准确查询和分析服务。
那么何为数据仓库?前面提到的企业/单位投资信息化,他们不停上信息化系统,比如ERP、CRM、CallCenter、OA或者计费等。但上了这些系统后,会产生大量数据,客户首先的需求是查询和报表。但很多报表和查询是需要跨系统,而且复杂查询和报表很耗资源,可能影响各个系统的正常运行。于是上世纪80年代人们专门建设一个数据库系统,把各个系统的数据拿到那里进行准确的查询和报表制作,这样既方便又准备,而且不会影响业务系统。那么从这点说,数据仓库是全数据的集合。
而后来查询和报表已不能满足人们的需求了,他们想知道这些数据里到底有什么有用的信息,会给决策者什么有用的帮助。于是上世纪90年代人们把OLAP和数据挖掘加入数据仓库应用之中。为了更好地分析,人们从数据仓库里还会按照业务需要提出N多数据集市为查询、分析服务,这样会更方便,因为不同部门的需求不同,业务定义也可能不同,所以再把数据仓库的信息分到各个数据集市是很有必要的了,这样才好个性化服务嘛。
但有一点要申明,数据仓库和OLAP、数据挖掘以及查询、报表没有必然关系,他们是不同的逻辑事物,但相互作用很密切。正如前面提到,数据挖掘已经结合搜索技术,更方便地给人们提供互联网搜索服务。而数据挖掘在数据仓库的作用,就是更好地分析,比如著名的沃尔玛尿布和啤酒的案例就是数据挖掘的结果,它把数据中很多潜罪责找出一定联系的几率,这样帮助企业决策。
那么数据中心是何物?如果是针对具体的企业或者单位,其实就是业务系统数据存储技术+数据仓库,当然有的单位干脆只有数据仓库,比如科研单位,他们又不作业务处理,只有分析需求。但如果是互联网公司,就和普通企业和单位的数据中心不同,因为互联网的信息实在庞大,不可能包罗所有信息到数据库,也处理不了那么多信息,所以他们的数据中心的其中作用就是加强互联网数据的处理速度和效果;另一个作用也是数据仓库,但他们的数据仓库就不会包含所有互联网信息,而是企业本身关心的信息,当然数据量也非常大,一般十TB以上。
中国信息化其实还在初级阶段,可能很多人认为有了PC,可以上网,有很多软件用,信息化就好了?其实不然。信息化的高级阶段应该是准确快速处理、查询、分析数据!当前美国几乎所有国家级政府部门、科研机构都上了数据仓库系统,而中国很多部门的普通业务系统还不够完善,更不要说建设数据仓库了。
其实最有意义的一个项目,应该是农业部数据仓库建设。数据中心/数据仓库建设后,全国各乡镇级以上都可以作为其用户,查询具体信息和分析信息,还会出现农民种的东西买不出去,买不起价格么?不会!因为各个地方适合种什么,当年什么物种卖钱,市场需求等都在眼里。当然信息化并不是万能的,还要有配套措施,比如农业技术指导、专门的采购、物流、销售公司等配套等。
文章来自:
杭州货运,杭州物流-杭州创顺达物流有限公司,www.hz5656.com