加载中…
个人资料
王石川
王石川
  • 博客等级:
  • 博客积分:0
  • 博客访问:19,913
  • 关注人气:6,695
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

全维度大数据_大数据免费查询

(2025-09-04 10:10:10)

全维度大数据_大数据免费查询

大家好,本篇文章将为您带来关于全维度大数据和大数据免费查询的全面解析,希望能解决您的疑问,接下来我们一起学习吧!

本文目录

  1. 大数据背后的技术、商业和社会维度
  2. 详解大数据的思想如何形成与其价值维度
  3. 什么是大数据,通俗的讲

在互联网高速发展的今天,数据已经成为了新时代的“石油”。而全维度大数据,作为新时代的智慧引擎,正引领着各行各业的变革。什么是全维度大数据?它又是如何改变我们的生活的呢?接下来,就让我们一起探讨这个话题。

一、什么是全维度大数据?

全维度大数据,顾名思义,就是从各个维度、各个角度对数据进行收集、整理、分析和应用的过程。它不仅仅是对数据的简单处理,更是一种全新的思维方式和方法论。

以下是全维度大数据的几个特点

1. 数据来源广泛:全维度大数据可以从各种渠道获取数据,如社交网络、物联网、传感器等。

2. 数据类型多样:全维度大数据不仅包括结构化数据,还包括非结构化数据,如图像、音频、视频等。

3. 分析深度高:全维度大数据可以对数据进行深度挖掘和分析,从而发现潜在的价值。

4. 应用场景广泛:全维度大数据可以应用于各行各业,如金融、医疗、教育、交通等。

二、全维度大数据的应用场景

1. 金融行业

在金融行业,全维度大数据可以用于风险评估、欺诈检测、个性化推荐等方面。

应用场景具体应用
风险评估通过分析客户的历史交易数据、信用记录等,评估客户的信用风险
欺诈检测通过分析客户的交易行为,识别潜在的欺诈行为
个性化推荐通过分析客户的历史交易数据、浏览记录等,为客户提供个性化的金融产品和服务

2. 医疗行业

在医疗行业,全维度大数据可以用于疾病预测、患者管理、药物研发等方面。

应用场景具体应用
疾病预测通过分析患者的病历、基因数据等,预测患者可能患有的疾病
患者管理通过分析患者的健康数据,为患者提供个性化的治疗方案
药物研发通过分析药物的临床数据,加速新药的研发进程

3. 教育行业

在教育行业,全维度大数据可以用于学生评估、课程推荐、教育资源优化等方面。

应用场景具体应用
学生评估通过分析学生的学习数据,评估学生的学习能力和潜力
课程推荐通过分析学生的学习兴趣和需求,推荐适合学生的课程
教育资源优化通过分析学生的学习数据,优化教育资源分配,提高教育质量

三、全维度大数据的挑战与机遇

1. 挑战

(1)数据安全与隐私保护:全维度大数据涉及大量个人隐私信息,如何确保数据安全和个人隐私保护是一个重要问题。

(2)数据质量与准确性:全维度大数据的来源广泛,数据质量参差不齐,如何保证数据质量与准确性是一个挑战。

(3)人才短缺:全维度大数据需要大量专业人才,但目前人才短缺问题较为严重。

2. 机遇

(1)推动产业升级:全维度大数据可以帮助企业实现智能化、数字化转型,推动产业升级。

(2)提高生活品质:全维度大数据可以应用于医疗、教育、交通等领域,提高人们的生活品质。

(3)创新应用场景:随着技术的不断发展,全维度大数据的应用场景将更加丰富。

四、

全维度大数据作为新时代的智慧引擎,具有巨大的发展潜力和应用前景。面对挑战,我们应积极应对,抓住机遇,推动全维度大数据的健康发展。相信在不久的将来,全维度大数据将为我们的生活带来更多惊喜和便利。

大数据背后的技术、商业和社会维度

大数据背后的技术、商业和社会维度

要想考察大数据最好同时考察大数据背后的技术、商业和社会维度。从发展成熟度来看,技术维度走的最远、商业维度有所发展但不算全面成熟,社会维度发展最差。所以虽然已经谈了很久大数据,但除了孕育出大数据自身的几个领域比如搜索等,其它领域却并没有从大数据中获得可见的收益。大多时候人们还是处在觉得这里肯定有金子,但需要更多的耐心的状态。这篇文章则尝试对大数据本身的特征做点挖掘,对未来的发展趋势做点预测。

大数据上的深度和广度

如果把大数据对应到海量的数据,那它就是非常含糊的概念,相当于变成信息的同义词,显然也就很难回答信息到底能干什么这样的问题。

这时候为了推进思考通常需要先分类。如果把时间空间作为最基本的视角,那首先要区分的就是大数据的深度和广度。从时间的角度看大数据是完整的历史,从空间的角度看大数据是全球活动的痕迹。前者可以看成一种深度,后者可以看成一种广度,不同的场景对深度和广度的侧重有所不同。

对于有些垂直的行业,比如医疗,大数据的深度更重要,所有的历史都可以在数据上得到找到之后,人们就可以更好的认知并优化相应的行业。

对社会而言,很多时候广度则更重要,具体到某个场景我们只有一鳞半爪的消息,但当这种信息足够多,范围足够广,就有可能描述出相对及时的全貌。经常举的Google预测传染病的例子依赖的就是这种广度。

这点决定了大数据的应用发展趋势,在深度重要的地方,公司这类组织需要成为主体,困难是如何跨越数据所有权的边界。对于医院而言,显然把所有治疗案例数据化并共享是有好处的,但如果只有一个医院这么做,那对这一家医院而言更多的可能是隐私上反弹所带来的坏处。

在广度重要的地方,虽然在搜索这样的领域里公司也可以受益,但真正可以从大数据全面受益的机构其实是政府。数据越广,其所描述的主体就越大,而如果描述的是整个社会,那显然应该是社会的主要责任人会从中受益。这是个常识问题,就和看病的时候不会吃了医生给别人开的药自己反倒好了差不多。有的时候央视会播放百度做的春节期间人员流动图,这件事情也正好可以从侧面说明这问题。这种人员流动地图对能做出地图的人公司帮助远没有对政府的帮助大。

深度和广度两个方向对数据的要求不同,前者需要更为详尽、有质量的数据源后者则对此要求不高,但两者在应用的时候都会面临付出回报不对等问题。大数据倾向于描述整体,而有能力收集或处理大数据的往往是个体,个体的回报在整体的提升中并不容易获得清晰体现。

现在大数据发展的瓶颈不是技术,而是背后所需要的分配关系的建立。这种关系理不顺,数据就会停留在孤岛层面,每个组织都有自己的东西,并把它命名为“大数据”。而为了理顺这种关系则要回到一个非常经典的问题,“公地”到底可不可以建立。

数据公地的设想

大数据其实有点像公地,在经济学里非常出名的一个论点是公地悲剧。《美国经济史》举了一个非常易懂的例子来说什么是公地悲剧:

这些经济推理命题有利于解释集体所有制和产出的共享(平分或固定份额)如何导致“免费搭车者”问题。为了说明这一点,考虑共享土地所有权,且共同生产了100蒲式耳玉米的10个工人,平均每人消费10蒲式耳玉米。假设一个工人开始偷懒并将其劳动努力减半,从而导致产出减少5蒲式耳。由于产出共享制度的安排,偷懒者的消费量和其它工人一样,现在都是9.5蒲式耳。尽管他的努力已经下降了50%,但他的消费量只下降了5%。偷懒者是在搭他人劳动的便车。…

这背后有非常深刻的人性问题,即使我们可以通过努力协作创造更多的财富,个人也可以从中分享更多,但在群体里明显的个人倾向则是自己工作更少但分享更多。这与囚徒困境其实是相通的。

基于实物的世界里眼下看不到彻底解决这问题的方法,只能依赖于某种被大家基本认可的分配秩序,比如:以前的血统现在的物竞天择,但基于比特的数字财富眼下看却有解决这问题的可能。

基于比特的数据与实物最大的区别是数据并非是你拿走我就没有的东西,并且硬件的价格在飞速下降,开源又使数据的访问工具基本免费。这几者叠加在一起,使数据公地成为可能。

如果大家更在意我拿到的东西是不是绝对值变大了那数据公地的形成可能性就大些,因为如果存在数据公地,那每个人(企业)一定收获更多,但如果大家更在意我是不是比你多,那数据公地的建设就会多很多障碍,因为公地其实是让相关人员站到同样的竞争起点上。

大数据整合营销专家罗百辉认为,大数据的问题,在数据的使用上是技术问题,但在数据源上其实是社会经济问题,后者更难,所以大数据应用的发展不取决于技术的发展而取决于社会经济方式的变革速度。在有限的领域里,比如搜索、电商、云计算,技术已经得到比较充分的发展,眼下来看谁付出谁受益的问题是把小数据变成大数据过程中最主要的问题。

大数据的路往那里走?

数据的内在发展动力是数据越全价值越大,其实这也是一种网络效应,这种内在动力导致宏观来看数据所有权的发展只有两种趋势:

一种是像现在移动端一样,每个人都有自己的私有数据源,接下来开始你死我活的竞争,最终有一家活下来,这也可以达成数据统一的终极目标。

另一种则是在竞争中开始联合,建设上面所说的数据公地。

如前所述行业数据和全社会的数据性质上差别很大所以要分开来探讨。

对于行业数据而言,竞争对手间彼此的坦诚合作除非有极为特别的人物出现,否则是不太可能的。这种情况下最简单的办法是引入第三方。

比如说每家运营商都握有几乎所有网民的行动数据,但要想让运营商彼此间开诚布公的合作把这些数据整合在一起创造某种价值,这就很难。这时候如果有第三方介入,制定好利益分配方案那就是可能的。

如果这点可以达成,那唯一的关键点就是相应的商业模式是不是可以超越数据处理的成本。这点必须强调下的是,大数据的价值密度是很稀疏的,很多东西有价值但并不一定值得做,视频网站之所以赚不到钱一个关键原因就是带宽和存储的成本比较高,而对大数据而言商业模式找不好,情形可能比视频网站还差。挖矿的成本怎么也要小于挖矿所得挖矿才有价值。

上述问题在行业数据里可能问题还不是太大,一般来讲行业数据的价值密度终究会大一些,并且因为相对比较垂直,总量终究有限制。所以大数据的行业应用比较容易发展。

但对社会性的数据,这在很多时候就是个问题。我们都知道样本的全面性比数据的多少更有价值,但是如果多是确保样本全面性的唯一手段的话,那就意味必须有全的数据做一件事情才有意义。

社会化的数据有两种应用方向,一种就是企业可以搞定的比如Google,一种则是属于社会层面,很难单独属于某个企业的比如智慧城市相关的人的活动数据。后者则需要上面所说的数据公地来做支撑。

从数据的视角来看,现在有两种数据存放形式:一种是Google这样的企业拥有整个社会某个横截面上的全部数据,这应该是种特例,并且数据会局限在公开信息;一种则是被割裂的各种与人行为相关的数据,比如购物相关的在电商,与人相关的在社交网络和IM,线下服务相关的则在O2O企业,铁路相关的在12306等。Google这种拥有全的数据,但并不拥有人的行为,所以说Google这种企业相当于拥有整个社会的一个横截面的数据。而所有其它企业则只拥有某个垂直领域的数据。

如果依赖于企业做这种数据统一的尝试,在前者就会有投资200亿做O2O类的举动,因为这会补全数据,在后者就会有做电商的想做社交,做社交的想做电商这类事发生。类似的故事还可以在终端上发生,所有这些行为的终极目标都是一家企业搞定所有这些事情,但这是不可能的,这种不可能还不单是经济原因。而数据不能打通,那就只能在割裂的数据上做自以为是大数据的大数据。

所以说这骨子里是数据公地究竟能不能建立的问题,而要想建立数据公地,那至少要解决谁来做的问题,对此开源给出的启示有两点非常关键:第一这不能是个盈利组织;第二这要能获得众多企业的支持。因为数据会牵涉隐私,所以同开源相比那就一定还要有比较清晰的界定数据使用的规则。

在有一种切实的办法解决数据所有和使用权之前,大数据的应用应该还都是局部的。因为它的深度应用牵涉社会很多部分的彼此协调,所以这个过程可能是非常漫长的。这里面有意思的事情是,大数据的出现直接推动了机器智能的发展,而机器智能产生影响的速度可能会远快于大数据本身。

以上是小编为大家分享的关于大数据背后的技术、商业和社会维度的相关内容,更多信息可以关注环球青藤分享更多干货

详解大数据的思想如何形成与其价值维度

详解大数据的思想如何形成与其价值维度

比如经济上,黄仁宇先生对宋朝经济的分析中发现了“数目字管理”(即定量分析)的广泛应用(可惜王安石变法有始无终)。又如军事,“向林彪学习数据挖掘”的桥段不论真假,其背后量化分析的思想无疑有其现实基础,而这一基础甚至可以回推到2000多年前,孙膑正是通过编造“十万灶减到五万灶再减到三万灶”的数据、利用庞涓的量化分析习惯对其进行诱杀。

到上世纪50-60年代,磁带取代穿孔卡片机,启动了数据存储的革命。磁盘驱动器随即发明,它带来的最大想象空间并不是容量,而是随机读写的能力,这一下子解放了数据工作者的思维模式,开始数据的非线性表达和管理。数据库应运而生,从层次型数据库(IBM为阿波罗登月设计的层次型数据库迄今仍在建行使用),到网状数据库,再到现在通用的关系数据库。与数据管理同时发源的是决策支持系统(DSS),80年代演变到商业智能(BI)和数据仓库,开辟了数据分析——也就是为数据赋予意义——的道路。

那个时代运用数据管理和分析最厉害的是商业。第一个数据仓库是为宝洁做的,第一个太字节的数据仓库是在沃尔玛。沃尔玛的典型应用是两个:一是基于retaillink的供应链优化,把数据与供应商共享,指导它们的产品设计、生产、定价、配送、营销等整个流程,同时供应商可以优化库存、及时补货;二是购物篮分析,也就是常说的啤酒加尿布。关于啤酒加尿布,几乎所有的营销书都言之凿凿,我告诉大家,是Teradata的一个经理编的,人类历史上从没有发生过,但是,先教育市场,再收获市场,它是有功的。

仅次于沃尔玛的乐购(Tesco),强在客户关系管理(CRM),细分客户群,分析其行为和意图,做精准营销。

这些都发生在90年代。00年代时,科研产生了大量的数据,如天文观测、粒子碰撞,数据库大拿吉姆·格雷等提出了第四范式,是数据方法论的一次提升。前三个范式是实验(伽利略从斜塔往下扔),理论(牛顿被苹果砸出灵感,形成经典物理学定律),模拟(粒子加速太贵,核试验太脏,于是乎用计算代替)。第四范式是数据探索。这其实也不是新鲜的,开普勒根据前人对行星位置的观测数据拟合出椭圆轨道,就是数据方法。但是到90年代的时候,科研数据实在太多了,数据探索成为显学。在现今的学科里,有一对孪生兄弟,计算XX学和XX信息学,前者是模拟/计算范式,后者是数据范式,如计算生物学和生物信息学。有时候计算XX学包含了数据范式,如计算社会学、计算广告学。

2008年克里斯·安德森(长尾理论的作者)在《连线》杂志写了一篇《理论的终结》,引起轩然大波。他主要的观点是有了数据,就不要模型了,或者很难获得具有可解释性的模型,那么模型所代表的理论也没有意义了。跟大家说一下数据、模型和理论。大家先看个粗糙的图。

首先,我们在观察客观世界中采集了三个点的数据,根据这些数据,可以对客观世界有个理论假设,用一个简化的模型来表示,比如说三角形。可以有更多的模型,如四边形,五边形。随着观察的深入,又采集了两个点,这时发现三角形、四边形的模型都是错的,于是确定模型为五边形,这个模型反映的世界就在那个五边形里,殊不知真正的时间是圆形。

大数据时代的问题是数据是如此的多、杂,已经无法用简单、可解释的模型来表达,这样,数据本身成了模型,严格地说,数据及应用数学(尤其是统计学)取代了理论。安德森用谷歌翻译的例子,统一的统计学模型取代了各种语言的理论/模型(如语法),能从英文翻译到法文,就能从瑞典文翻译到中文,只要有语料数据。谷歌甚至能翻译克莱贡语(StarTrek里编出来的语言)。安德森提出了要相关性不要因果性的问题,以后舍恩伯格(下面称之为老舍)只是拾人牙慧了。

当然,科学界不认同《理论的终结》,认为科学家的直觉、因果性、可解释性仍是人类获得突破的重要因素。有了数据,机器可以发现当前知识疆域里面隐藏的未知部分。而没有模型,知识疆域的上限就是机器线性增长的计算力,它不能扩展到新的空间。在人类历史上,每一次知识疆域的跨越式拓展都是由天才和他们的理论率先吹起的号角。

2010年左右,大数据的浪潮卷起,这些争论迅速被淹没了。看谷歌趋势,”bigdata”这个词就是那个时间一下子蹿升了起来。吹鼓手有几家,一家是IDC,每年给EMC做digitaluniverse的报告,上升到泽字节范畴(给大家个概念,现在硬盘是太字节,1000太=1拍,阿里、Facebook的数据是几百拍字节,1000拍=1艾,百度是个位数艾字节,谷歌是两位数艾字节,1000艾=1泽);一家是麦肯锡,发布《大数据:创新、竞争和生产力的下一个前沿》;一家是《经济学人》,其中的重要写手是跟老舍同着《大数据时代》的肯尼思?库克耶;还有一家是Gartner,杜撰了3V(大、杂、快),其实这3V在2001年就已经被编出来了,只不过在大数据语境里有了全新的诠释。

咱们国内,欢总、国栋总也是在2011年左右开始呼吁对大数据的重视。

2012年子沛的书《大数据》教育政府官员有功。老舍和库克耶的《大数据时代》提出了三大思维,现在已经被奉为圭臬,但千万别当作放之四海而皆准的真理了。

比如要数据全集不要采样。现实地讲,1.没有全集数据,数据都在孤岛里;2.全集太贵,鉴于大数据信息密度低,是贫矿,投入产出比不见得好;3.宏观分析中采样还是有用的,盖洛普用5000个样本胜过几百万调查的做法还是有实践意义;4.采样要有随机性、代表性,采访火车上的民工得出都买到票的结论不是好采样,现在只做固定电话采样调查也不行了(移动电话是大头),在国外基于Twitter采样也发现不完全具有代表性(老年人没被包括);5.采样的缺点是有百分之几的偏差,更会丢失黑天鹅的信号,因此在全集数据存在且可分析的前提下,全量是首选。全量>好的采样>不均匀的大量。

再说混杂性由于精确性。拥抱混杂性(这样一种客观现象)的态度是不错的,但不等于喜欢混杂性。数据清洗比以前更重要,数据失去辨识度、失去有效性,就该扔了。老舍引用谷歌PeterNovig的结论,少数高质量数据+复杂算法被大量低质量数据+简单算法打败,来证明这一思维。Peter的研究是Web文本分析,确实成立。但谷歌的深度学习已经证明这个不完全对,对于信息维度丰富的语音、图片数据,需要大量数据+复杂模型。

最后是要相关性不要因果性。对于大批量的小决策,相关性是有用的,如亚马逊的个性化推荐;而对于小批量的大决策,因果性依然重要。就如中药,只到达了相关性这一步,但它没有可解释性,无法得出是有些树皮和虫壳的因导致治愈的果。西药在发现相关性后,要做随机对照试验,把所有可能导致“治愈的果”的干扰因素排除,获得因果性和可解释性。在商业决策上也是一样,相关性只是开始,它取代了拍脑袋、直觉获得的假设,而后面验证因果性的过程仍然重要。

把大数据的一些分析结果落实在相关性上也是伦理的需要,动机不代表行为。预测性分析也一样,不然警察会预测人犯罪,保险公司会预测人生病,社会很麻烦。大数据算法极大影响了我们的生活,有时候会觉得挺悲哀的,是算法觉得了你贷不贷得到款,谷歌每调整一次算法,很多在线商业就会受到影响,因为被排到后面去了。

下面时间不多了,关于价值维度,我贴一些以前讲过的东西。大数据思想中很重要的一点是决策智能化之外,还有数据本身的价值化。这一点不赘述了,引用马云的话吧,“信息的出发点是我认为我比别人聪明,数据的出发点是认为别人比我聪明;信息是你拿到数据编辑以后给别人,而数据是你搜集数据以后交给比你更聪明的人去处理。”大数据能做什么?价值这个V怎么映射到其他3V和时空象限中?我画了个图:

再贴上解释。“见微”与“知着”在Volume的空间维度。小数据见微,作个人刻画,我曾用《一代宗师》中“见自己”形容之;大数据知着,反映自然和群体的特征和趋势,我以“见天地、见众生”比喻之。“着”推动“微”(如把人群细分为buckets),又拉动“微”(如推荐相似人群的偏好给个人)。“微”与“着”又反映了时间维度,数据刚产生时个人价值最大,随着时间decay最后退化为以集合价值为主。

“当下”和“皆明”在Velocity的时间维度。当下在时间原点,是闪念之间的实时智慧,结合过往(负轴)、预测未来(正轴),可以皆明,即获得perpetual智慧。《西游记》里形容真假孙悟空,一个是“知天时、通变化”,一个是“知前后、万物皆明”,正好对应。为达到皆明,需要全量分析、预测分析和处方式分析(prescriptiveanalytics,为让设定的未来发生,需要采取什么样的行动)。

“辨讹”和“晓意”在Variety的空间维度。基于大体量、多源异质的数据,辨讹过滤噪声、查漏补缺、去伪存真。晓意达到更高境界,从非结构数据中提取语义、使机器能够窥探人的思想境界、达到过去结构化数据分析不能达到之高度。

先看知着,对宏观现象规律的研究早已有之,大数据的知着有两个新特点,一是从采样到全量,比如央视去年“你幸福吗”的调查,是街头的采样,前不久《中国经济生活大调查》关于幸福城市排名的结论,是基于10万份问卷(17个问题)的采样,而清华行为与大数据实验室做的幸福指数(继挺兄、我、还有多位本群群友参与),是基于新浪微博数据的全集(托老王的福),这些数据是人们的自然表达(而不是面对问卷时的被动应对),同时又有上下文语境,因此更真实、也更有解释性。北上广不幸福,是因为空气还是房价或教育,在微博上更容易传播的积极情绪还是消极情绪,数据告诉你答案。《中国经济生活大调查》说“再小的声音我们都听得见”,是过头话,采样和传统的统计分析方法对数据分布采用一些简化的模型,这些模型把异常和长尾忽略了,全量的分析可以看到黑天鹅的身影,听到长尾的声音。

另一个特点是从定性到定量。计算社会学就是把定量分析应用到社会学,已经有一批数学家、物理学家成了经济学家、宽客,现在他们也可以选择成为社会学家。国泰君安3I指数也是一个例子,它通过几十万用户的数据,主要是反映投资活跃程度和投资收益水平的指标,建立一个量化模型来推知整体投资景气度。

再看见微,我认为大数据的真正差异化优势在微观。自然科学是先宏观、具体,进入到微观和抽象,这时大数据就很重要了。我们更关注社会科学,那是先微观、具体,再宏观、抽象,许小年索性认为宏观经济学是伪科学。如果市场是个体行为的总和,我们原来看到是一张抽象派的画,看不懂,通过客户细分慢慢可以形成一张大致看得懂的现实图景,不过是马赛克的,再通过微分、甚至定位个人,形成高清图。我们每一个人现在都生活在零售商的bucket中(前面说的乐购创造了这个概念),最简单的是高收入、低收入这类反映背景的,再有就是反映行为和生活方式的,如“精打细算”、“右键点击一族”(使用右键的比较techsavvy)。反过来我们消费者也希望能够获得个性化的尊崇,Nobody wants to be nobody today。

了解并掌握客户比以往任何时候都更重要。奥巴马赢在大数据上,就是因为他知道西岸40-49岁女性的男神是乔治·克鲁尼,东岸同样年龄段女性的偶像则是莎拉·杰西卡·帕克(《欲望都市》的主角),他还要更细分,摇摆州每一个郡每一个年龄段每一个时间段在看什么电视,摇摆州(俄亥俄)1%选民随时间变化的投票倾向,摇摆选民在Reddit上还是Facebook上,都在其掌握之中。

对于企业来说,要从以产品为中心,转到以客户(买单者)甚至用户(使用者)为中心,从关注用户背景到关注其行为、意图和意向,从关注交易形成转到关注每一个交互点/触点,用户是从什么路径发现我的产品的,决定之前又做了什么,买了以后又有什么反馈,是通过网页、还是QQ、微博或是微信。

再讲第三个,当下。时间是金钱,股票交易就是快鱼吃慢鱼,用免费股票交易软件有几秒的延迟,而占美国交易量60-70%的高频程序化交易则要发现毫秒级、低至1美分的交易机会。时间又是生命,美国国家大气与海洋管理局的超级计算机在日本311地震后9分钟发出海啸预警,已经太晚。时间还是机会。现在所谓的购物篮分析用的其实并不是真正的购物篮,而是结帐完的小票,真正有价值的是当顾客还拎着购物篮,在浏览、试用、选择商品的时候,在每一个触点影响他/她的选择。数据价值具有半衰期,最新鲜的时候个性化价值最大,渐渐退化到只有集合价值。当下的智慧是从刻舟求剑到见时知几,原来10年一次的人口普查就是刻舟求剑,而现在东莞一出事百度迁徙图就反映出来了。当然,当下并不一定是完全准确的,其实如果没有更多、更久的数据,匆忙对百度迁徙图解读是可能陷入误区的。

第四个,皆明。时间有限,就简单说了。就是从放马后炮到料事如神(predictiveanalytics),从料事如神到运筹帷幄(prescriptiveanalytics),只知道有东风是预测分析,确定要借箭的目标、并给出处方利用草船来借,就是处方性分析。我们现在要提高响应度、降低流失率、吸引新客户,需要处方性分析。

辨讹就是利用多源数据过滤噪声、查漏补缺和去伪存真。20多个省市的GDP之和超过全国的GDP就是一个例子,我们的GPS有几十米的误差,但与地图数据结合就能做到精确,GPS在城市的高楼中没有信号,可以与惯性导航结合。

晓意涉及到大数据下的机器智能,是个大问题,也不展开了。贴一段我的文章:有人说在涉及“晓意”的领域人是无法替代的。这在前大数据时代是事实。《点球成金(Moneyball)》讲的是数量化分析和预测对棒球运动的贡献,它在大数据背景下出现了传播的误区:一、它其实不是大数据,而是早已存在的数据思维和方法;二、它刻意或无意忽略了球探的作用。从读者看来,奥克兰竞技队的总经理比利·比恩用数量化分析取代了球探。而事实是,在运用数量化工具的同时,比恩也增加了球探的费用,军功章里有机器的一半,也有人的一半,因为球探对运动员定性指标(如竞争性、抗压力、意志力等)的衡量是少数结构化量化指标无法刻画的。大数据改变了这一切。人的数字足迹的无意识记录,以及机器学习(尤其是深度学习)晓意能力的增强,可能逐渐改变机器的劣势。今年我们看到基于大数据的情感分析、价值观分析和个人刻画,当这些应用于人力资源,已经或多或少体现了球探承担的。

什么是大数据,通俗的讲

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产,简单来说大数据就是海量的数据,就是数据量大、来源广、种类繁多(日志、视频、音频),大到PB级别,现阶段的框架就是为了解决PB级别的数据。

大数据的7大特征:海量性,多样性,高速性,可变性,真实性,复杂性,价值性

随着大数据产业的发展,它逐渐从一个高端的、理论性的概念演变为具体的、实用的理念。

很多情况下大数据来源于生活。

比如你点外卖,准备什么时候买,你的位置在哪,商家位置在哪,想吃什么……这都是数据,人一多各种各样的信息就越多,还不断增长,把这些信息集中,就是大数据。

大数据的价值并不是在这些数据上,而是在于隐藏在数据背后的——用户的喜好、习惯还有信息。

感谢大家的阅读,希望本篇文章对你理解全维度大数据有所帮助,同时也期待你们分享大数据免费查询的学习经验。

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有

[!--neilian--]