大数据有哪些特点?

大数据特点- 6个V 

 • Volume:巨大的数据量 

•集中储存/集中计算已经无法处理巨大的数据量。

 •数据量呈指数增长:地震、录井、石油钻塔的传感器一个月产生的数据量比全球所有的电影加在一起还要多。 

•新浪微博用户数2.5亿+,高峰每天几亿条。

 •Variety:非结构化数据多样性

•文本/图片/视频/文档等,如诸如微地震,电磁以及光纤分布式温度监测(DTS)。

•  Velocity:数据增长速度快

•用户基数庞大/设备数量众多/实时海量/数据指数级别增长。

 •Value:数据的价值性

 •每个钻井平台有40,000传感器,但是通常只有10%的数据使用到。

 • 每个深水钻井平台的投资可达到$150M,能有效利用所有的数据非常关键,关系到安全与优化运营。

 • Vercity:数据的真实性


大数据技术是指从各种各样海量类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。大数据具备以下4个特点:一是数据量巨大。例如,人类生产的所有印刷材料的数据量仅为200PB。典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。二是数据类型多样。现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据,个性化数据占绝对多数。三是处理速度快。数据处理遵循“1秒定律”,可从各种类型的数据中快速获得高价值的信息。四是价值密度低。以视频为例,一小时的视频,在不间断的测试过程中,可能有用的数据仅仅只有一两秒。


在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特点:

1大量

大数据的特征首先就体现为“大”,强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理如此大规模的数据。

2高速

就是通过算法对数据的逻辑处理速度非常快,1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的数据挖掘技术有着本质的不同.

3多样

广泛的数据来源,决定了大数据形式的多样性。任何形式的数据都可以产生作用,目前应用最广泛的就是推荐系统,如淘宝,网易云音乐、等,这些平台都会通过对用户的日志数据进行分析.

4价值

这也是大数据的核心特征。现实世界所产生的数据中,有价值的数据所占比例很小。你如果有1PB以上的全国所有20-35年轻人的上网数据的时候,那么它自然就有了商业价值.

与其说是大数据,不如说是大数据时代,一是人类处理数据的能力显著增强。过去也有数据,但数据散乱,没有强大的处理能力,所以发挥不了作用。现在之所以说已经进入了大数据时代,就是因为人类的处理数据能力大大增强了。云计算和大数据是两个方面,如果没有云计算,也就无所谓大数据,云计算能够把海量的、零散的、有价值的数据进行快速处理并释放出价值。

二是数据整合的形式愈发明显。一般来讲,政府掌控了大约80%的公共数据。而在企业数据方面,像阿里巴巴、百度、腾讯等互联网巨头掌握了海量数据。不管是政府数据,还是企业数据,抑或是社会数据,整合的趋势愈发明显。打通政务流、企业流、社会流,技术整合趋势是必然的。由于老百姓的消费行为可以影响政府决策,所以政府希望老百姓刷卡消费,让数据归集到政府这边。

三是大数据应用领域不断扩散。大数据在政治、经济、社会、文化、生态等几乎每一个领域都有着广阔的应用前景。

四是围绕大数据应用的创新持续活跃。我们看到新业态、新模式、新体制不断出现,市场的活力也在得到不断地释放,个人的创造性也被大大地激活,这是一个前所未有的时代。

上述大数据时代的四大特征,在中国似乎得到了很清晰的验证:网络规模全球第一、网民数量全球第一、智能手机用户全球第一、网络社交参与人数全球第一、网购人数全球第一、电子商务交易额全球第一、移动支付全球第一;无处不在的网络、无处不在的软件、无处不在的计算、无处不在的数据、无处不在的互联网+。


简单点说,就是你现在问的什么后台都知道,我答的什么后台也都知道


大数据有多大

要理解大数据这一概念,首先要从大入手,大是指数据规模,大数据一般指在10TB(1TB=1024)规模以上的数据量。大数据同过去的海量数据有所区别,其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity),即体量大、多样性、价值密度低、速度快。

四大特点

第一,数据体量巨大。从TB级别,跃升到PB级别。

第二,数据类型繁多,如前文提到的网络日志、视频、图片、地理位置信息,等等。

第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。

第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。

大数据的价值

大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的大数据不仅指数据本身的规模,也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域,通过解决巨量数据处理问题促进其突破性发展。因此,大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息,也体现在如何加强大数据技术研发,抢占时代发展的前沿。


大数据的概念范畴,大数据(bigdata)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据的5V特点,在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

具体而言容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息。种类(Variety):数据类型的多样性。速度(Velocity):指获得数据的速度。可变性(Variability):妨碍了处理和有效地管理数据的过程。真实性(Veracity):数据的质量。复杂性(Complexity):数据量巨大,来源多渠。价值(value):合理运用大数据,以低成本创造高价值。

从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。


原始地址:/chaoliu/7605.html