2015年3月24日,由中广格兰主办的“首届中国广电云计算大会”在北京广电国际酒店举办。大会邀请了国内知名专家学者、行业领袖参加会议,以更加国际化的视野,帮助与会者了解全球云计算技术的发展趋势;从广播电视应用出发,探讨云计算在行业领域的实践经验;深度剖析广播电视云计算应用的核心技术。
在24日下午专题演讲上,中国数据中心产业发展联盟秘书长郑宏做了题为《大数据与云计算产业发展分析》的演讲,他介绍了国内及国外大数据发展的情况。
图为:中国数据中心产业发展联盟秘书长郑宏
以下为演讲实录:
谢谢邀请我参加本次广电云计算大会。我还有双重成分,一是中国数据中心产业发展联盟,二是大数据分会秘书长,刘教授也是大会秘书长,借这次机会,刚才大家谈到了云计算,最后都要提到大数据,云计算大家讲的都比较多,所以我重点还是讲讲我们在研究大数据占发展方面收集的资料和大家做一些沟通。
我们收集的大数据的定义。
维基百科搜索:大数据是指无法在一定时间内用常规软件工具对其内容进行抓取,管理和处理的数据集合。
4V的定义:体量巨大,数据类型繁多,存取速度快,价值密度低。
传统数据和大数据对比,传统数据可能是GB规模到TB规模,结构化的数据,增长不快,更主要的是统计和报表。大数据可能就不一样了,规模可能从TB到PB级了,包括半结构化、非结构化、多维数据,持续实时产生数据,这几年每年增长速度也非常快,也可以做到通过数据挖掘做到预测性分析。我们认为大数据实质是大数据技术将被用于在成本可承受的条件下,通过非常快速的采集和成本分析,从大数据量、多类别数据中提取价值。但传统关键型数据库存在性能、存储、成本、IO瓶颈等原因无法支撑大数据要求,解决方法是分布式技术(云计算一个主要特点)、廉价的X86平台,本地存储,分布式技术是大数据处理的基础。
大数据认识上的误区。
学术界认为,大数据是现有数据处理技术难以处理的超大规模数据,这种定义对于实际应用实际没有太多意义,除了IT巨无霸,一般企业很难有这种规模的数据。
企业界认为,将自己可利用到的海量数据视为大数据,实际对企业的工作是十分有利的,可以从自己的需求和利益出发,利用新的数据改进企业的工作。
政府部门认为,看法不一样,很多官员认为数据比较多,数据量比较大,整合起来有几十倍的增长,可以有真正的大数据,有些是整合出来的大数据应用,对大数据的理解不一样,也反映出对我们实际应用还是有脱节的地方。特别是与政府需求的脱节,实际政府的大数据、需求是常规处理技术就可以处理的。服务商要生业务的真实需求,常规技术能够解决的不必套用大数据技术的应用。
对大数据的基本认识。
新一轮信息技术革命与人类经济社会活动的教会融合,引发了数据爆炸式增长,催生了大数据,大数据是一类呈现数据容量大、增长速度快、数据类别多,价值密度低等特征的数据,是一项能够对数量巨大、来源分散、格式多样的数据进行采集,存储和关联分析的新一代信息技术架构和技术。大数据的应用已经开始对全球生产、流通、分配与消费模式产生重要影响,已经深刻改变了我们生产生活方式,经济运行机制和国家治理模式。
国外大数据发展情况。
2009年1月份,美国总统奥巴马签署了《开放透明政府备忘录》,要求建立更加开放透明,参与合作的政府,体现了美国政府对开放数据的重视。
2009年美国行政管理和预算局向白宫提交的《开放政府令》获批准,明确各政府机构要在线发布政府信息,提升政府信息的质量,营造一种开放政府文化并使其制度化。美国开启建立了Data.gov“开放政府”承诺的关键部分,可直接向公众开放高价值的数据集,为用户提供海量的原始政府数据。到2013年5月13日统计,这个平台来自172个联邦政府不同部门、机构和组织的373029条原始和地理空间数据,1209个数据工具、350个电脑应用和137个手机应用,涵盖了国计民生50个门类,除了在国家数据门户网站上整合部分州、地方政府的数据集外,美国还有40个州、44个县市建立了单独的数据门户网站。
2012年美国总统奥巴马宣布启动《大数据研究与发展计划》,通过对海量和复杂的数字资料进行收集整理,以提升对社会经济发展的预测能力。涉及很多部门,包括国家科学基金会、卫生研究院、国防部、能源部等相关机构,他还鼓励相关产业、大学、非营利机构与政府一起努力,共享大数据提供的机遇。可以看到美国大数据发展战略已经从商业性质行为上升到国家意志层面。
并且还组建了“大数据高级指导小组”,以协调政府在大书记领域的投资,达到2亿多美金,这也标志着,美国已经开始把大数据技术革命作为国家战略,提到更高的层面。
投资方面,美国政府宣布投资2亿美元提高大数据技术,来加快科学研究,加强国家安全,改革教学和培训体系来促进专业人才发展。
美国国家科学基金会以大数据关键技术的突破作为大数据项目的重点,与美国国家卫生研究院对大数据进行联合指标。还积极推进各项大数据相关措施,白宫也发布了《2014年大数据白皮书》,也提到“大数据的爆发带给政府更大的权力,为社会创造出极大的资源,如果在这一时期实施正确的发展战略,将给美国以前进的动力,使美国继续保持长期以来形成的国际竞争力。”政策法规方面,美国也出台了一系列政策法规为政府数据开放共享提供了实施基础,从最初的《信息自由法》《阳光下的政府法》,到2009年的《开放政府令》,再到2012年的《大数据研究与发展计划》,美国的政府数据开放政策不断完善。
美国安全依赖于正确的时间将正确的信息分享给正确的人,战略旨在确保信息在负责、无缝安全的环境中共享。
政府颁布的总统令,包括13526、13556总统令,实际是为了信息的开放透明,包括敏感信息开放,来减少对公众过多隐瞒。
欧盟的情况,欧盟举办了相关论坛,从2012年开始计划2年时间内投入300万欧元创办互联网论坛,主要讨论欧盟大数据发展方向,为产业、科研和政策制定者们提供一个关于大数据经济的讨论平台。
技术领域发展措施,比如增加对5G技术的投资,通过加强教育、培训等手段帮助人们消除技术方面的差距,还提出了一系列的举措,包括依托“地平线2020”做到科研规划,创建开放式数据孵化器。就“数据所有权”和数据提供责任作出新规定,制定数据标准,找出潜在问题。成立多个超级计算中心,在成员国创建数据处理设施网络,建立大数据领域的公私合作关系,来资助推出具有颠覆意义的大数据理念探讨。
法国的情况。
法国政府也公布了自己投资框架,也投入巨资支持未来七个投资项目,目的在于通过创新性的解决方案,并将其用来实践,促进发展在大数据领域的发展。收回的企业包括信息系统设计企业、软件企业、技术集成企业、研发中心以及众多初创企业等。法国中小企业、创新和数字经济部还推出了大数据规划,计划于2013年—2018年在巴黎创建大数据孵化器,通过公共私营合作方式投资3亿欧元,大约有数百家大数据初创企业可享受资助。2011年2月,法国政府成立了开放数据办公室“Etalab”,负责建立跨部门公共数据门户网站。2013年2月,法国政府提出了开放政府数据路线图。在《数字化路线图》中列出了五项将会大力支持的战略性高新技术,大数据是其中重要一项。
法国也建立了数据开放平台。
2012年6月底,Data.gouv.fr已有1.3万个数据集,参与机构超过300个,注册用户超过3000名。平台运行两年后,法国负责协调开放数据的Etalab专责小组开始开展协同设计,协同设计的合作过程将广泛地联合开放数据生态系统以推动一个全新版本的平台开发。
促进建立创新者生态系统。2013年9月,法国政府发布了《公共数据开放和分享手册》,传授和交流数据开放经验,翻译并向国际社会传播法国政府的《开放政府数据手册》。国家教育部推出了四项数字化服务,其中一项服务是在网上公布近三年来法国所有高中会考的科目名单,向公众提供开放式的数据平台。为此,他们相关的民间组织也在号召推动大数据的发展,来推动政府部门与私人企业间的合作,投入3亿欧元资金推动大数据领域的发展。
英国的情况。
在政府投资、网站平台建设,发布战略规划方面,对大数据都是非常重视的。也专门发布了《英国农业技术战略》,对农业基础投资集中在大数据,目的将农业技术科技商业化。设立了专门机构,成立了研究部门叫透明委员会,来研究制定英国政府数据开放制度。成立开放数据研究所,与企业联合,研究分析英国政府开放数据。强化数据收集与分析,英国政府还在2013年11月8国集团开放数据县长2013年英国行动计划,做出6项承诺:
1、明确高值数据集。
2、确保所有数据集都通过国家数据门户平台集中发布。
3、通过与相关机构沟通,来优化公布哪些数据集。
4、将通过风险经验和工具来支持国内外开放数据创新。
5、将英国开放数据工作设计清晰的前进方向,所有部门都要求在制定时间编写其部门所有开放数据,
6、英国政府为开放数据建立国家级的基础设施。
德国情况。
德国推出2014年—2017数字议程,启动第二届数字信息计划,发布信息保护基本条例。
日本情况。不具体说了。
我国大数据发展状况。
国务院在2013年8月8号发布了《关于促进信息消费扩大内需的若干意见》,其中提到鼓励智能中断产品创新发展,面向移动互联网、云计算、大数据热点,加快实施智能终端产业化工程。2014年8月27日,发布了关于促进智慧城市健康发展过程中,加强基于云计算的大数据开发与利用。1月6日5号文件对云计算产业有更大的影响《关于促进促进云计算创新发展培育信息产业新业态的意见,明确在疾病防治、灾害预防、社会保障、电子政务等领域开展大数据应用示范。
2014年11月27日,国务院办公厅《关于加快发展商业健康保险的若干意见》,也提出要提升信息化建设水平,政府部门相关部门和商业保险机构要切实加强参保人员个人信息安全保障,防止信息外泄和滥用,支持商业银行保险机构开发功能完整、安全高效、相对独立的全国性或区域性健康保险信息系统,运用大数据、互联网等现代信息技术,提高人口健康数据分析应用能力和业务智能处理水平。2013年11月20日,卫生部也提出在运用大数据、云计算提升的人口健康信息化、业务应用水平。2014年8月成立了中国信息协会大数据分会,专门从事大数据采集、整理、分析、应用,以及提供大数据基础设施建设和管理等服务的单位和个人自愿组成的全国性行业自律组织。
这是我们对我国发展大数据形势的基本判断,大数据是战略资源竞争的新焦点,因为大数据已成为与物质、能源同等重要的国家基础性战略重要资源。发达国家已经制订了大数据发展战略,行动计划,加速提升拥有数据规模,质量和运用数据能力,来抢占数据制高点。国家之间已经围绕数据掌控权信息能力角逐也日趋积累,网络空间数据主权已经成为国际竞争战略焦点,在整个大数据浪潮之中,我国正在面临从数据大国向数据强国转变的历史性机遇,我们要加强制定实施国家大数据发展战略,以提高我们对数据掌控应变能力,提高我们国家的信息优势,增强我们的综合国力。
大数据也是经济转型,经济增长新的引擎,信息流在引领技术流、物资流、资金流、人才流,深刻影响社会化分工协作的组织模式,促进生产组织方式的集约和创新。大数据技术与应用推动社会生产要素的网络化共享,集约化整合,协作化开发和高效化利用,来改变我们传统生产方式和经济运行机制,来推动整个产业结构调整。大数据正在持续激发商业模式创新,催生产业发展新领域,新业态。
我们认为,大数据产业正在成为战略性新兴产业和全球经济发展新增长极,正在影响我们国家、国际未来信息产业发展格局。大数据也是提升治理能力的新途径,它能够揭示传统方式难以转变的观念的关系,提升政府整体数据分析能力,提升政府数据开放与共享。大数据通过深化应用,为政府决策者提供全面深化的数据信息,决策依据,政策保证和社情民意,用数据说话,用数据来决策,用数据来管理,用数据来创新的新的管理机制。
我国发展大数据的策略定位:
1、围绕经济社会发展需求。
2、促进社会创新应用,释放数据红利。
3、推动产业转型升级,培育新兴业态。
4、提升政府治理能力,推进治理体系现代化。
5、构建大数据产业生态体系,推进数据强国和网络强国的建设。
强化政府大数据应用方面我们认为应该从三方面去做工作:
1、推动宏观调控科学化。
2、加强社会治理精准化。
3、促进安全应用高效化。
推动社会创新应用应该发展民生服务大数据,发展产业升级大数据,推动社会创新应用。
大数据要加快关键技术的研发,包括核心技术攻关,形成大数据的产品体系,围绕数据采集,数据整理,分析挖掘和展现数据应用等环节来推动相关工作,构建大数据产业链,壮大核心产业规模,构建大数据产业链,构建整个大数据的生态体系,形成政产学研用的机制。
要从以下三方面统筹国家大数据资源,包括统筹规划大数据基础设施建设,避免盲目的数据中心基础设施建设;强制推动政府和公共部门数据共享;稳步推动公共数据资源的开放。
数据安全是重中之重,要从健全大数据安全保障体系,强化网络和大数据安全、支撑两方面来推动数据安全的保障。
这是我们对云计算和大数据关系的理解,两者属于不同层次的事情,云计算研究是计算问题,大数据研究的是巨量数据处理问题,巨量数据处理依然属于计算问题的研究范围。因此,大数据也是云计算的一个子领域。应用角度来看,大数据是云计算的应用案例之一,云计算可以过滤无用信息的“神器”,可以高效分析数据,是大数据的实现工具之一,也可以说大数据推动了云计算的落地,云计算促进了大数据的应用。大数据,云计算,我们认为既有不同,也有联系,大数据处理时为了获得良好的效率和质量,我们常常采用云计算技术。因此,大数据、云计算常常同时出现,造成大家的困惑。
云计算政策环境分析,我们认为有以下几个方面,包括国家发布了政策,把云计算、三网融合纳入国家发展战略之中。
我们认为,这是云计算发展的趋势,认为未来市场会快速增长,产业会加快升级,产品和服务会越来越落地,企业会逐渐寻求转型。云计算是不可错过的历史机遇,云计算是计算技术发展的一次重大变革,必将重塑信息化未来发展模式,对我国信息化的未来发展影响深远,是不可错过的历史机遇。目前制约云计算发展的主要障碍在于数据安全和隐私保护,发展自主可控的核心技术,可以解决我国发展云计算带来的安全问题。云计算或者真正把计算放到云上去发展相对迟缓,国内产业界做得还是不够,希望通过更多的沟通交流在行业上,包括教育、医疗各个领域的落地。
理念上来看,我们认为利用互联网计算能力可以作为一种公共事业,像电力、自来水、天然气一样通过网络来调度使用,用户只需要一个简易终端插上就形成云计算的想法并不符合信息化发展的客观实际。近年来,比云发展更快的是计算终端的发展,终端简易都不建议,功能越来越强,价格越来越低,品种越来越多,云+端是现实合理的发展趋势。
我们行业协会在云计算、大书记方面做了很多工作。时间关系就介绍到这里,谢谢大家!
推荐阅读
经典栏目
精彩专题
关注我们
大视频行业颇具影响力的行业社群平台,重要新闻、热点观察、深度评论分析,推动电视行业与各行各业的连接。
集合电视台、网络视听、潮科技等各种好玩信息。
专注于报道广电行业新鲜5G资讯,致力于成为广电行业有权威、有深度的5G自媒体平台。
UHD、4K、8K的最新资讯和最深入的分析,都在这里。
视频产业的专业圈子,人脉、活动、社区,就等你来。
我们只沉淀有深度的信息和数据。
致力于卫星电视信息、卫星通信技术、天地一体网络应用案例、以及广电、通信等产业的市场动态、政策法规和技术资讯的传播。