Esri 中国信息技术有限公司副总裁、首席咨询专家  蔡晓兵

      来自中国智研数据中心的数据分析显示，从市场结构看，全球大数据市场结构正从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。在全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用已成为为市场份额排名最靠前的细分市场。
      2)我国大数据市场规模
      根据中国信息通信研究院的市场调查，2016年中国大数据市场规模约为168亿元人民币，同比增速达45%。预测数据显示，到2020年，中国大数据市场规模将达到578亿元人民币，是2016年的3倍多。充分预示了大数据市场的广阔前景。

（数据来源：中国信息通信研究院，2017.3.）

      3)开放数据及其前景
      《重新定义大数据》（大数据战略重点实验室）一书中，对开放数据给出了十分精辟的表述：“从数据的广义内涵来讲，信息公开、数据开放和数据共享的最终表现均为开放数据。大数据时代，数据成为被激活的资产被赋予全新的意义，人们对开放数据的诉求发生了深刻的变化，开放数据运动已经成为一股全球性的潮流。”
      开放数据所开放的，不仅仅是数据本身，还包括数据的来源、获取、处理等数据操作过程和方式的公开与透明。就政府而言，开放数据释放了政府的数据活力，推动政府与公民的合作，提高政府治理水平。对全社会而言，开放数据改变了政府与公众进行沟通的方式，变被动为主动，也使公众更加便利地参与到政府决策中来。开放数据对企业而言，可以带来新的价值和催生新的商业模式。另外，开放数据对科学研究也具有十分重要的意义，它既可以引导新的科研范式与实践，又能促进跨学科、跨行业乃至跨国界的数据共享和交流。
      因此，大数据技术的逐步成熟和大数据本身的逐步开放，正在逐步形成对国民经济发展新的推动力。
      4)空间大数据市场前景
      从数据的固有属性而言，任何的大数据，几乎无一例外地具有其时空属性，或者说可以将其与时间、空间发生关联，从而使其空间化。因此，从广义的大数据市场规模和发展现状和前景预测中，我们可以预见空间大数据及其应用的广阔市场前景。

(数据来源：tiuchina.com)

      六、空间大数据行业应用
      空间大数据的应用，涉及的行业十分广泛。这里，仅就自然资源（国土）、交通、环保、电信等领域内空间大数据的应用给出简要的阐述。
      1)自然资源行业
      经过若干年的信息化建设实践，我国国土资源基础数据、业务数据、管理数据、监测数据，各类遥感影像数据、国土资源调查数据、基本农田与重点矿山监测数据、地质灾害预警预报、地质勘查基金项目管理等，具备了一定的信息化管理手段，信息化水平取得了长足的进步。
       但随着数据量的不断增加，数据获取渠道的不断丰富，特别是对数据的深入挖掘分析需求日益迫切，我们在海量数据存储和海量数据快速统计分析等方面面临诸多挑战。
      高效存储：
      国土资源信息数据规模庞大、种类繁多、格式复杂。在长期的国土资源调查、监测、评价、研究工作中，国土资源部门积累了大量的资料。
      国土资源数据库是国家空间数据基础建设的重要组成部分，目前部、省、市、县各级分别构建了土地利用现状、土地利用规划、基本农田、矿产资源规划等数据库；随着视频、传感器、智能设备等技术的发展，视频、音频、文本、日志文件、物联网和传感器等大量非结构化数据产生，国土资源数据量更是巨大。
      以第二次全国土地调查为例，调查的数据种类包括12个一级类、56个二级类，其中一级类包括耕地、园地、林地、草地、商服用地、工矿仓储用地、住宅用地、公共管理与公共服务用地、特殊用地、交通运输用地、水域及水利设施用地、其他土地。目前数据总量已经达到上百TB，并且每年产生20TB左右增量数据。
      “一张图”建设涉及到的数据量巨大，包括遥感影像数据、基础地形数据、行政审批数据、土地、矿产、执法检查等各类专题数据，目前的数据总量达到上百TB，并且随着数据更新数据量将不断增长。
      在地质矿产数据方面，全国地质资料馆负责全国地质资料接收、保管和服务，拥有全国最新、最全、最权威的地质数据，并且数据源在不断的更新维护中。
      我国实行不动产统一登记以来，不动产的登记档案信息已产生了质的飞跃，有着极大的广泛性特征。从国家层面、到信息服务部门、再到广大公众，都成为其有效的参与主体。按照国土资源部的要求，各地在不动产登记信息平台投入运行前，要全面清理和整理不动产登记历史资料，按照国家标准，对本地区土地、房屋、林地、草原、海域存量登记数据进行整合，建立关联关系，逐步建立健全不动产基础数据库、不动产登记信息系统、不动产权籍调查管理系统、不动产查询分析系统、不动产信息共享交换系统。通过对各类不动产数据的高效存储和实时推送，逐步实现部门内部与部门之间的数据共享交换。
      为此，需要研究海量空间数据存储管理关键技术，对数据物理存储、数据索引、数据压缩、空间数据引擎、数据提取、数据缓存以及显示等一系列关键技术进行优化创新，提高海量空间数据的查询、浏览和调用速度。需要对数据管理和应用服务模式进行深度研究和开发，探索海量空间数据的统一管理模式，实现多源、多尺度、海量数据的统一存储和高效管理，采用数据管理和数据应用松散耦合的方式，实现数据库和应用的松散偶合。
      快速分析：
      各种海量国土资源数据，隐含着巨大的潜在价值，需要有组织地对数据进行采集、存储、管理、分析和挖掘。对于多源、海量的数据，需要引入新的大数据分析平台和技术，加快分析速度，满足日常决策需求。
      第二次全国土地调查需要根据土地调查结果，结合相关资料信息，开展土地利用状况分析，对耕地、基本农田等各类土地的数量、分布、利用结构及其变化状况进行综合分析，评判土地利用的集约节约程度，预测变化趋势，为土地开发潜力挖掘，节约集约利用土地资源提出建议。
      同时也可以结合其它的监测资料，开展国土资源数据的深入挖掘。例如，在基本农田数据基础上，结合土壤、灌溉、环境、气象等条件的变化因素，应用大数据分析方法，建立基本农田质量影响评价模型，从而做到基本农田的动态保护、监测和评估；对农用地分等定级数据进行分析，从而指导土地定级估价、农用地的适宜性评价、城镇发展规划；在地质灾害评估中，大面积的灾害区分类、灾害等级识别和灾情预报等是地质灾害调查评估的瓶颈，分析大数据，综合地形、气象、遥感信息等作为地质灾害预测、评估的工具，具有极大的优势。
      加强大数据的技术应用，深度挖掘国土资源数据，采用大数据技术，完善综合监管平台的数据综合分析功能，研制数据分析模型，加强辅助决策，支持功能建设，实现从海量数据中提取信息，从信息中发现知识，将知识升华为智慧，提升国土资源形势分析研判的前瞻性和管理决策的科学化水平，加强和改善国土资源宏观调控的能力。
      2)交通行业
      交通大数据中同时包含了来自交通行业的和交通行业之外的格式化和非格式化数据。如气象、环境、人口、规划、移动通信手机信令等数据，以及来自公众互动提供的交通状况数据，如微博、微信、论坛、广播电台等提供的文字、图片、音视频等数据。
      交通领域数据产量巨大，其大数据分析和应用的场景也很多。如智能公交、辅助交通规划与决策、群体（节假日）出行预测等等。
      智能公交：
      结合GPS/4G通讯/GIS等技术，可以实现对车辆的实时监控，在线地理匹配等，公交公司进一步实现公交的智能调度，用户也对公交实时运行路线、当前位置了如指掌。这提高了公交车的利用率，也给交通出行的带来便捷，同时也在不断减轻城市道路的拥堵负担。
      辅助交通规划与决策：
      就公交网络而言，一卡通、手机信令产生的出行信息，让流量数据全面的展现在决策人员面前，结合道路网络等其他静态资源，利用分析模型即可实现公交线路的适当调整，各种换乘站的设计决策也会更加有依据。
      群体（节假日）出行预测：
      利用交通企业综合运营的大数据，可以预测出群体出行的态势，基于客票信息，导航信息对其可能出行的时间，出行路线，出行方式等等进行预测，从而为城市车辆调度提供决策帮助。
      应用案例：北京市出租车大数据分析
      北京市出租车行业每天产生的总数据量1.1-1.2亿条，存储量约17-20G，数据主要涉及GPS数据、交易数据、司机合同数据、审批数据、电召数据等。这些数据主要用于计算运营指标（50余项字段）、设备完好率、小时出车率、重点区域小时出车数量、电召日均订单数量等。采用大数据分析平台，计算33亿条出租车数据，计算耗时由原来40小时缩短到30分钟，提高80倍。这意味着可以近乎准实时地对北京市出租车运营数据进行处理分析，其结果可为进一步的调度、决策和规划等提供支持。
      3)环保行业
      近年来，我国各级环保部门已经陆续开展了环境质量监测、污染源监控、生态环境调查、环境执法、环境标准、环境规划、环境统计等工作，积累了大量数据。
      在大气污染防治方面，2015年我国对367个城市的空气质量进行了在线监控，对近15000家重点污染企业实行在线监控，这些污染源和环境质量等实时环境数据不断增加并逐步实现了信息的联网发布，初步具备了大数据的“4V”特性。
      各地环保部门正在开展的空气质量多模式（NAQPMS、CMAQ、CAMx）预报业务，通过气象场、排放源、初始和边界条件及其他信息的输入,数值求解污染物在大气中的物理、化学等过程,获得污染物在一定时空范围内的浓度分布特征。这对PM2.5，PM10，SO2，NO2，O3等监测频度、密度等都提出更高的要求，特别是在环境会商时，对基于环保大数据的快速运算也提出了更高的要求。
      环境大数据应用面临的技术挑战，主要体现在：海量监测数据高效存储、多源环境数据集成整合，以及数据的快速分析和结果表达等。
      应用案例：空气质量多模式预报
      针对空气质量预测预报多模式输出的各种气象、污染物、风场数据，进行模型结果数据的标准化和变换处理、入库存储和服务发布。在数据的分析处理环节，采用“基于非结构化散列文件的ArcGIS大数据方案”进行数据分布式处理，大幅提高了多模式预报的分析和处理速度，提升了预报、决策会商的效率。
      4)电信行业
      社交通信和互联网访问服务已经成为现代社会人的基本需求，人与人之间的通信管道、人与互联网信息化世界的连接管道都是由电信运营商提供的，电信网络的数字化技术发展使得电信网络在为人提供服务的同时会记录所有痕迹，包括人的位置、时间、使用的终端、通信行为、上网行为等诸多细节。
网络和用户是运营商的核心资产，而其中流动的数据，包括用户配置基础数据、网络信令数据、网管/日志数据、用户位置数据、终端信息等是运营商的核心数据资产，电信运营商处在大数据产业链中的数据传递和交换中心的地位,具有丰富的数据资源，具有开展大数据分析和挖掘的优势。
      电信大数据的应用方向，主要涉及：内部业务优化与网络优化应用、政府决策支持位置服务应用、商业智能支持位置服务应用等方面。
      应用案例：某省电信公司基于每天约26亿条手机信令数据，分析人口的动态分布和时空聚集趋势，为城市规划、舆情监控、政策制定提供决策支撑。同时，分析其省会城市476个地铁出入口各时段的人流量分布和变化，为商业选址、精准广告投放等提供数据支撑。
      七、针对空间大数据应用的几点建议
      1)大力推动空间大数据技术的跨界应用
      大数据及其应用在我国的发展，方兴未艾。在国家、各地方政府和产业界的大力推动和参与下，全社会对大数据及其价值的认知有了很大的提升。但是，对于大数据的时空特性认知、大数据的空间化处理、以及运用空间思维和方法的自觉性等方面，全社会都还非常欠缺。这对我国地理信息产业充分融入大数据时代，在风靡全球的新一轮数字化变革浪潮中乘势而上，创造更大的辉煌，似有不利。因此，建议大力推动空间大数据技术的跨界应用。大力传播空间思维，努力提高全社会，尤其是政府管理部门和大中型企业对空间维度及其应用的认知和能力。
      2)注重数据的空间化
针对各行各业快速增长的数据，无论其是否符合真正意义上大数据的定义，我们都有必要对数据的空间化予以充分的重视。唯有如此，地理的科学思维和GIS的技术手段才能够更好地加以运用并发挥其价值。
      3)加强标准建设，推动数据共享
      数据共享，尤其是政府数据共享，其体现在部门与部门之间的数据对内开放。是政府简政放权、优化服务改革的关键，对提高政府公共服务效率，降低制度性的交易成本十分有利。而数据共享的前提，是要建立一套统一的、法定的数据交换标准，规范数据格式，并在数据的使用过程张尽可能采用相应的数据标准。因此，建议进一步加强空间数据各项标准的的建设工作。其中，尤其需要考虑非空间数据的空间化需求因素。
      4)重视对块数据的研究
      点状的数据孤岛和条状的数据垄断，都对数据应用中新知识的发现、新价值的创造、新能力的提升以及数据资源价值的发挥起到阻碍作用。块数据则打破了点数据、条数据的孤岛和垄断，形成具有高度关联性的各类数据在特定平台上的持续聚合。是一种新的数据观。
      块数据打破物理区域、行业领域之间的信息不对称，通过对不同标准、来源的数据进行清洗、存储、分析、挖掘和集成，从而改变传统数据的生产、加工、组织和传播方式，加速产业的改造和革新。
      空间大数据和时空信息平台作为各类数据及其应用的承载支撑环境和基础，对数据的持续聚合具有天然的联系。重视对块数据及其理念、技术和方法的研究，有利于空间大数据及其相关技术和方法的深入应用、推广和提升。
      5)大小数据并举，杜绝盲目跟风
      在大力推动大数据，尤其是空间大数据相关技术与应用研究和实践的同时，要避免一哄而上，盲目跟风，提数据必言“大”。事实上，在很多涉及地理信息的应用中，我们所面对的数据并非真正意义上的大数据。相反，很多与核心业务直接相关的数据，对照大数据的所谓“4V”特征，恐怕连“量大（Volume）”都未必，更不要说其它几个“V”,但这些数据却是业务规划、决策、运营的核心数据，或称“主数据”。它们往往是“小”数据,却价值重大。因此，在实际应用中，甚至在政策导向上，都需要主动杜绝盲目跟风，避免在“凡数必大”的盲目追随中，忽略了对“主数据”及其价值的关注。

      （本文发布已得到作者同意，如需转载请联系本站，谢谢！）