“多模数据解决破茧成蝶 大数据“卡脖子”成为过去!”

在这个意想不到的新型冠状病毒大爆发下，中国的大数据技术显示出了惊人的威力:

跟踪流动人口，迅速发布各地疫情报告，覆盖所有人的健康代码大数据服务，电商数据调动医疗资源，ai+大数据帮助医药开发

即使是以前流传下来的结构化数据，例如人力资源新闻、医院等医疗资源新闻等，或者地理位置数据、图像数据、拷贝数据、语音数据等许多复杂的非结构化数据，各级庞大的数据都基于客观、透明性

这些应用的背后是中国大数据技术和应用的进步、大数据基础软件自主研发的成果、大数据软件国产化替代的加速、大数据上的云为顾客提供按需服务、金融、航空空航天

在数字商务的世界里，新的时代会产生新的机会，新的技术会创造更广阔的空之间。

随着数据量和数据类型的增加，一个数据平台解决一种数据的应用程序不断地运行，但难以满足客户在一个平台解决不同类型数据模型的需求。

在统一的平台上，解决不同类型的数据，提高数据的解决和分解效率，也有望降低价值成本。

01

客户呼叫多型号数据解决方案平台

大数据平台是一个囊括了大数据存储、解决、数据应用分解的集成化数据开发平台。

建设这样的大数据平台必然会遇到很多问题。 如何管理单体大集群； 多源数据的输入方法访问数据后，如何有效地保存和查询数据，如何管理，不创建数据沼泽； 如何保障数据安全，如何向顾客展示数据等。 这些基本上是公司级大数据平台所需的能力。

idc公布的~年生产的数据量和增长率

自2008年诞生以来，从落地来看，大数据平台是一系列技术或工具的组合，是以大量数据的存储、计算以及不间断的流媒体数据的实时计算等场景为中心的基础设施。

开源社区已经迅速发展了许多组件，以便能够在市场上组合大数据平台。 但是，这些工具的组合可能不完全适用，因为它们与企业中的业务场景和模式有关，并且没有多少人才完全掌握这些工具。

开源大数据平台工具

迄今为止，针对稍单一的典型场景，市场上出现了不同的产品，有著名的处理方案，处理数据多样化。

例如，结构化数据为hive，动态列模型为bigtable，hbase，应用于数据存储的文档数据库mongdb，侧重于满足各种类型的复杂搜索请求的elasticsearch，会话缓存 图表数据库neo4j，从实时计算引擎逐渐成为通用大数据引擎的Flining

但是，所有这些产品都是孤立的，每个或类只能处理一类问题。 如果客户的数据有多种类型，则必须使用不同类型的数据库，并将其混合使用。

随着结构化数据、半结构化、非结构化数据和iot等新业态、新数据源、外部爬虫数据、社会交流、游戏、地理等新数据样式等多样化数据的出现，对多模式异构数据解决产生了需求。

接受记者采访的一位不愿签名的专家认为，新的数据类型，从以前就传达了关系

混合的方法操作不便，维多利亚运输的复杂性越来越突出。

接受记者采访的星环研发总监吕程表示，由于每个数据库都是独立的，应用开发人员和客户处理了不同库之间的数据导入、不同库之间的数据一致性、整合集群整体的传输等一系列问题 因为，

今天，客户越难以容忍这个框架，就越想使用一系列大数据平台来解决各种各样、复杂的数据结构问题。

星环科技创始人、首席执行官孙元浩在接受中国软件网记者采访时表示，目前大数据领域明显的快速发展趋势之一是推出了统一的大数据平台，能够解决多种数据模型，统一的编程语言、统一的计算引擎

孙元浩表示，星环科技将这个统一的大数据平台称为多模型异构数据解决方案平台。

02

两个快速的发展路径，两个不同的结果

在大数据软件的飞速发展中，技术路线迅猛发展，呈现出精彩绝伦，令人目不暇接。 毕竟是巨大的市场机会，会创造出数量可观的市场机会，也会诞生微软、谷歌、aws这样领域的巨人。

专家们将大数据的技术路线原则分为hadoop路线、spark路线、自主研发路线和上一代mpp框架继承路线等，但记者在快速发展多模型大数据平台方面，在一些书中发现了开源路线

不管那样的技术路线如何，一点数据库和大数据厂商都为多模态数据解决方案提出了自己的区域处理方案，一点是发表自己的数据云平台等。 虽然各种各样的描述各不相同，但通过处理其核心问题及其核心结构，或者异构数据库之间的数据同步等基础问题，客户可以摆脱这些基础问题，更容易使用单个数据平台，从而为用户带来价值

开源路线的代表是hadoop和spark。

说到大数据，还是不能不提hadoop。 因为hadoop可以将大量数据分散到存储中，从而分散访问和解决方案。 过去hadoop几乎成了大数据的代名词。

专家表示，作为大数据基础软件的一大技术路线，基于开源hadoop快速发展的最大特点是可解决的数据量庞大，运行稳定。 在节点资源没有增加的情况下，执行速度没有特征，但非常稳定。 既是特征又是劣势，hadoop在批量解决方面的强大掩盖不了交互分解和流解决方面的缺点。

cloudera、hortonworks和mapr是hadoop的三驾马车。

在大数据的飞速发展中，开源大数据平台hadoop占有极其重要的地位。

年，cloudera和hortonworks因持续亏损，两大企业宣布平等合并，cloudera通过股票的方法收购了hortonworks。 但是，合并后企业的股价继续下降。

2019年6月，mapr预告企业盈利困难，寻求纾困对策。 接下来的8月6日，HPHPE宣布收购mapr的资产，包括mapr的技术、知识产权、人工智能、数据管理方面的专业知识。

spark技术的代表公司是data积木。 数据积木公司是由一个团队组成的，负责开发开放源代码的apache spark数据解决方案框架，加州大学伯克利分校很流行。 该公司帮助大型企业快速解决、整合和分解大量数据。 其统一的分解平台的目的是在孤立的数据存储系统之间建立数字管道，使工程师和数据科学家能够更好地表达信息。

DATA金砖企业的业务方向已经转移到了大数据观察和人工智能处理方案上。 现在，领域内越来越多的被认为是ai企业。

与多模态数据解决方案相比，开源的方法是部署多模型数据库。 当然，这些数据库也是开源的。

非常适合构建高性能应用程序和服务。

arangodb是一个开源的本机多型号nosql数据库，支持doc、graph和k/v三种存储类型。 有统一内核和统一数据库查询语言( AQL )，可应用于所有三种数据模型。

在arangodb中，也可以在一个查询中混合使用三个数据模型。 这样，客户可以在一个查询中混合多个数据模型，而无需在不同的数据模型之间切换或执行数据传输过程，这三个数据模型都支持水平扩展。

年初，arangodb 3.6发布。

年初，arangodb完成了1156万美元的融资，备受投资者欢迎。

多模式数据库arangodb的特征

arangodb的特点是支持内核、查询语言和三种数据模型。 缺点也是只支持三种数据模型，限制了应用。

但是

在单一典型情况下，市场上的不同产品和知名处理方案大多是开源系统，因此对于多模态数据支持的产品，放弃具有自身特征的开源项目并不容易，而是原始的数据模型支持

另一条技术路线是以星环科学技术为代表的自主开发。

中国客户需要解决的数据量远远超过了以前在其他国家的控诉。 另外，中国客户在应用场景方面有很强的创新意识，需要解决的场景很多，复杂度也超过了其他国家的客户。

星环科技专注于处理客户的这些难点，走出了独特的自主研发技术创新之路。 斯特林的产品体系已经从最初的分解型数据库中提取出了基于闪存加速分解型数据库、实时计算、全文数据库、图数据库、bigtable数据库、交易数据库、容器技术的数据库云 从底层资源调度到上面的计算引擎，形成了不同于hadoop和spark的、具有斯特林特色的技术路线，实现了许多行业的技术突破。

transwarpdatahub(tdh )是斯特林技术推出的公司级大数据平台，经过7年的快速发展，迅速发展成熟，在邮政、交通、金融、政府等领域取得了大量的引进实施经验，新生比特

通过一站式解决多模式异构数据，打破了领域内普遍存在的不同数据库产品切换的不便，用一个平台解决了多个数据模型，使得顾客无需维护多个数据库成为现实。

5月15日，星环科技推出一站式大数据平台tdh 7.0版本，主要是

吕程向中国软件网记者表示，通过建立多模型数据解决平台，tdh 7.0提供了统一的数据操作/查询语言sql、统一的数据计算引擎、统一的分布式存储管理系统、统一的资源管理框架，一个

斯特林的一站式多模式解决方案平台的示意图

另外，tdh 7.0版本一站式多模式异构数据解决性能明亮，彻底处理了大数据快速发展的大瓶颈。 据介绍，tdh从上到下分为五个等级。

最上层是sql层，开发统一的sql引擎，与各种sql方言兼容

计算层开发统一的计算引擎，优化统一的计算任务和分别发送；

下面的存储模型层是tdh的一个平台支持7种不同的存储模型，适合不同的应用场景图存储graph storage、文档存储document storage、全文检索fff 密钥存储器密钥值存储器、矩阵混合存储器行列存储器、时空地理位置

存储管理层开发统一的存储管理引擎，提供数据块分布式管理、数据多拷贝一致性管理和文件服务管理等功能。

最底层的资源调度层开发了统一的资源调度框架，通过集装箱化组织，统一调度了计算、存储、互联网资源。

统一数据解决方案平台的主要特征:

统一和融合

多模型数据解决方案平台的核心是对外提供统一的sql编程接口、统一的计算引擎、统一的统一存储管理系统和统一的销售框架。 因此，星环tdh 7.0的特征是这些大特征的

支持7种以上不同的数据模型，

tdh 7.0统一数据解决方案平台支持结构化和非结构化数据，支持密钥值介质存储、全行搜索、索引、图存储、图数据库、存储文档 这是tdh 7.0的第一大特征。

统一的计算引擎，跨越多个数据模型。

斯特林技术是许多企业试图提供标准的数据接口，但由于基础不同的数据库，没有使用统一的计算引擎。 虽然有统一的sql接口，但是将不同的接口静态路由到功能数据库并不容易。 因此，需要动态进行接口调度，进行执行计划统一管理的动态计算引擎。

效率更高，更一致。

另外，在斯特林技术的tdh 7.0中也提出了统一的分布式管理系统，是实现数据分散管理和数据完整性的数据管理系统，一直以来都采用了htvs

如果在一个平台上解决多个数据模型，运输价格、管理价格就会下降。

由于一个数据可以存储在同一平台上的多个模型中，所以当应用程序发生更改时，客户可以使用最佳的仓库模型来满足查询的要求，从而提高运营效率。 因为

未来的数据平台应该是多模型的，但客户应该像数据库一样采用。

孙元浩说，

采用更加轻量化的模型，利用分布式存储管理系统，实现逻辑统一存储，在此基础上构建统一的计算能力。

匿名专家表示，斯特林的方案并未沿袭早先流传的数据聚合方法，这一变革无疑将为多模式异构数据的采用带来巨大的便利。

各种模式的存储大大优化了每个场景中查询的分解性能。

一位使用tdh 7.0多模数据解决方案平台的客户表示，应用程序经常对一个数据进行多个不同模型的分解，例如分解查询、模糊匹配查询、关系推理查询等 tdh可以针对不同的诉求使用多种最佳的存储模型。 例如，分解查询使用矩阵混合存储，模糊匹配查询使用全文检索，关系推理查询使用图数据存储。

在一直以来流传的混合模型中，为了在不同的模型数据之间进行相关分解，需要进行数据库间的数据导入导出，非常复杂。 使用统一的数据管理，可以用简单的sql语句直接执行相关查询，就像使用同一数据库一样，应用程序开发非常有用。

在以前传递的混合模型中，需要根据模型不同而运输不同的数据库。 特别是当同一数据存储在多个数据库中时，数据完整性是一个很大的挑战。 另外，数据整体形象的运输维度需要按照运输维度子系统进行汇总二次开发，运输维度的价格巨大。 而使用统一的数据管理，在产品的基础服务中直接保障数据的一致性，并整体运输多模型数据，是天然的一体化系统。

03

大数据的替代即将到来

脖子会过去吗？

多模型数据解决方案平台的进步只是大数据技术快速发展的缩影。

积极推进主要服务、组件、模块的标准化。

吕程认为，多模异构数据平台未来的快速发展方向之一是，数据相关技术异常繁多、复杂，技术日新月异，各类基础服务、组件、模块都很难齐全。 然后，通过建设一定的标准，设立一定的规范，让更多的公司参与进来，无论是开源社区，还是封闭式源代码制造商，都可以贡献自己的力量，创造自己的价值。

建立健全的生态系统。

其次，除了最基本的作用外，平台还必须支持越来越多的上层应用，在不同的领域、不同的公司、不同的业务中创造更高的价值。 这给基础数据平台的生态提出了很大的挑战，更多的应用，更多的厂商适应的接入，创造更好的循环生态，促进整个产品和平台的繁荣。

多次重复新的技术探索。

第三，面对目前越来越多的复杂场面，不能停留在处理的单点问题上。 在越来越凸显的众多纷繁复杂的场景面前，不同的技术组合能产生新的价值吗？ 处理很多复杂的场景需要新的技术吗？ 这些地方值得深入研究和快速发展探索。 例如，现在讨论的比较多的批处理一体化，检索和分解、采用等。

开源路线和自主研发路线扮演着另一个大数据行业国产化技术的替代。

近年来，大数据产业发展迅速，应用层和基层软件不断进步，但实施多而杂、技术进步步伐慢的hadoop不断遇到挑战，各种替代技术不断涌现。

大数据行业随着开源技术的数量和复杂性的日益增加，顾客使用商用系统和云服务提供商的技术方案已成为大方向。

因为，

hadoop遇到了技术上难以逾越的挑战。 hadoop是基于15年前的技术环境设计的，但是现在的硬件技术环境发生了根本性的变化，互联网的普及达到了100万亿，存储每秒可以操作数百万次，当时的架构完全跟不上现在硬件的快速发展。

另一个原因是，hadoop软件是模仿谷歌的系统构建的，最初的目标是用于互联网企业的日志解析和营销宣传等场合。 将该技术应用于各行业后，发现了其在功能缺失、一致性和可靠性、高性能并发性等问题上的局限性，未能突破，有的分解机构称hadoop已死。

以前有开放源码软件，所以我经常觉得既然有免费的，那就用免费的就好了。 但是，这种模式的问题逐渐被人们所认知，采用开源的hadoop需要大量的专业技术人员。 知道hadoop是软件堆栈，里面有数百个组件，如何构建大数据平台，维护平台成为了一大课题。

很多云服务商都推出了自己开发的产品。 目前，大数据已上传到云端，许多云服务提供商基于开源软件和自行开发的系统，为顾客建立了大数据平台，为顾客开发和维护了大数据应用 现在，那是一个大方向。

许多大数据专业公司多次自主研发路线。 星环科技首席执行官孙元浩表示，星环科技通过反复大数据的基础软件完全自主开发，原创出了完全自研的技术路线。

国产大数据基础软件产品在各个行业开始被甲骨文、ibm等国外软件所取代。

大数据行业的另一个替代方案是，国内许多大数据平台已经开始在许多领域替代产品，包括甲骨文、ibm、甚至国外的hadoop供应商。

记者了解到，近期中兴通讯签署国内大数据公司永洪科技利用后者提供的具有自主知识产权的一站式大数据平台和可视化拆解方案，实现了从公司治理到客户经营的精细化运营，提高了公司运营效率，营造了合作共赢的产业生态环境。

接受采访的永洪科技市场总监刘东旭表示，国产化替代由已经从软硬件国产化的脱IOE(IBM、oracle、emc )扩展到顶级设计咨询，国产化脱SOA ) sap、oracle、oracle， 大数据行业国产化替代会快得多。

孙元浩表示，海外产品的替代还是技术革命带来的，不仅是中国，美国也开始了创新大数据基础软件以前传入的公司数据库等产品的替代。 面对不断增加的数据量，以前传入的软件解决性能已经不能满足顾客的诉求，分布式技术带来的性能飞跃是顾客替代的重要动力之一。 在新的技术行业中，星环科学技术发展更快，替代性成功的项目正在增加。

另外，国外的大数据软件在中国水土不服。 因为国内的数据卷一般比国外大一两位数，数据应用也更多更复杂。 1tb和100tb是数据观察完全不同的两件事，但是国外没有这样的应用场景，所以国外的大数据软件天生不足以解决这样的问题。 国产软件的设计将充分考虑这些情况。

帆布鞋市场经理丁明浩告诉记者，大数据国产化替代最直接的效果是降低采购价格和运营维持价格，国内企业可以定制处理公司运营管理在线化过程中遇到的各种问题。

工业化新闻发言人、新闻技术快速发展司司长谢少锋介绍，在基础软件和软件方面，实施国家软件重大项目，集中应对重要软件瓶颈问题，推进工业技术软件化，宣传软件定义互联网

另一方面，大数据行业的替代从软件、应用等不同行业展开，占据了大数据行业的脖子。

本文：《“多模数据解决破茧成蝶 大数据“卡脖子”成为过去!”》