2019数据架构选型必读：1月数据库产品技术解析

本期目录

创新互联建站是一家业务范围包括IDC托管业务,虚拟主机、主机租用、主机托管，四川、重庆、广东电信服务器租用,四川绵阳服务器托管，成都网通服务器托管,成都服务器租用,业务范围遍及中国大陆、港澳台以及欧美等多个国家及地区的互联网数据服务公司。

DB-Engines数据库排行榜

新闻快讯

一、RDBMS家族

二、NoSQL家族

三、NewSQL家族

四、时间序列

五、大数据生态圈

六、国产数据库概览

七、云数据库

八、推出dbaplus Newsletter的想法

九、感谢名单

为方便阅读、重点呈现，本期Newsletter（2019年1月）将对各个板块的内容进行精简。需要阅读全文的同学可点击文末 【阅读原文】 或登录

进行下载。

DB-Engines数据库排行榜

以下取自2019年1月的数据，具体信息可以参考，数据仅供参考。

DB-Engines排名的数据依据5个不同的因素：

新闻快讯

1、2018年9月24日，微软公布了SQL Server2019预览版，SQL Server 2019将结合Spark创建统一数据平台。

2、2018年10月5日，ElasticSearch在美国纽约证券交易所上市。

3、亚马逊放弃甲骨文数据库软件，导致最大仓库之一在黄金时段宕机。受此消息影响，亚马逊盘前股价小幅跳水，跌超2%。

4、2018年10月31日，Percona发布了Percona Server 8.0 RC版本，发布对MongoDB 4.0的支持，发布对XtraBackup测试第二个版本。

5、2018年10月31日，Gartner陆续发布了2018年的数据库系列报告，包括《数据库魔力象限》、《数据库核心能力》以及《数据库推荐报告》。

今年的总上榜数据库产品达到了5家，分别来自：阿里云，华为，巨杉数据库，腾讯云，星环 科技 。其中阿里云和巨杉数据库已经连续两年入选。

6、2018年11月初，Neo4j宣布完成E轮8000万美元融资。11月15日，Neo4j宣布企业版彻底闭源：

7、2019年1月8日，阿里巴巴以1.033亿美元（9000万欧元）的价格收购了Apache Flink商业公司DataArtisans。

8、2019年1月11日早间消息，亚马逊宣布推出云数据库软件，亚马逊和MongoDB将会直接竞争。

RDBMS家族

Oracle 发布18.3版本

2018年7月，Oracle Database 18.3通用版开始提供下载。我们可以将Oracle Database 18c视为采用之前发布模式的Oracle Database 12c第2版的第一个补丁集。未来，客户将不再需要等待多年才能用上最新版Oracle数据库，而是每年都可以期待新数据库特性和增强。Database 19c将于2019年Q1率先在Oracle cloud上发布云版本。

Oracle Database 18c及19c部分关键功能：

1、性能

2、多租户，大量功能增强及改进，大幅节省成本和提高敏捷性

3、高可用

4、数据仓库和大数据

MySQL发布8.0.13版本

1、账户管理

经过配置，修改密码时，必须带上原密码。在之前的版本，用户登录之后，就可以修改自己的密码。这种方式存在一定安全风险。比如用户登录上数据库后，中途离开一段时间，那么非法用户可能会修改密码。由参数password_require_current控制。

2、配置

Innodb表必须有主键。在用户没有指定主键时，系统会生成一个默认的主键。但是在主从复制的场景下，默认的主键，会对丛库应用速度带来致命的影响。如果设置sql_require_primary_key，那么数据库会强制用户在创建表、修改表时，加上主键。

3、字段默认值

BLOB、TEXT、GEOMETRY和JSON字段可以指定默认值了。

4、优化器

1）Skip Scan

非前缀索引也可以用了。

之前的版本，任何没有带上f1字段的查询，都没法使用索引。在新的版本中，它可以忽略前面的字段，让这个查询使用到索引。其实现原理就是把(f1 = 1 AND f2 40) 和(f1 = 2 AND f2 40)的查询结果合并。

2）函数索引

之前版本只能基于某个列或者多个列加索引，但是不允许在上面做计算，如今这个限制消除了。

5、SQL语法

GROUP BY ASC和GROUP BY DESC语法已经被废弃，要想达到类似的效果，请使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。

6、功能变化

1）设置用户变量，请使用SET语句

如下类型语句将要被废弃SELECT @var, @var:=@var+1。

2）新增innodb_fsync_threshold

该变量是控制文件刷新到磁盘的速率，防止磁盘在短时间内饱和。

3）新增会话级临时表空间

在以往的版本中，当执行SQL时，产生的临时表都在全局表空间ibtmp1中，及时执行结束，临时表被释放，空间不会被回收。新版本中，会为session从临时表空间池中分配一个临时表空间，当连接断开时，临时表空间的磁盘空间被回收。

4）在线切换Group Replication的状态

5）新增了group_replication_member_expel_timeout

之前，如果某个节点被怀疑有问题，在5秒检测期结束之后，那么就直接被驱逐出这个集群。即使该节点恢复正常时，也不会再被加入集群。那么，瞬时的故障，会把某些节点驱逐出集群。

group_replication_member_expel_timeout让管理员能更好的依据自身的场景，做出最合适的配置（建议配置时间小于一个小时）。

MariaDB 10.3版本功能展示

1、MariaDB 10.3支持update多表ORDER BY and LIMIT

1）update连表更新，limit语句

update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;

MySQL 8.0直接报错

MariaDB 10.3更新成功

2）update连表更新，ORDER BY and LIMIT语句

update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;

MySQL 8.0直接报错

MariaDB 10.3更新成功

参考：

2、MariaDB10.3增补AliSQL补丁——安全执行Online DDL

Online DDL从名字上看很容易误导新手，以为不论什么情况，修改表结构都不会锁表，理想很丰满，现实很骨感，注意这个坑！

有以下两种情况执行DDL操作会锁表的，Waiting for table metadata lock（元数据表锁）：

针对第二种情况，MariaDB10.3增补AliSQL补丁-DDL FAST FAIL，让其DDL操作快速失败。

例：

如果线上有某个慢SQL对该表进行操作，可以使用WAIT n（以秒为单位设置等待）或NOWAIT在语句中显式设置锁等待超时，在这种情况下，如果无法获取锁，语句将立即失败。 WAIT 0相当于NOWAIT。

参考：

3、MariaDB Window Functions窗口函数分组取TOP N记录

窗口函数在MariaDB10.2版本里实现，其简化了复杂SQL的撰写，提高了可读性。

参考：

Percona Server发布8.0 GA版本

2018年12月21日，Percona发布了Percona Server 8.0 GA版本。

在支持MySQL8.0社区的基础版上，Percona Server for MySQL 8.0版本中带来了许多新功能：

1、安全性和合规性

2、性能和可扩展性

3、可观察性和可用性

Percona Server for MySQL 8.0中将要被废用功能：

Percona Server for MySQL 8.0中删除的功能：

RocksDB发布V5.17.2版本

2018年10月24日，RocksDB发布V5.17.2版本。

RocksDB是Facebook在LevelDB基础上用C++写的高效内嵌式K/V存储引擎。相比LevelDB，RocksDB提供了Column-Family，TTL，Transaction，Merge等方面的支持。目前MyRocks，TiKV等底层的存储都是基于RocksDB来构建。

PostgreSQL发布11版本

2018年10月18日，PostgreSQL 11发布。

1、PostgreSQL 11的重大增强

2、PostgreSQL 插件动态

1）分布式插件citus发布 8.1

citus是PostgreSQL的一款sharding插件，目前国内苏宁、铁总、探探有较大量使用案例。

2）地理信息插件postgis发布2.5.1

PostGIS是专业的时空数据库插件，在测绘、航天、气象、地震、国土资源、地图等时空专业领域应用广泛。同时在互联网行业也得到了对GIS有性能、功能深度要求的客户青睐，比如共享出行、外卖等客户。

3）时序插件timescale发布1.1.1

timescale是PostgreSQL的一款时序数据库插件，在IoT行业中有非常好的应用。github star数目前有5000多，是一个非常火爆的插件。

4）流计算插件 pipelinedb 正式插件化

Pipelinedb是PostgreSQL的一款流计算插件，使用这个创建可以对高速写入的数据进行实时根据定义的聚合规则进行聚合（支持概率计算），实时根据定义的规则触发事件（支持事件处理函数的自定义）。可用于IoT，监控，FEED实时计算等场景。

3、PostgreSQL衍生开源产品动态

1）agensgraph发布 2.0.0版本

agensgraph是兼容PostgreSQL、opencypher的专业图数据库，适合图式关系的管理。

2）gpdb发布5.15

gpdb是兼容PostgreSQL的mpp数据库，适合OLAP场景。近两年，gpdb一直在追赶PostgreSQL的社区版本，预计很快会追上10的PostgreSQL，在TP方面的性能也会得到显著提升。

3）antdb发布3.2

antdb是以Postgres-XC为基础开发的一款PostgreSQL sharding数据库，亚信主导开发，开源，目前主要服务于亚信自有客户。

4）迁移工具MTK发布52版本

MTK是EDB提供的可以将Oracle、PostgreSQL、MySQL、MSSQL、Sybase数据库迁移到PostgreSQL, PPAS的产品，迁移速度可以达到100万行/s以上。

DB2发布 11.1.4.4版本

DB2最新发布Mod Pack 4 and Fix Pack 4，包含以下几方面的改动及增强：

1、性能

2、高可用

3、管理视图

4、应用开发方面

5、联邦功能

6、pureScale

NoSQL家族

Redis发布5.0.3版本

MongoDB升级更新MongoDB Mobile和MongoDB Stitch

2018年11月21日，MongoDB升级更新MongoDB Mobile和MongoDB Stitch，助力开发人员提升工作效率。

MongoDB 公司日前发布了多项新产品功能，旨在更好地帮助开发人员在世界各地管理数据。通过利用存储在移动设备和后台数据库的数据之间的实时、自动的同步特性，MongoDB Mobile通用版本助力开发人员构建更快捷、反应更迅速的应用程序。此前，这只能通过在移动应用内部安装一个可供选择或限定功能的数据库来实现。

MongoDB Mobile在为客户提供随处运行的自由度方面更进了一步。用户在iOS和安卓终端设备上可拥有MongoDB所有功能，将网络边界扩展到其物联网资产范畴。应用系统还可以使用MongoDB Stitch的软件开发包访问移动客户端或后台数据，帮助开发人员通过他们希望的任意方式查询移动终端数据和物联网数据，包括本地读写、本地JSON存储、索引和聚合。通过Stitch移动同步功能(现可提供beta版)，用户可以自动对保存在本地的数据以及后台数据库的数据进行同步。

本期新秀：Cassandra发布3.11.3版本

2018年8月11日，Cassandra发布正式版3.11.3。

Apache Cassandra是一款开源分布式NoSQL数据库系统，使用了基于Google BigTable的数据模型，与面向行(row)的传统关系型数据库或键值存储key-value数据库不同，Cassandra使用的是宽列存储模型(Wide Column Stores)。与BigTable和其模仿者HBase不同，数据并不存储在分布式文件系统如GFS或HDFS中，而是直接存于本地。

Cassandra的系统架构与Amazon DynamoDB类似，是基于一致性哈希的完全P2P架构，每行数据通过哈希来决定应该存在哪个或哪些节点中。集群没有master的概念，所有节点都是同样的角色，彻底避免了整个系统的单点问题导致的不稳定性，集群间的状态同步通过Gossip协议来进行P2P的通信。

3.11.3版本的一些bug fix和改进：

NewSQL家族

TiDB 发布2.1.2版本

2018 年 12 月 22 日，TiDB 发布 2.1.2 版，TiDB-Ansible 相应发布 2.1.2 版本。该版本在 2.1.1 版的基础上，对系统兼容性、稳定性做出了改进。

TiDB 是一款定位于在线事务处理/在线分析处理（ HTAP: Hybrid Transactional/Analytical Processing）的融合型数据库产品。除了底层的 RocksDB 存储引擎之外，分布式SQL层、分布式KV存储引擎（TiKV）完全自主设计和研发。

TiDB 完全开源，兼容MySQL协议和语法，可以简单理解为一个可以无限水平扩展的MySQL，并且提供分布式事务、跨节点 JOIN、吞吐和存储容量水平扩展、故障自恢复、高可用等优异的特性；对业务没有任何侵入性，简化开发，利于维护和平滑迁移。

TiDB：

PD：

TiKV：

Tools：

1）TiDB-Lightning

2）TiDB-Binlog

EsgynDB发布R2.5版本

2018年12月22日，EsgynDB R2.5版本正式发布。

作为企业级产品，EsgynDB 2.5向前迈进了一大步，它拥有以下功能和改进：

CockroachDB发布2.1版本

2018年10月30日，CockroachDB正式发布2.1版本，其新增特性如下：

新增企业级特性：

新增SQL特性：

新增内核特性：

Admin UI增强：

时间序列

本期新秀：TimescaleDB发布1.0版本

10月底，TimescaleDB 1.0宣布正式推出，官方表示该版本已可用于生产环境，支持完整SQL和扩展。

TimescaleDB是基于PostgreSQL数据库开发的一款时序数据库，以插件化的形式打包提供，随着PostgreSQL的版本升级而升级，不会因为另立分支带来麻烦。

TimescaleDB架构：

数据自动按时间和空间分片(chunk)

更新亮点：

大数据生态圈

Hadoop发布2.9.2版本

2018年11月中旬，Hadoop在2.9分支上发布了新的2.9.2版本，该版本进行了204个大大小小的变更，主要变更如下：

Greenplum 发布5.15版本

Greenplum最新的5.15版本中发布了流式数据加载工具。

该版本中的Greenplum Streem Server组件已经集成了Kafka流式加载功能，并通过了Confluent官方的集成认证，其支持的主要功能如下：

国产数据库概览

K-DB发布数据库一体机版

2018年11月7日，K-DB发布了数据库一体机版。该版本更新情况如下：

OceanBase迁移服务发布1.0版本

1月4日，OceanBase 正式发布OMS迁移服务1.0版本。

以下内容包含 OceanBase 迁移服务的重要特性和功能：

SequoiaDB发布3.0.1新版本

1、架构

1）完整计算存储分离架构，兼容MySQL协议、语法

计算存储分离体系以松耦合的方式将计算与存储层分别部署，通过标准接口或插件对各个模块和组件进行无缝替换，在计算层与存储层均可实现自由的弹性伸缩。

SequoiaDB巨杉数据库“计算-存储分离”架构详细示意

用户可以根据自身业务特征选择面向交易的SQL解析器（例如MySQL或PGSQL）或面向统计分析的执行引擎（例如SparkSQL）。众所周知，使用不同的SQL优化与执行方式，数据库的访问性能可能会存在上千上万倍的差距。计算存储分离的核心思想便是在数据存储层面进行一体化存储，在计算层面则利用每种执行引擎的特点针对不同业务场景进行选择和优化，用户可以在存储层进行逻辑与物理的隔离，将面向高频交易的前端业务与面向高吞吐量的统计分析使用不同的硬件进行存储，确保在多类型数据访问时互不干扰，以真正达到生产环境可用的多租户与HTAP能力。

2、其他更新信息

1）接口变更：

2）主要特性：

云数据库

本期新秀：腾讯发布数据库CynosDB，开启公测

1、News

1）腾讯云数据库MySQL2018年重大更新：

2）腾讯云数据库MongoDB2018年重大更新：

3）腾讯云数据库Redis/CKV+2018年重大更新：

4）腾讯云数据库CTSDB2018年重大更新：

2、Redis 4.0集群版商业化上线

2018年10月，腾讯云数据库Redis 4.0集群版完成邀测、公测、商业化三个迭代，在广州、上海、北京正式全量商业化上线。

产品特性：

使用场景：

官网文档：

3、腾讯自研数据库CynosDB发布，开启公测

2018年11月22日，腾讯云召开新一代自研数据库CynosDB发布会，业界第一款全面兼容市面上两大最主流的开源数据库MySQL和PostgreSQL的高性能企业级分布式云数据库。

本期新秀：京东云DRDS发布1.0版本

12月24日，京东云分布式关系型数据库DRDS正式发布1.0版本。

DRDS是京东云精心自研的数据库中间件产品，获得了2018年 ”可信云技术创新奖”。DRDS可实现海量数据下的自动分库分表，具有高性能，分布式，弹性升级，兼容MySQL等优点，适用于高并发、大规模数据的在线交易， 历史 数据查询，自动数据分片等业务场景，历经多次618，双十一的考验，已经在京东集团内大规模使用。

京东云DRDS产品有以下主要特性

1）自动分库分表

通过简单的定义即可自动实现分库分表，将数据实际存放在多个MySQL实例的数据库中，但呈现给应用程序的依旧是一张表，对业务透明，应用程序几乎无需改动，实现了对数据库存储和处理能力的水平扩展。

2）分布式架构

基于分布式架构的集群方案，多个对等节点同时对外提供服务，不但可有效规避服务的单点故障，而且更加容易扩展。

3）超强性能

具有极高的处理能力，双节点即可支持数万QPS，满足用户超大规模处理能力的需求。

4）兼容MySQL

兼容绝大部分MySQL语法，包括MySQL语法、数据类型、索引、常用函数、排序、关联等DDL，DML语句，使用成本低。

参考链接：

RadonDB发布1.0.3版本

2018年12月26日，MyNewSQL领域的RadonDB云数据库发布1.0.3版本。

推出dbaplus Newsletter的想法

dbaplus Newsletter旨在向广大技术爱好者提供数据库行业的最新技术发展趋势，为社区的技术发展提供一个统一的发声平台。为此，我们策划了RDBMS、NoSQL、NewSQL、时间序列、大数据生态圈、国产数据库、云数据库等几个版块。

我们不以商业宣传为目的，不接受任何商业广告宣传，严格审查信息源的可信度和准确性，力争为大家提供一个纯净的技术学习环境，欢迎大家监督指正。

至于Newsletter发布的周期，目前计划是每三个月左右会做一次跟进， 下期计划时间是2019年4月14日~4月25日， 如果有相关的信息提供请发送至邮箱：newsletter@dbaplus.cn

感谢名单

最后要感谢那些提供宝贵信息和建议的专家朋友，排名不分先后。

往期回顾：

↓↓别忘了点这里下载 2019年1月 完整版Newsletter 哦~

华为大数据解决方案是什么?

大数据解决方案的逻辑层

逻辑层提供了一种组织您的组件的方式。这些层提供了一种方法来组织执行特定功能的组件。这些层只是逻辑层；这并不意味着支持每层的功能在独立的机器或独立的进程上运行。大数据解决方案通常由以下逻辑层组成：

1、大数据来源

2、数据改动 (massaging) 和存储层

3、分析层

4、使用层

互联网是个神奇的大网，大数据开发和软件定制也是一种模式，这里提供最详细的报价，如果你真的想做，可以来这里，这个手机的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了

大数据来源：考虑来自所有渠道的，所有可用于分析的数据。要求组织中的数据科学家阐明执行您需要的分析类型所需的数据。数据的格式和起源各不相同：

格式— 结构化、半结构化或非结构化。

速度和数据量— 数据到达的速度和传送它的速率因数据源不同而不同。

收集点— 收集数据的位置，直接或通过数据提供程序，实时或以批量模式收集数据。数据可能来自某个主要来源，比如天气条件，也有可能来自一个辅助来源，比如媒体赞助的天气频道。

数据源的位置— 数据源可能位于企业内或外部。识别您具有有限访问权的数据，因为对数据的访问会影响可用于分析的数据范围。

数据改动和存储层：此层负责从数据源获取数据，并在必要时，将它转换为适合数据分析方式的格式。例如，可能需要转换一幅图，才能将它存储在 Hadoop Distributed File System (HDFS) 存储或关系数据库管理系统 (RDBMS) 仓库中，以供进一步处理。合规性制度和治理策略要求为不同的数据类型提供合适的存储。

分析层：分析层读取数据改动和存储层整理 (digest) 的数据。在某些情况下，分析层直接从数据源访问数据。设计分析层需要认真地进行事先筹划和规划。必须制定如何管理以下任务的决策：

生成想要的分析

从数据中获取洞察

找到所需的实体

定位可提供这些实体的数据的数据源

理解执行分析需要哪些算法和工具。

使用层：此层使用了分析层所提供的输出。使用者可以是可视化应用程序、人类、业务流程或服务。可视化分析层的结果可能具有挑战。有时，看看类似市场中的竞争对手是如何做的会有所帮助。

每一层包含多种组件类型，下面将会介绍这些类型。

大数据来源

此层包含所有必要的数据源，提供了解决业务问题所需的洞察。数据是结构化、半结构化和非结构化的数据，而且来自许多来源：

1、企业遗留系统— 这些系统是企业应用程序，执行业务需要的分析并获取需要的洞察：

客户关系管理系统

结算操作

大型机应用程序

企业资源规划

Web 应用程序开发

Web 应用程序和其他数据来源扩充了企业拥有的数据。这些应用程序可使用自定义的协议和机制来公开数据。

2、数据管理系统 (DMS)— 数据管理系统存储逻辑数据、流程、策略和各种其他类型的文档：

Microsoft® Excel® 电子表格

Microsoft Word 文档

这些文档可以转换为可用于分析的结构化数据。文档数据可公开为领域实体，或者数据改动和存储层可将它转换为领域实体。

3、数据存储— 数据存储包含企业数据仓库、操作数据库和事务数据库。此数据通常是结构化数据，可直接使用或轻松地转换来满足需求。这些数据不一定存储在分布式文件系统中，具体依赖于所处的上下文。

4、智慧设备— 智慧设备能够捕获、处理和传输使用最广泛的协议和格式的信息。这方面的示例包括智能电话、仪表和医疗设备。这些设备可用于执行各种类型的分析。绝大多数智慧设备都会执行实时分析，但从智慧设备传来的信息也可批量分析。

5、聚合的数据提供程序— 这些提供程序拥有或获取数据，并以复杂的格式和所需的频率通过特定的过滤器公开它。每天都会产生海量的数据，它们具有不同的格式，以不同的速度生成，而且通过各种数据提供程序、传感器和现有企业提供。

其他数据源— 有许多数据来自自动化的来源：

地理信息：

地图

地区详细信息

位置详细信息

矿井详细信息

人类生成的内容：

社交媒体

电子邮件

博客

在线信息

传感器数据：

环境：天气、降雨量、湿度、光线

电气：电流、能源潜力等

导航装置

电离辐射、亚原子粒子等

靠近、存在等

位置、角度、位移、距离、速度、加速度

声音、声震动等

汽车、运输等

热量、热度、温度

光学、光、成像、见光度

化学

压力

流动、流体、速度

力、密度级别等

来自传感器供应商的其他数据

数据改动和存储层

因为传入的数据可能具有不同的特征，所以数据改动和存储层中的组件必须能够以各种频率、格式、大小和在各种通信渠道上读取数据：

数据获取— 从各种数据源获取数据，并将其发送到数据整理组件或存储在指定的位置中。此组件必须足够智能，能够选择是否和在何处存储传入的数据。它必须能够确定数据在存储前是否应改动，或者数据是否可直接发送到业务分析层。

数据整理— 负责将数据修改为需要的格式，以实现分析用途。此组件可拥有简单的转换逻辑或复杂的统计算法来转换源数据。分析引擎将会确定所需的特定的数据格式。主要的挑战是容纳非结构化数据格式，比如图像、音频、视频和其他二进制格式。

分布式数据存储— 负责存储来自数据源的数据。通常，这一层中提供了多个数据存储选项，比如分布式文件存储 (DFS)、云、结构化数据源、NoSQL 等。

分析层

这是从数据中提取业务洞察的层：

分析层实体识别— 负责识别和填充上下文实体。这是一个复杂的任务，需要高效的高性能流程。数据整理组件应为这个实体识别组件提供补充，将数据修改为需要的格式。分析引擎将需要上下文实体来执行分析。

分析引擎— 使用其他组件（具体来讲，包括实体鉴别、模型管理和分析算法）来处理和执行分析。分析引擎可具有支持并行处理的各种不同的工作流、算法和工具。

模型管理— 负责维护各种统计模型，验证和检验这些模型，通过持续培训模型来提高准确性。然后，模型管理组件会推广这些模型，它们可供实体识别或分析引擎组件使用。

使用层

这一层使用了从分析应用程序获取的业务洞察。分析的结果由组织内的各个用户和组织外部的实体（比如客户、供应商、合作伙伴和提供商）使用。此洞察可用于针对客户提供产品营销信息。例如，借助从分析中获取的洞察，公司可以使用客户偏好数据和位置感知，在客户经过通道或店铺时向他们提供个性化的营销信息。

该洞察可用于检测欺诈，实时拦截交易，并将它们与使用已存储在企业中的数据构建的视图进行关联。在欺诈性交易发生时，可以告知客户可能存在欺诈，以便及时采取更正操作。

此外，可以根据在数据改动层完成的分析来触发业务流程。可以启动自动化的步骤 — 例如，如果客户接受了一条可自动触发的营销信息，则需要创建一个新订单，如果客户报告了欺诈，那么可以触发对信用卡使用的阻止。

分析的输出也可由推荐引擎使用，该引擎可将客户与他们喜欢的产品相匹配。推荐引擎分析可用的信息，并提供个性化且实时的推荐。

使用层还为内部用户提供了理解、找到和导航企业内外的链锁信息的能力。对于内部使用者，为业务用户构建报告和仪表板的能力使得利益相关者能够制定精明的决策并设计恰当的战略。为了提高操作有效性，可以从数据中生成实时业务警告，而且可以监视操作性的关键绩效指标：

交易拦截器— 此组件可实时拦截高容量交易，将它们转换为一种容易被分析层理解的实时格式，以便在传入数据上执行实时分析。事务拦截器应能够集成并处理来自各种来源的数据，比如传感器、智能仪表、麦克风、摄像头、GPS 设备、ATM 和图像扫描仪。可以使用各种类型的适配器和 API 来连接到数据源。也可以使用各种加速器来简化开发，比如实时优化和流分析，视频分析，银行、保险、零售、电信和公共运输领域的加速器，社交媒体分析，以及情绪分析。

业务流程管理流程— 来自分析层的洞察可供业务流程执行语言 (BPEL) 流程、API 或其他业务流程使用，通过自动化上游和下游 IT 应用程序、人员和流程的功能，进一步获取业务价值。

实时监视— 可以使用从分析中得出的数据来生成实时警告。可以将警告发送给感兴趣的使用者和设备，比如智能电话和平板电脑。可以使用从分析组件生成的数据洞察，定义并监视关键绩效指标，以便确定操作有效性。实时数据可从各种来源以仪表板的形式向业务用户公开，以便监视系统的健康或度量营销活动的有效性。

报告引擎— 生成与传统商业智能报告类似的报告的能力至关重要。用户可基于从分析层中得到的洞察，创建临时报告、计划的报告或自助查询和分析。

推荐引擎— 基于来自分析层的分析结果，推荐引擎可向购物者提供实时的、相关的和个性化的推荐，提高电子商务交易中的转换率和每个订单的平均价值。该引擎实时处理可用信息并动态地响应每个用户，响应基于用户的实时活动、存储在 CRM 系统中的注册客户信息，以及非注册客户的社交概况。

可视化和发现— 数据可跨企业内外的各种联邦的数据源进行导航。数据可能具有不同的内容和格式，所有数据（结构化、半结构化和非结构化）可组合来进行可视化并提供给用户。此能力使得组织能够将其传统的企业内容（包含在企业内容管理系统和数据仓库中）与新的社交内容（例如 tweet 和博客文章）组合到单个用户界面中。

垂直层

影响逻辑层（大数据来源、数据改动和存储、分析和使用层）的所有组件的各方面都包含在垂直层中：

信息集成

大数据治理

系统管理

服务质量

信息集成

大数据应用程序从各种数据起源、提供程序和数据源获取数据，并存储在 HDFS、NoSQL 和 MongoDB 等数据存储系统中。这个垂直层可供各种组件使用（例如数据获取、数据整理、模型管理和交易拦截器），负责连接到各种数据源。集成将具有不同特征（例如协议和连接性）的数据源的信息，需要高质量的连接器和适配器。可以使用加速器连接到大多数已知和广泛使用的来源。这些加速器包括社交媒体适配器和天气数据适配器。各种组件还可以使用这一层在大数据存储中存储信息，从大数据存储中检索信息，以便处理这些信息。大多数大数据存储都提供了服务和 API 来存储和检索该信息。

大数据治理

数据治理涉及到定义指南来帮助企业制定有关数据的正确决策。大数据治理有助于处理企业内或从外部来源传入的数据的复杂性、量和种类。在将数据传入企业进行处理、存储、分析和清除或归档时，需要强有力的指南和流程来监视、构建、存储和保护数据。

除了正常的数据治理考虑因素之外，大数据治理还包含其他因素：

1、管理各种格式的大量数据。

2、持续培训和管理必要的统计模型，以便对非结构化数据和分析进行预处理。请记住，设置处理非结构化数据时的重要一步。

3、为外部数据设置有关其保留和使用的策略和合规性制度。

4、定义数据归档和清除策略。

5、创建如何跨各种系统复制数据的策略。

6、设置数据加密策略。

服务质量层

此层复杂定义数据质量、围绕隐私和安全性的策略、数据频率、每次抓取的数据大小和数据过滤器：

数据质量

1、完整地识别所有必要的数据元素

2、以可接受的新鲜度提供数据的时间轴

3、依照数据准确性规则来验证数据的准确性

4、采用一种通用语言（数据元组满足使用简单业务语言所表达的需求）

5、依据数据一致性规则验证来自多个系统的数据一致性

6、在满足数据规范和信息架构指南基础上的技术符合性

围绕隐私和安全的策略

需要策略来保护敏感数据。从外部机构和提供程序获取的数据可能包含敏感数据（比如 Facebook 用户的联系信息或产品定价信息）。数据可以来源于不同的地区和国家，但必须进行相应的处理。必须制定有关数据屏蔽和这类数据的存储的决策。考虑以下数据访问策略：

A、数据可用性

B、数据关键性

C、数据真实性

D、数据共享和发布

E、数据存储和保留，包括能否存储外部数据等问题。如果能够存储数据，数据可存储多长时间？可存储何种类型的数据？

F、数据提供程序约束（政策、技术和地区）

G、社交媒体使用条款

数据频率

提供新鲜数据的频率是多少？它是按需、连续还是离线的？

抓取的数据大小

此属性有助于定义可抓取的数据以及每次抓取后可使用的数据大小。

过滤器

标准过滤器会删除不想要的数据和数据中的干扰数据，仅留下分析所需的数据。

系统管理

系统管理对大数据至关重要，因为它涉及到跨企业集群和边界的许多系统。对整个大数据生态系统的健康的监视包括：

A、管理系统日志、虚拟机、应用程序和其他设备

B、关联各种日志，帮助调查和监视具体情形

C、监视实时警告和通知

D、使用显示各种参数的实时仪表板

E、引用有关系统的报告和详细分析

F、设定和遵守服务水平协议

G、管理存储和容量

G、归档和管理归档检索

I、执行系统恢复、集群管理和网络管理

J、策略管理

结束语

对开发人员而言，层提供了一种对大数据解决方案必须执行的功能进行分类的途径，为组织建议必需执行这些功能所需的代码。但是，对于想要从大数据获取洞察的业务用户，考虑大数据需求和范围通常会有所帮助。原子模式解决了访问、处理、存储和使用大数据的机制，为业务用户提供了一种解决需求和范围的途径。下一篇文章将介绍用于此用途的原子模式。

华为的高斯数据库是基于什么数据库的

主要还是基于Oracle和PGDB 数据库的。

高斯数据库是华为云推出的一种数据库，今年算华为高斯数据库的元年，很多人比较看好华为高斯数据库 可以在这里看看官方的文档介绍。

华为 fusion cube 存储虚拟化用的是什么技术

OpenStack峰会在法国巴黎如期举行，各界共商云软件的未来。OpenStack会执行总监Jonathan Bryce提到“被动的技术应用已经成为历史，取而代之的是由软件定义的存储、网络及数据中心”。这一简短有力的发言引起了强烈的共鸣和反响。

Jonathan Bryce的主题发言的指出了一个不可否认的事实，即：越来越多的企业使用了按需分配资源的云系统。软件带来了经济的不断发展，创新不再是掌握所有权的大型机构的专利了，而真正的创新是来自不同国家的数百家公司成千上万的人一起合作的成果。

Openstack提供开源软件的框架，简化了基于云系统的管理模式。虽然只有短短四年，但无论是从齐聚巴黎分享优秀实践的峰会创下与会人数的历史记录——4,600开发者及用户，还是将首个Superuser大奖授予了CERN——World Wide Web的创始者，用3000个服务器7万核组成了全球最大的OpenStack集群，这些无一不证明了OpenStack的成功。显然，企业用户已经认识到了这一点，并利用OpenStack来实现企业规则的改革。

基于OpenStack的FusionSphere

华为是应用OpenStack架构的公司之一，而且OpenStack已经被深度融合进华为的一系列IT产品。 OpenStack满足了云时代这类公司针对日益灵活的IT系统的管理需求。在步入云计算领域时面对系统日益灵活的管理需求。

华为云计算产品线营销总监张建华提到“随着计算能力、存储及网络对硬件的依赖性下降，我们正在创建我们自己的软件来满足基于软件定义资源的需求。”

他指出，Openstack虽然可以像胶水一样将整个系统粘合在一起，但它只是个基础。华为FusionSphere云操作系统产品在OpenStack框架的基础上还增加了不同的安全级别，并且使用户能充分利用OpenStack提供的互通特性最新的FusionSphere 5.0还允许私有云用户连接像亚马逊这样的公共云。

通过使用OpenStack，华为FusionSphere能够管理来自不同厂家的虚拟服务器、存储、网络资源以及虚拟安全与负载均衡等设备。FusionSphere可以兼容作为云计算基础的异构虚拟化层，且物理服务器虚拟化使FusionSphere能够根据企业当前的需求完成不同的任务。如hypervisor，一个虚拟化多个物理系统的虚拟化层软件，可以由不同供应商提供，使FusionSphere能够很好地与已有设备或软件配合完成相应任务。

软件定义的基础设施

和传统的基于硬件的系统相比，软件定义的数据中心具有很多优势。软件定义数据中心可以分解为软件定义计算、软件定义存储和软件定义网络。例如，软件定义网络将网络的管理和只能路由功能抽取到软件实体中，并且提供API供用户按照应用的需要对网络进行编程，从而实现业务驱动网络；而实际数据交换功能则交付给专用的数据交换硬件设备，交换设备只专注于数据交换，这样大大提高了数据交换的效率。软件定义的数据中心具备很强的系统自愈能力。

那些对上述云计算的保障机制需求强烈的企业，软件定义的数据中心无疑具有强烈的吸引力。张建华还提到了电信运营商，“通常，这些公司很依赖硬线技术，但是目前的大量流量都不是通过传统的电信网络传输。运营商需要改变来提供更多的IP服务”。Openstack与FusionSphere提供了像互联网一样的架构，从而能够解决这些问题。他还补充到“运营商需要一个既懂得传统架构又懂得新模式的合作伙伴才能迈进新纪元。他们还需要开放架构的解决方案，以避免受限于某一单一模式。”

OpenStack实现电信NFV变革

Telefonica意识到华为正是这样的合作伙伴。因为这个原因，电信巨头Telefonica决定采用华为FusionSphere集中管理其软件、硬件以及数据中心。鉴于FusionSphere的统一调度与管理优势，Telefonica在英国的运营商O2，在部署FusionSphere后的TCO大幅降低了约30%。FusionSphere通过三个方面实现客户价值：运营维护（OM）、业务管理、以及业务控制。另外，FusionSphere架构也将支持Telefonica的后续升级。

另外一个电信巨头，沃达丰，也部署了FusionSphere来管理其基于PLEX系统的数据中心，以便管理不同厂商的资源和未被充分利用的资源，降低操作维护费用。公有云和私有云都在以这种模式进行管理，资源按需求动态分配，必要时业务也可以跨云迁移。

除了电信领域外，OpenStack也为其他领域带来了好处。汇港资讯有限公司采用华为OpenStack连通了香港经纪人与上海证券交易所。中国的一些政府部门的业务系统也通过部署华为云产品，体验到了这种IT架构的优势，华为的云产品可以为其消减成本、提高效率。

在OpenStack 峰会最后，华为的云计算产品线首席技术官，王海鹰，上台分享了华为成为OpenStack会金牌会员的前景。他讲到“从长远看，华为将会继续促进OpenStack与NFV的融合。我们也希望与所有领域伙伴合作构建一个健康的OpenStack系统”。我们正在进步。OpenStack已经有17,141个个人会员，432个支撑公司，以及两千万行代码，这也证明了企业已经准备好迎接更敏捷的IT方案。这个方案将不仅能够满足当前需求，而且能够灵活地控制未来的方案。华为FusionSphere，FusionCube（软硬件云管理一体机）以及其他的云产品正是这样一套既适应今天又能管理未来的强大的工具。

评论

请先登录，再发表评论

敬请读者发表评论，本站保留删除与本文无关和不雅评论的权力。

OpenStack开发云计算

OpenStack目标：解决实施中的瓶颈问题

OpenStack Neutron：云服务中的开放网络

Salesforce或“登陆”OpenStack

Gartner分析师再次抨击OpenStack“太嫩”

红帽：Havana增强OpenStack的开发动力

云计算疆场烽烟：OpenStack叫板Amazon

OpenStack你了解生态系统的价值吗？

企业对OpenStack Havana热情高涨 期待Icehouse

OpenStack是否已为IPv6做好准备？

OpenStack Havana新增云网络功能

企业部署OpenStack：该做与不该做的事

DIY云计算：OpenStack当积木

OpenStack私有云满足高IO需求

OpenStack互操作驾到：开源云平台选择更自由

失败案例！OpenStack没你想的那么简单！

SUSE OpenStack Cloud 5简化私有云管理

如何构建OpenStack存储云

企业用户为何选择OpenStack

使用OpenStack能开发企业私有云吗？

OpenStack在混合云战略中位置在哪？

OpenStack云功能激发厂商支持

云计算开源运动：厂商争先公开源代码

OpenStack私有云DR的益处比其TCO更显而易见

OpenStack企业~~进程举步维艰

EMC收购Cloudscaling对OpenStack应用意义何在？

红帽1.75亿美元收购Inktank

红帽 9,500万美元收购eNovance

思科收购Metacloud

惠普1亿美元收购Eucalytpus

EMC 5,000万美元收购Cloudscaling

2014 OpenStack收购案盘点

华为持续重磅投入OpenStack 巴黎峰会全面展示开放云

谁还敢于挑战OpenStack的权威？出列！

预测到2018年OpenStack市场规模将达到33亿美元

网易OpenStack部署运维实战

红帽公司发布 OpenStack Platform 5

开源云平台：顶级OpenStack厂商一览

OpenStack为技术宅提供了“拯救世界”的平台

OpenStack之小企业使用技巧

OpenStack现状：四年后仍“不温不火”

小型企业如何成功牵手OpenStack？

OpenStack：叫好不叫座

IBM Cloud Manager将OpenStack与服务器关联

OpenStack现在可配置NoSQL

云计算战争OpenStack vs VMware:设计与功能

云操作系统OpenStack：优势与问题并存

Riverbed加入OpenStack社区：协作开发基于开源标准云解决方案的优化先锋

Rackspace将拆分开源云计算软件OpenStack

如何使用Puppet安装OpenStack Nova云？

Cloud.com将要合并OpenStack代码库

如何建立高可用OpenStack云？

OpenStack里的三种存储

OpenStack Grizzly发布 推进可扩展性和高可用性

OpenStack最新版本Grizzly新增部分功能一览

面对云锁定的抉择：OpenStack还是专有云平台?

四种方案将OpenStack部署到Hadoop

如何成功实施OpenStack和CloudStack项目

Mark Collier：OpenStack API兼容AWS

三载风雨铸就Openstack今日辉煌

为什么华为要做软件开发

华为OD是一种新的用工模式，合同同第三方公司签订，合同也是4年，五险一金都有，薪资也比较具有竞争力。

全称(Outsourcing Dispacth)模式，目前 华为和德科联合招聘的简称。目前 华为社招大多数是OD招聘，17级以下都为OD模式，OD模式也是 华为提出的一种新的用工形式，定级是13-17级，属于 华为储备人才，每年都会从OD项目挑优秀员工转为正编。

岗位职责：

负责华为终端各业务流管理系统的应用软件、分布式云化软件、WEB前端等软件设计开发。所有华为门店管理，供应链管理，物流管理，包括服务APP。

都是我们的产品。我们每天面对上百万的活跃用户，上千万的交易量，上亿刀的交易。挑战高容量，大并发，乃至全球部署的高可用场景，交付，高质量，高可信，高可维的软件系统，加入我们，接触最前沿的产品和软件技术，成为大容量高并发技术的专家。

企业数据上云必有一战，华为云12.12云数据库2折起

每年的Gartner全球数据库魔力象限都会对未来三年的市场进行预测，而2020年的预测相比于2019年的预测出现一个显著的变化，那就是全球75%数据库将被部署或迁移到云平台的时间表提前了一年——从2023年提前到了2022年。进入2020年底，我们将迎来数据库行业的世纪之战，企业数据上云与治理面临着重大抉择：本地数据库与云数据库的PK。特别是受2020全球疫情的影响，越来越多的企业正加速数字化转型，云数据库以及云上数据治理的时代将很快到来。

2020年12月12日双十二之际，华为云打出了云数据库2折起的大幅折扣，包括：MySQL等热门云数据库 2折起、迁移上云再加送6个月；GaussDB系列、数据管理服务DAS企业版等热销产品低至5折；数据加速与治理产品中也有Redis 4折的惊喜优惠。2020年又是华为云推出全场景数据库云服务GaussDB的第一年，而在2020年底打出云数据库2折起的大力度促销，彰显了华为云开打2021企业数据上云之战的决心。

2020年的一场疫情，让很多企业都将数字化转型提速，特别是让本来需要几年才能下的数字化转型决心和决定缩短到几个月；而新基建的推出，更刺激了基于数字技术的融合基础设施的大规模建设。无论是加速的数字化转型、急于上线的各种在线和互联网业务，还是筹建中的融合基础设施新基建，都为CIO们带来了头痛的问题：数据库的选型。

那么CIO怎么解决云数据库的选型难题呢？华为云数据库业务总裁苏光牛认为，CIO选型数据库，最常见的其实没有变化，就是稳定性和性能，以及云技术出现之后的扩展性和灰度等能力。但对于很多企业，特别是有 历史 遗留系统的，都涉及一个古老但无法回避的问题就是：生态。也就是如果招聘的DBA多是搞PostgreSQL，那么企业怎么能选择MySQL？反之亦然。或者当熟悉某个数据库的DBA干了几十年，又怎么转向另外一种数据库？

转型是必然的。数字化智能化升级，必然要求数据库跟上，苏光牛认为生态必须是开放的，否则就从一个火坑跳入另外一个火坑。选型之后，CIO都普遍担心，迁移的工作量有多大？CIO都需要有能自动化转换或者评估的工具，能把非确定的工作量转化为确定性的计划。然后就需要考虑迁移是否会中断或者中断多久，业务切换需要多久，对于在线迁移来说还要可控制的切换时间；随之，要考虑数据是否会丢失，因为从一个系统迁移到另一个系统，不可能100%覆盖所有的功能测试，没有覆盖到数据是否就丢失了，当然还要考虑数据安全等问题。

最后，必然要考虑成本以及让数据“活”起来。苏光牛认为，控制成本的最好方式是存储的融合，计算和存储分离的架构；而让数据活起来，就是要让存储的数据在不同系统之间流动起来，通过大的存储资源池解决数据孤岛问题，当然更好的数据迁移工具也能配合解决问题。

2020年11月，在Gartner发布的2020全球云数据库魔力象限中，华为云凭借GaussDB系列产品首次晋级全球顶级云数据库行列。Gartner对华为云的评价是：华为云专注于提供全面的混合堆栈，构建了全面、稳健的产品组合，能够满足跨云和本地环境的全方位数据管理用例，其许多产品与云基础架构紧密集成，以提供增强的性能和可靠性。Gartner还认为，华为在全球电信和网络行业有很强的影响力，很多为管理华为全球行业业务而构建的数据管理能力，面向政企行业普遍可用。

2020年下半年，华为云宣布GaussDB数据库战略升级为华为云数据库全场景服务，以及发布GaussDB云数据库服务GaussDB（for MySQL）、GaussDB（openGauss）以及GaussDB NoSQL，而GaussDB NoSQL非关系型数据库则支持MongoDB、Cassandra、时序InfluxDB、KV数据库Redis等，具有多模式数据管理能力。

就GaussDB来说，通过计算和存储分离实现分布式处理，在一套架构下，可以对接MySQL、PostgreSQL、MongoDB、Cassandra等多种开源数据库引擎，实现这些开源数据库的良好商用性能。GaussDB以华为云为底座，保证了良好可扩展性、弹性、安全可靠等性能要求，特别是通过底层统一的智能化DFV分布式存储架构，满足企业上云对于云数据库的各种需求。

在数据迁移方面，华为云推出的数据库和应用迁移 UGO，是一款专注于异构数据库对象迁移和应用迁移的专业化工具，而华为云数据复制服务DRS，支持更大数据量、更长时间等多种复杂迁移场景，支持数据库上云和云上业务数据实时回传至云外的混合云架构。UGO+DRS形成了完整的迁移产品形态。

GaussDB是为政企打造的数据库一站式上云解决方案，提供全场景数据管理业务、全开放生态和安全可信，彻底解决政企以及互联网行业在数据库选型方面的痛点，真正做到数据库选型安心、迁移放心、管理省心。

苏光牛表示：“华为将持续战略投入数据库，布局全球7大区域囊括1000+数据库专家与人才。此次战略升级是华为云数据库积极构建高安全、高可靠、高性能的全场景云服务，拥抱开源生态的具体举措，华为云GaussDB数据库会持续打造多元生态服务，全方位满足客户的需求，加速政企客户数字化创新发展。”

正如Gartner所观察到的，如今华为云数据库业务在亚太地区，尤其是中国市场实现规模化部署，其中超过一半的客户来自公共管理、电信、金融保险等行业。华为云数据库，特别是GaussDB能够被广大政企用户认可，这首先来自于经历了华为内部的千锤百炼。从2007年开始，就因为华为的无线、网络、交换机等产品而发展起来了GaussDB，从2009年开始基于存算分离的架构而考虑分布式数据库的设计，2015年起基于广泛认知的生态如MySQL或者PostgreSQL等以及NoSQL数据库，逐步推出了分布式的数据库，同时还打造华为自己的openGauss生态。

2020年，华为云数据库品牌更加清晰，GaussDB是华为自有数据库品牌，既兼容MySQL、PostgreSQL等广泛认知的生态，又有自有的生态openGauss，openGauss于2020年6月正式对外开源。苏光牛强调，华为公司将长期投入GaussDB的开发，基于混合云和公有云的方式，联合ISV等伙伴一起，全方位服务好客户。

总结下来，GaussDB有四大特色：第一，开放的生态，拥抱开源生态的同时，打造华为自有生态。华为云认为未来一定是开放的生态，开放的生态才能保护客户投资，避免从一个封闭体系走向另外一个封闭体系。

第二，存算分离的架构，数据库的稳定性是第一位的，特别是交易型数据库，华为云数据库最核心的特色是存储的稳定性。华为云GaussDB基于与企业存储相同的分布式存储架构，经过千行百业的磨炼而不仅仅是单一的某种交易流量，另外各种存储能力如重删、压缩、跨AZ等特性让快速备份恢复、性价比都具备非常好的优势。

第三，安全合规，GaussDB经过了ICSL的安全认证，以及很多白盒的代码层面的认证。特别是随着欧洲GDPR等标准的实施，以及政企对数据安全性要求的增加，华为云GaussDB的代码级、架构级别安全设计，以及多年来在电信级高标准行业的锤炼，经历了很多实际客户的严苛考验，让政企在使用数据库的时候更加放心。

第四，软硬件全栈协同。华为云具备软硬件全栈研发的实力，无论存储底座和RDMA高速网络，还是虚拟化和容器之上的性能调优，以及GuestOS上的协议栈优化，特别是基于云技术之后的全栈优化和云服务能力，更加是华为云的优势。

当然，更为重要的是，云数据库采用云的模式实现了数据库运维管理的集中化，极大简化了数据库的安装、部署、配置、迁移和优化，大幅提升运维管理效率，让政企可以投入更多精力聚焦在核心业务创新上。

总结而言： 企业数据上云和云上数据治理将成为2021年政企数字化转型的重中之重，各大技术厂商都在争夺云数据库市场份额。以华为云全场景数据库GaussDB为代表的新一代云数据库，将满足政企数字化转型的全面需求。特别是以华为云和华为云Stack为底座，GaussDB可以跨公有云以及企业本地部署，其技术符合云及企业本地的要求，同时具有华为云的高性能、高可用、高安全等保证，可以说政企数字化转型的全场景保障！（文/宁川）

本文标题：华为nosql系列,华为nose
转载来于：http://csdahua.cn/article/dsgjojg.html