Power Up！MRS 2.0 更简单易用

  财经365(www.caijing365.com)2月18日讯:MapReduce服务上线以来，我们在用户的意见和建议中不断地进行改进和优化。如今MRS已来到2.0时代。MRS 2.0对大数据引擎做了全面升级，并推出实时流与批分析一体的混合集群，支持计算存储分离的统一存储方案，为客户提供低成本、高性能、更易用的全新一站式大数据平台服务。

  下面就由小编给大家详细介绍下MapReduce 2.0的新特性。

  MRS 2.0新特性一览表

  一、MRS 2.0 vs 1.x ——Hadoop篇：

  冷数据占存储空间更小

  对于冷数据的存储，我们一直希望能够减少其所占存储空间。纠删码作为给HDFS拓展的新特性，是一种与副本相比更节省存储空间的数据持久化方法。

  传统HDFS数据只采用冗余的方式来获得数据可靠性(默认冗余200%)，带来了存储成本的提升。该技术在HDFS实现了纠删码使得数据冗余减少到50%，且可靠性更高(使用Reed-Solomon(10,4)编码的数据可以允许4个节点失效)，并引入条带化的块存储结构，最大化的利用现代集群单节点多磁盘的能力，使得数据写入性能在引入编码过程后，仍和原来多副本冗余的性能接近，更值得一提的是，应用层无需改动写入数据的实现方式即可获得这部分提升。

  使用场景上，纠删码编码的数据在读写数据时，会耗费更多的CPU，在CPU资源富裕的大数据应用场景，能给客户带来更大的成本空间。

  Yarn的Opportunistic Containers

  过去的YARN集群，资源利用率较低，主要有两个因素，一是延迟反馈，YARN依赖心跳管理集群资源，空闲资源能够再次被申请，需要多次心跳交互才能感知到;二是YARN应用声明的资源比实际使用量大，导致利用率低。

  Opportunistic Containers相对于之前的Guaranteed Container来说，优先级更低，会被Guaranteed Container抢占，但其优势在于让container请求在YARN的NodeManager节点排队(即使资源不足)，一旦有空闲资源，可以立即开始执行，消除了延迟反馈，提升了Container启动速度，从而提高了集群利用率。

  新机制实现Yarn的高扩展

  新引入Yarn federation机制：将一个超大的集群分解成多个子集群的方式来实现Yarn的高扩展性，每个子集群有自己的ResourceManager和NodeManager，Yarn federation将这些子集群拼接在一起使他们成为一个大集群。在Yarn federation环境中，Application看到的是一个超大的集群，并且能够在整个集群的任何节点执行Task。

  支持自定义资源模型

  从MRS 2.0开始，Yarn支持自定义资源模型(support user-defined countable resource types)，不仅仅支持CPU和内存，比如集群管理员可以自定义诸如GPU，软件许可证等等资源，Yarn任务可以根据这些资源的可用性进行调度。

  除此之外，华为云MRS服务2.0全面兼容Hadoop 3版本，提供了DataNode节点内多磁盘均衡工具，来处理添加或替换磁盘时可能导致的DataNode内部多块磁盘存储的数据不均衡的问题。

  二、MRS 2.0 vs 1.x ——Hive篇：

  新执行引擎Tez

  MRS 2.0上的Hive，使用新的执行引擎Tez代替原先的MapReduce，性能有了显著提升。