Cloud Dataproc现在可以在Kubernetes上运转，至少alpha测验版是这样。它听起来或许不是特具开创性，但假如你考虑为了把YARN换成Kubernetes on Cloud Datarpoc所做的作业，以及谷歌许诺会将旧日Hadoop架构的其他组件引进到Kubernetes范畴，你就会意识到谷歌在做出多大的投入来更新改造整个大数据架构。
YARN有什么问题？它是一种适当粗笨的架构。一段时刻以来，人们一向企图替换YARN。YARN开端是为了在裸机上运转而规划的，后经过改动可在虚拟机上运转，但YARN办理层的行进脚步不如K8s来得快，这促进许多客户对K8s颇有爱好。
客户在YARN方面存在几个痛点，眼下运用YARN中的容器虽好，但不是很好。它不是从头开端针对容器化作业负载规划的。
直到今日，Cloud Dataproc像其他一切Hadoop发行版相同运转，不管在云端仍是在本地。也便是说，Cloud Dataproc依靠YARN作为底层的作业负载和集群办理器。谷歌在该服务中供给的一切数据处理引擎：从Spark和MapReduce到Pig和Flink都依靠YARN来分发核算资源，避免作业负载发生冲突，就像其他云和本地Hadoop集群相同。
谷歌客户依靠YARN，这或许令人惊奇，尤其是鉴于Kubernetes备受炒作，简直每个人好像都共同认为Kubernetes是YARN的继承人。究竟，Kubernetes是在谷歌开发的，源自这个互联网巨子用来在自己的数据中心保证作业负载“安分守己”的软件。
你或许不由得认为Kubernetes现已进入到谷歌云中，谷歌发布的一切云服务都可以以Kubernetes许诺的精细化、永久可扩展的抱负方法来运转。不过你那样想就错了。直到2019年头谷歌才宣告Kubernetes operator for Spark。这让客户得以在运用Kubernetes办理的谷歌云渠道集群上运转Spark。但Cloud Dataproc不相同。
与Cloudera的Hadoop发行版相同，Cloud Dataproc由很多开源组件组成，与Apache BigTop绑缚在一起。客户可以在GCP上随意运转简直任何使命。但假如他们想要一款具有会集安全、日志记载、服务等级协议（SLA）和超卓办理控制台的大数据渠道，那么就要注重像Cloud Dataproc或其他Hadoop产品这样的保管系列，比方AWS的Elastic MapReduce（EMR）或微软Azure的HDInsight。
Apache Spark是一种集群核算结构，旨在用作面向ETL（提取、转化和加载）或数据科学运用的处理引擎。它常与Apache Hadoop结合运用，后者供给了用于办理资源的YARN（另一种资源和谐者）和面向分布式数据存储的HDFS。
选用Kuberentes需求在大数据架构的许多层面编写和测验很多的新代码，包含底层数据渠道层面和单个引擎层面。
可是改用Kubernetes的优点将体现在处理引擎之间更充沛的阻隔、Hadoop架构中相互依靠性削弱以及可扩展性加强。
谷歌Cloud Dataproc及其他云产品的高档产品司理James Malone表明，谷歌有才能在各个层面予以协助，包含单个开源项目。
Malone说：“这从某种意义上来说是触及两条阵线的比赛，咱们在尽力完成目标。关于保管服务来说，这是严重改动，但也在开源界带来了巨大改动，咱们在积极开展开源作业。每个开源项目内部都需求大有作为。这便是为什么咱们尽力开这个头。”
Malone告知IT外媒Datanami：“咱们挑选这四个项目的原因之一是，它们不太依靠其他项目，因而它们的独立性强一点。它们先搬迁到Kubernetes更简单一点。别的它们的人气超旺，这也很不错。我想，跟着时刻的推移，咱们会开端注重怎么让像Hive这样的技能在Kubernetes上也可以运转。”
在渠道层面，谷歌刚在Cloud Dataproc上完成了支撑Kubernetes的第一次迭代。但Malone表明，这不是大规模的改动，由于谷歌许诺无限期支撑YARN版别。
他说：“咱们仍会在可预见的未来很长时刻内供给YARN版别的Dataproc。咱们希望到时分许多客户会开端在Kubnerntes上进行更多的开发测验作业，到时会迎来一个拐点，即许多新的开发作业会在Kubernetes上进行。”
Malone表明，事实上，谷歌正在尽力保证YARN版别的Dataproc和Kubernetes版别的Dataproc在代码和兼容性方面尽或许挨近，好让客户可以在两者之间来回切换。
谷歌很注重让大数据社区选用Kubernetes，这引出了第三个要素：Anthos，这是它的本地运转时环境。Anthos根据Kubernetes，方案将来某个时分推出可以在Anthos上运转的Cloud Dataproc版别。
Malone说：“Anthos是咱们针对混合云和多云的长时间战略中至关重要的一部分，而Anthos根据Kubernetes。因而咱们让Dataproc正常作业、让一切开源组件在Dataproc上正常作业，这还为将来Dataproc在Anthos上运转铺平了路途，这一点对咱们来说很重要，可为客户供给随地运用咱们服务的那种灵活性。”
依照Malone的说法，谷歌致力于经过支撑让客户可以随意搬迁的敞开规范来协助社区。这或许会削弱谷歌云的确定，并削减收入，不过给整个社区带来了下降依靠性和复杂性的优点，这么做彻底值得。
他说：“我是Spark开发人员。假定我拿来我的Spark代码后，要在本地环境中的Dataproc、EMR或Cloudera上运转。我得考虑Hadoop架构中的一切组件是什么版别。我运用什么版别的操作系统？这个环境是什么姿态的？我怎么调整该集群以应对资源束缚或可用性？”
“假如咱们改用Kubernetes，就会简单得多，由于我作为开发人员可以拿来我的代码，用需求的任何依靠项来打包代码，不必再操心厚道讲对我来说其实不增值的东西。这为客户大大提高了灵活性。”
经过结合Cloud Dataproc和Kubernetes，谷歌使数据科学家可以跨任何环境一致资源办理、阻隔作业并构建弹性基础设施。开源作业负载的可移植性也大大加强。
此外，Cloud Dataproc on Kubernetes供给了谷歌所说的“自愈合环境”；在这个环境中，基础设施办理使命都完成了自动化，比方集群的选型和建立、Docker文件处理和网络装备。回来搜狐，检查更多