谷歌云今天发布的一项新的案例研究显示,这家科技巨头的云部门,特别是它的谷歌Kubernetes引擎,可以迅速扩大规模,以满足密集的数据处理需求。
该案例涉及到拜耳作物科学数据科学家,他们需要大量的数据处理能力来处理基因型数据,以决定向客户提供哪些产品——在这个案例中是种子。数据处理之前是在BCS决定切换到谷歌云的前提下完成的。
通过与BCS的数据科学家合作,谷歌能够将GKE提升到15000个节点——是开源Kubernetes所支持节点的三倍——以提供更好的数据处理能力。至少对BCS来说,结果是显著的,它允许该公司在四天内处理完整个数据集,而以前需要两周的时间。
在案例研究中,Maciek Rożacki,产品经理在谷歌云,解释说,可伸缩性是一个核心的产品要求。随着越来越多的企业采用GKE,公司一直在努力推动GKE集群的极限,使其超越支持的极限。
据称,额外的规模对运营大型互联网服务的公司有利。其好处包括简化基础设施管理,特别是对于批处理,缩短数据处理时间,以及吸收资源需求的大幅增长。
“这15000 -节点的成就更重要的,当你考虑到IT系统的可伸缩性不仅仅是它支持多少个节点,“Rożacki说。“一个可扩展的系统需要能够使用大量的资源,并仍然满足其目的。”
使GKE用户运行的工作负载需要超过5000在一个集群节点,Rożacki解释说,Googleengaged一群设计合作伙伴为一个封闭的早期访问计划。
“由于其掌握的15000个节点,BCS也节省了大量的时间,“Rożacki补充道。在15000个节点上有240,000个cpu, BCS每小时可以处理约15,000,000,000个基因型。这给BCS提供了进行模型修订、快速再处理整个数据积压或快速添加基于新数据集的推断的灵活性,因此他们的数据科学家可以继续工作,而不是等待批作业完成。”