管理计算资源的新途径：来自Sync团队的分享

今天，数据工程师正面临巨大的挑战，既要优化数据管道性能，又要管理不断上升的云基础设施成本。在最近一期的《毫不妥协的技术》播客中，Sync 联合创始人兼首席执行官 Jeff Chou 介绍了那些正在重塑我们应对这些挑战方式的创新解决方案。

继续往下看获取更多关键见解，或观看下面与大数据专家Jesse Anderson的完整对话如下所示：

数据领域面临的最大挑战之一是技术执行与商业目标之间的差距。数据工程师经常在管理数据管道的技术细节和领导层设定的业务目标之间左右为难。这种差距可能导致优先级不匹配，并且过度配置资源会浪费公司资源，这可能会给公司带来沉重的负担。

在 Sync，我们相信直面挑战是解决问题的关键，因此我们开发了Gradient，帮助组织达成技术与业务目标。Gradient 的基于机器学习的计算优化引擎帮助组织降低计算成本和/或提升工作负载性能。

我们的计算优化方法完全是目标导向的（100%目标导向）。而不是让数据工程师不断尝试调整集群配置来满足需求的条件，Gradient 使用这些需求自动推荐最适合您任务的最佳配置。我们称这种方法为“声明式计算”，借鉴了声明式编程的思想。

声明式计算 是一种根据预期结果（如成本、运行时间、延迟等）来配置计算基础设施的方式，。通常，工作性能通常取决于可用的计算资源。而在声明式计算里，成本和性能是决定配置哪些资源的输入，因此这种方法代表了云计算资源管理的一个重大转变。

梯度使用这种方法来帮助组织达成目标。梯度默认优化成本节省。然而，您也可以为每个工作负载指定所需的运行时服务水平协议（SLA），梯度将设置最优配置以在满足该SLA的前提下达到最低的价格。

结果如下：

• 降低成本： 结束为过度配置的集群过度支付。Gradient 将为您的需求找到最优配置。客户通常会看到其 Jobs 计算成本最多减少 50%。
• 提高性能： 掌控作业运行时间和始终如一满足您的 SLA。Gradient 会调整集群以最高效的方式满足您所需的运行时间 SLA。它还会在适用时展示成本和性能之间的权衡。
• 节省时间： 调整集群是耗时且重复性的工作。使用 Gradient，您可以释放数据工程师的时间，让他们可以为您的核心业务做出贡献，而不是管理资源分配细节。
• 适应性： Gradient 不断监控和优化您的作业，使其能够自动适应您的数据管道的变化，包括不同规模的数据。这确保了您的数据基础设施始终优化以符合您的目标。

Gradient 不仅仅节省成本，它还提供了更多功能。它是您的数据处理基础设施的一站式控制面板。它确保您的关键运行时 SLA 永远得到满足，并通过自动化集群管理提升生产效率。最重要的是，它确保技术执行与业务目标（如成本削减或运行时 SLA）保持一致。这使得工作流程更加高效，直接为公司的盈利做出贡献。

此外，通过利用先进的模型，这些模型是自动针对您的每个任务进行了微调，Gradient 能够帮助您在大规模上优化数据基础设施。借助 Gradient，一名工程师可以一次性优化数千个任务，并且对每个任务的成本和性能指标有全面的可见性和控制。

Gradient 提供有针对性的Spark性能监控，专注于影响性能和成本的关键指标，这一切都是基于多年研究、数十家设计合作伙伴以及数 petabytes的数据。

以下是关键因素：

数据倾斜是常见的问题，这通常会导致工作负载分布不均。Gradient会自动调整集群大小以达到最佳性能，即使面对数据倾斜也是如此。这种情况可以带来显著的成本节约，尤其是当您的数据高度倾斜时（Gradient将自动缩小集群规模以提高效率）。

竞价实例（Spot实例）可以大幅降低云计算成本，因为它们可能比按需实例便宜高达90%。不过，竞价实例也伴随着任务失败的风险，因为节点可能会在没有任何预告的情况下随时被驱逐。

通过有效利用按需实例，数据团队可以节约显著的成本，而不必牺牲工作的可靠性和性能。我们正在寻找方法来帮助组织充分利用按需实例，同时缓解其不足，包括比如说：等方面。

• 根据任务的重要性和运行时间需求智能安排到竞价实例上。对于关键任务或有严格SLA要求的任务，这一点应始终使用按需集群。
• 自动处理检查点及任务迁移以应对竞价实例的终止
• 根据当前市场价格和任务优先级动态调整竞价实例的使用

数据量的变化如果不妥善处理，可能会导致资源的过度配置或配置不足。这可能还会引起计算成本上升、运行时SLA无法满足，甚至导致作业运行失败。

梯度会自动根据不同的数据大小进行调整，具体如下：

Gradient自动适应不同数据大小的方法是：

适应不同数据大小。

• 根据输入数据大小和作业复杂度来调整集群规模
• 预测不同数据量所需的资源
• 即使面对“杂乱”的数据也能提供最优的集群规模

这种自适应的方法确保资源利用最优，无论数据量如何变化，从而保证性能一致和成本效益。

通过弥合技术执行与业务目标之间的鸿沟，利用机器学习和人工智能的力量，并提供先进的工具进行成本和性能优化，由Sync提供的Gradient使数据团队能够更好地利用其资源。

随着数据量呈指数级增长的趋势，Gradient 帮助组织高效管理数据基础设施，利用机器学习技术的力量来。它是一个智能且自适应的系统，可以自动管理和优化计算资源，以实现业务目标，例如期望的运行时间或成本目标。

想了解更多的话，预约个性化演示会。