BMC软件的解决方案营销总监Basil Faruqui讨论了DataOps、数据编排的重要性,以及人工智能在优化复杂工作流自动化以实现商业成功中的作用。
BMC最近有哪些新进展?
在BMC,尤其是我们的Control-M产品线,正处于激动人心的时刻,我们继续帮助全球一些最大的公司自动化和编排依赖于复杂工作流的商业成果。我们的战略重点主要放在DataOps,特别是在DataOps实践中的编排。在过去的十二个月里,我们为AWS、Azure和GCP的无服务器和PaaS产品提供了超过七十个集成,使我们的客户能够快速将现代云服务引入他们的Control-M编排模式。此外,我们正在原型化基于GenAI的用例,以加速工作流开发和运行时优化。
您注意到DataOps中有哪些最新趋势?
我们在数据领域看到的总体趋势是对数据和分析软件的持续投资。分析师估计,去年在数据和分析软件上的支出超过了1000亿美元。如果我们查看Matt Turck在Firstmark每年发布的机器学习、人工智能和数据领域的图景,它比以往任何时候都更加拥挤。它有2011个标志,自2023年以来增加了超过500个。鉴于工具和投资的快速增长,DataOps现在正处于中心舞台,因为公司意识到,要成功地将数据倡议落地,他们不能再仅仅增加更多的工程师。DataOps实践现在正成为在生产中扩展这些倡议的蓝图。最近GenAI的兴起将使这一操作模型变得更加重要。
公司在创建数据战略时应该注意什么?
正如我之前提到的,来自商业高管、首席执行官、首席营销官、首席财务官等的对数据倡议的投资仍然很强。这种投资不仅是为了创造增量效率,还为了改变游戏规则的、变革性的商业成果。这意味着三件事变得非常重要。首先是数据战略与商业目标的明确对齐,确保技术团队在最重要的事情上工作。其次是数据质量和可访问性,数据的质量至关重要。数据质量差会导致不准确的洞察。同样重要的是确保数据的可访问性——在正确的时间将正确的数据提供给正确的人。民主化数据访问,同时保持适当的控制,赋予组织内的团队做出数据驱动决策的能力。第三是在生产中实现规模。战略必须确保操作准备融入数据工程实践中,而不是在试点后才考虑。
数据编排在公司整体战略中有多重要?
数据编排可以说是DataOps中最重要的支柱。大多数组织的数据分散在多个系统中——云、内部部署、遗留数据库和第三方应用程序。将这些不同的数据源集成和编排成一个统一系统的能力至关重要。适当的数据编排确保系统之间的数据流畅通,最小化重复、延迟和瓶颈,同时支持及时决策。
您的客户告诉您,在数据编排方面他们面临的最大困难是什么?
组织继续面临快速交付数据产品并在生产中快速扩展的挑战。GenAI就是一个很好的例子。全球的首席执行官和董事会都在要求快速结果,因为他们意识到这可能会严重扰乱那些无法利用其力量的公司。GenAI正在主流化诸如提示工程、提示链等实践。挑战在于我们如何将LLM、向量数据库、机器人等融入更大的数据管道,这些管道跨越多个云到内部部署,包括许多主机。这再次强调了对编排的战略性方法的需求,这将允许将新技术和实践整合到可扩展的数据管道自动化中。一位客户将Control-M描述为编排的电源插座,他们可以在新技术和模式出现时插入,而不必每次更换旧技术时都重新布线。
确保最佳数据编排的顶级建议是什么?
可以有许多顶级建议,但我将重点关注一个,即应用程序和数据工作流之间的互操作性,我认为这对于在生产中实现规模和速度至关重要。编排数据管道很重要,但必须牢记,这些管道是企业更大生态系统的一部分。让我们考虑一个ML管道被部署来预测可能转向竞争对手的客户。进入此类管道的数据是ERP/CRM中运行的工作流和其他应用程序组合的结果。成功完成应用程序工作流通常是触发数据工作流的前提。一旦模型识别出可能转向的客户,下一步可能是向他们发送促销优惠,这意味着我们需要回到ERP和CRM中的应用层。Control-M在解决这一挑战方面具有独特的优势,因为我们的客户使用它来编排和管理应用层与数据层之间的复杂依赖关系。
您认为在部署AI时主要的机会和挑战是什么?
人工智能,特别是GenAI,正在迅速增加数据生态系统中涉及的技术。许多新的模型、向量数据库和围绕提示链的新自动化模式等。这一挑战在数据领域并不新鲜,但变化的速度正在加快。从编排的角度来看,我们与客户之间存在巨大的机会,因为我们提供了一个高度适应的编排平台,他们可以将这些工具和模式整合到现有工作流中,而不是重新开始。
您是否有任何案例研究可以与我们分享,展示公司成功利用AI的情况?
Domino’s Pizza利用Control-M来编排其庞大而复杂的数据管道。全球有超过20,000家门店,Domino’s管理着超过3,000个数据管道,这些管道从内部供应链系统、销售数据和第三方集成等多种来源汇集数据。这些来自应用程序的数据需要经过复杂的转换模式和模型,才能用于推动与食品质量、客户满意度和其特许经营网络的运营效率相关的决策。
Control-M在编排这些数据工作流中发挥着至关重要的作用,确保在MicroStrategy、AMQ、Apache Kafka、Confluent、GreenPlum、Couchbase、Talend、SQL Server和Power BI等多种技术之间实现无缝集成。
除了将复杂的编排模式连接在一起,Control-M还为他们提供了管道的端到端可见性,确保它们满足严格的服务水平协议(SLA),同时处理不断增加的数据量。Control-M正在帮助他们更快地生成关键报告,向特许经营商提供洞察,并扩展新业务服务的推出。
我们可以期待BMC在未来一年中带来什么?
我们在BMC对Control-M的战略将继续专注于几个基本原则:
继续让我们的客户将Control-M作为编排的单一控制点,以便在引入现代技术时,特别是在公共云上。这意味着我们将继续为所有主要公共云提供新的集成,以确保他们可以使用Control-M在三种主要云基础设施模型(IaaS、容器和PaaS(无服务器云服务))之间编排工作流。我们计划继续强烈关注无服务器,您将看到更多来自Control-M的开箱即用集成,以支持PaaS模型。
我们认识到企业编排是一项团队运动,涉及工程、运营和业务用户之间的协调。考虑到这一点,我们计划提供基于角色的用户体验和界面,以便协作无缝进行。
具体而言,在DataOps中,我们正在关注编排与数据质量的交集,特别关注将数据质量作为应用程序和数据工作流中的一等公民。请继续关注这一方面的更多信息!
想了解更多行业领袖关于AI和大数据的见解吗? 请查看AI & Big Data Expo,该活动将在阿姆斯特丹、加利福尼亚和伦敦举行。该综合活动与其他领先活动共同举办,包括智能自动化会议、BlockX、数字化转型周和网络安全与云博览会。
探索由TechForge提供的其他即将举行的企业技术活动和网络研讨会这里。