创建数据架构以推动创新

管用的概念和组件

• 数据点建模技术(例如Data vault 2.0)可以确保数据模型可扩展，以便将来可以在有限的中断范围内添加或删除数据元素。
• 图形数据库是NoSQL数据库的一种，这种数据库近年来颇受关注。一般来说，NoSQL数据库非常适合需要大量可伸缩性和实时功能的数字应用程序以及服务于人工智能应用程序的数据层，这是因为它们可以利用非结构化数据。尤其是图形数据库，提供了以强大而灵活的方式对数据之间的关系进行建模的功能，许多公司正在使用图形数据库来创建主数据库，以适应不断变化的信息模型。
• Azure Synapse Analytics之类的技术服务使人们可以访问类似于关系数据库的基于文件的数据，其方法是将各种表结构动态地应用到各种文件。用户得以灵活地在访问存储于文件中的数据时继续使用各种通用接口(例如SQL)。
• 使用JavaScript对象表示法(JSON)来存储信息，这使组织可以更改数据库结构而不必更改业务信息模型。

• 许多负责数据架构的领导者已经从中央企业数据湖转向“域驱动”的设计，这些设计可以定制并“合乎某个目的”，从而缩短新的数据产品和服务的上市时间。由于用了这种方法，虽然数据集可能仍驻留在相同的物理平台上，但每个业务领域(例如，市场营销，销售，制造等)中的“产品负责人”的任务就是以易于使用的方式来组织数据集，使其既适用于域内的用户，也适用于其他业务域中的下游数据使用者。这种方法需要谨慎地权衡，以免变得支离破碎和效率低下，但是它可以减少在数据湖中创建新数据模型所需的时间(通常从数月缩短至数天)，在反映联合业务结构或遵守数据移动性的法规限制时，它可以是一种更简单有效的选择。

  有一家欧洲电信提供商使用了分布式的基于域的架构，因此销售和运营人员可以将客户、订单和账单等数据提供给数据科学家用于人工智能模型或直接通过数字渠道提供给客户。该公司部署了由公司销售和运营团队中的产品负责人管理的各种逻辑平台，而不是创建一个中心化的数据平台。该公司还激励产品负责人使用数据进行分析并使用数字渠道、论坛和黑客马拉松来推动采用。

  • Apache Kafka之类的消息通信平台提供了完全可扩展，持久且具备容错能力的发布/订阅服务，该服务每秒可以处理和存储数百万条消息，以供立即使用或以后使用。与传统的企业通信队列相比，这可以支持实时用例，绕过现有的基于批处理的解决方案并且占用的空间更少(占用的成本基础也更少)。
  • 流处理和分析解决方案(例如Apache Kafka流、Apache Flume、Apache Storm和Apache Spark流)实现了实时对消息进行直接的分析。该分析可以基于规则，也可以包括高级分析，从而在数据中提取事件或信号。分析往往会整合众多历史数据以比较各种模式，这在推荐和预测引擎中尤其重要。
  • Graphite或Splunk之类的警报平台可以向用户触发各种业务操作，例如，如果销售代表没有达到每天的销售目标，那么他们就会得到通知，或者将这些操作集成到可能运行于ERP或CRM的现有流程中。

  • 我们发现，各大公司正在对其数据体系结构蓝图做出六项根本性的转变，这些转变可以更快地交付新功能并大大简化现有的体系结构方法。这些转变几乎涉及所有的数据活动，包括采集、处理、存储、分析和公开。尽管组织可以在实施一些转变的同时使其核心技术栈不受任何影响，但许多组织仍需要对现有数据平台和基础设施进行仔细的架构调整，包括以前使用的各种遗留技术和比较新的技术。

    这样的工作并非微不足道。为创建基本用例(例如自动报告)的功能而进行的投资往往高达数千万美元，而用于部署优秀功能的体系结构组件(例如为了与最具创新力的颠覆者竞争的各种实时服务)的投资则可能高达数亿美元。因此，对于组织而言，制定清晰的战略计划至关重要，数据和技术领导者必须做出大胆的选择，以优先考虑那些将直接影响业务目标的转变，并投资于复杂度适中的体系结构。因此，各大公司之间的数据架构蓝图往往看起来截然不同。
    
    前的市场动态不容放缓。亚马逊和谷歌等先进的公司一直在利用人工智能技术创新来颠覆传统的商业模式，而这就要求落后者重新构想自身业务的各个方面以跟上发展的步伐。云提供商已经推出了最前沿的产品(例如可以立即部署的无服务器数据平台)，这些产品使采用者享有更快的上市时间并且具备更高的敏捷性。Analytics(分析)用户要求使用更多兼容性强的工具(如自动模型部署平台)，以便他们可以更快地使用新模型。许多组织已经采用了应用程序编程接口(API)，使来自不同系统的数据能够接触到数据湖并迅速将洞察直接集成到前端的应用程序中。如今，随着各大公司纷纷开始研究由冠状病毒(COVID-19)大流行所引起的前所未有的人道主义危机并为下一次正常运转做准备，它们对灵活性和速度的需求只会增加而不会减少。

（编辑：南昌站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!