数据湖是现代数据分析环境的重要组成部分。与将所有不同的数据源导入到一个数据仓库(为关系数据、非关系数据和其他数据构建导入管道的复杂任务，并试图根据您选择的键规范所有数据)不同，您将所有数据打包在一个存储环境中。在这个存储池之上，您可以开始使用新一代的查询工具来探索和分析这些数据，实时处理可能是pb级的数据。高德娱乐软件将变得更加智能，从而引导开发人员创建能够使智能显示器适应不同情况的软件。“这些高德娱乐设备将能够吸收环境并了解情况，例如，有人因为房间里有人或正在谈话而分心吗？他们是否全神贯注？他们甚至在看[设备]？视频是否应该因为视线而暂停？”

 

以这种方式使用数据，可以更容易地处理快速变化的数据，快速获得见解，并构建可以在问题出现时标记问题的报告环境。通过将数据包装在一个环境中，您可以利用常见的访问控制机制，应用基于角色的身份验证和授权，确保正确的人能够访问正确的数据，而不会将其泄漏给外部世界。我们正在与他们合作，将高德注册方案专门集成到5G商业策略中，并且他们依靠Cradlepoint帮助他们开拓高德注册商市场。

 

与Azure Data Lake进行大规模合作

 

使用Azure Active Directory和Azure Data Lake等工具，您可以显著降低入侵风险，因为它会侵入微软安全图谱，快速识别常见的攻击模式。报告发现，到2020年，高德娱乐注册攻击者将同时针对消费者和企业IoT设备进行勒索。这意味着高德娱乐注册网络罪犯可能试图利用常规客户和设备制造商。

 

一旦你的数据存储在Auzre data Lake中，你就可以开始使用Azure Databricks、开源HDInsight或Azure的Synapse analytics等工具来运行你所选择的分析工具。在云环境中工作很有意义，因为您可以利用大规模Azure VM实例构建内存模型，也可以利用可扩展存储为数据湖内容构建弹性存储池。

 

微软最近发布了第二代数据湖存储，基于Azure Blobs添加了灾难恢复和分级存储，帮助您管理和优化存储成本。Azure数据湖存储设计用于处理千兆的数据吞吐量。分层命名空间使用目录管理数据，使数据处理更容易。由于您仍然使用包含许多不同类型数据的数据湖，因此仍然不需要昂贵且缓慢的基于etl的转换。

 

在Azure Synapse中分析数据

 

通常，对于不同类型的数据，需要单独的分析工具。如果您正在构建与您自己的数据湖一起工作的工具，那么您通常会将数据仓库应用程序与大数据工具结合在一起，导致复杂且常常令人费解的查询管道，很难记录和调试。由于脆弱的定制分析环境，底层数据模型中的任何更改都可能是灾难性的。

 

Azure现在以Azure Synapse Analytics的形式提供了另一种混合分析环境，它通过将SQL与Apache Spark混合，并提供与Azure数据服务和Power平台的直接连接，将大数据工具和关系查询整合到一个单一环境中。这是一种组合，允许你在全球范围内工作，同时仍然支持终端用户的可视化和报告，同时提供一个支持机器学习技术的平台，以增加对预测分析的支持。

 

从本质上讲，Synapse消除了标准SQL查询和大数据平台之间的常见障碍，使用通用元数据在相同的数据集上使用自己的SQL方言和Apache Spark，无论是关系表还是其他存储，包括CSV和JSON。它有自己的导入工具，可以将数据导入数据湖，也可以从数据湖导入数据湖，还有一个基于web的开发环境，用于构建和探索直接从数据转换为可视化的分析模型。

 

Synapse创建数据湖作为其设置的一部分，默认情况下使用第二代基于blob的实例。它在一个分层虚拟文件系统中托管你的数据容器。一旦数据湖和相关的Synapse工作区就绪，您就可以使用Azure门户来打开Synapse Studio基于web的开发环境。

 

在Synapse Studio中构建分析查询

 

Synapse Studio是Azure Synapse Analytics的核心，数据工程师在将模型部署到生产环境之前可以在这里构建和测试模型。SQL池管理到数据的连接，使用无服务器连接或专用连接。在开发模型时，最好使用内置的无服务器池;一旦准备就绪，您就可以提供一个专用的SQL资源池，可以根据需要放大或缩小这个池。然而，重要的是要记住，你是在为这些资源付费，即使它们没有被使用。您还可以为Apache Spark设置无服务器池，帮助将混合查询的成本降至最低。在启动无服务器的实例时会有一些开销，但对于以批处理方式构建报告来说，这应该不是问题。