在企业中，即使您工作时间不长，也可能需要有效收集来自各种分析和洞察的数据。
数据分析对许多组织的收入增长和成本控制有着显著的影响。 随着数据量和类型的爆炸式增长，您可能会对需要生成和分析的数据量之大感到惊讶。
这种爆炸式增长推动数据驱动型公司采用可靠、可扩展且安全的解决方案来分析和管理数据。 传统数据库已无法满足系统的要求，因此云技术应运而生。
随着现代云技术的进步，许多关键业务应用程序，例如企业资源规划 (ERP) 系统、数据库和营销工具，都已迁移到云端。 虽然业务数据驻留在云中，但公司需要一种解决方案来无缝存储来自不同云应用程序的所有数据。 云数据仓库就是为此而生的。
本文将帮助您了解云数据仓库，并列出一些最佳选择。 最后，本文将解释如何为您的组织选择最合适的云数据仓库。
云数据仓库简史
与任何技术领域一样，为了真正理解云数据仓库，您必须了解它的起源。 这个原则适用于理解云数据仓库的运作模式。
据 Education Ecosystem 称，数据仓库最早出现在 20 世纪 80 年代，旨在帮助数据从操作系统流向决策支持系统 (DSS)。 早期的版本需要大量冗余，许多组织必须拥有多个 DSS 环境来为多个用户提供服务。 这些 DSS 环境使用相同的数据，然而，收集、清理和整合过程经常被重复。
随着数据仓库效率的提高，它们从支持信息的传统商业智能 (BI) 平台演变为支持性能管理和性能分析等各种应用程序的广泛分析架构。
多年来，通过提供实时数据访问和机器学习洞察力的最新数据驱动仓库 (EWD)，在为企业提供增量价值方面取得了显著进展。 但这超出了本文的讨论范围。
什么是云数据仓库
如果您希望在业务基础设施中实现智能化，数据仓库将是您架构的核心。 与普通数据库不同，数据仓库旨在为海量数据集提供优化的分析查询。 数据库通常是事务处理系统。
云数据仓库需要一个数据库作为公共云中的托管服务提供，并且可以针对可扩展的 BI 和分析进行优化。 您也可以将其视为当前和过去信息的集合。
虽然有很多云数据仓库可供选择，但每个仓库都有其独特的服务风格。 但是，您希望所有这些平台都具备一些共同的特点：数据存储和管理、自动软件升级以及可无缝扩展或缩减数据占用空间的灵活容量管理。
主要特点
- 大规模并行处理 (MPP) – 此功能存在于支持大数据项目的云数据仓库中，以在处理大量数据时利用高性能查询。 MPP 包含多个并行运行的服务器，以分配处理、输入和输出负载。
- 列式数据存储——此功能在处理分析时具有经济灵活性。 列式数据将过程数据存储在列而不是行中，这使得在像报告中那样进行聚合查询时速度更快。
优势
云数据仓库证明了它们在每个现代企业中进行分析和业务洞察的必要性，从而改善运营并提升客户服务，为您的企业带来竞争优势。 以下是使用云数据仓库的一些优势。
云数据仓库供应商
现在您已经了解了云数据仓库的工作原理，您可以根据自己的需求选择合适的仓库。 虽然此处列出的这些仓库没有按任何特定顺序排列，但我们将从那些具有最佳技术专长的人开始介绍。
谷歌 BigQuery
BigQuery 由 Google 开发，是一个完全托管的无服务器数据仓库，可以自动扩展以满足您的存储和计算需求。 与其他 Google 产品一样，它不仅具有成本效益，还提供强大的分析功能。 它也很可靠，并提供了各种商业智能工具，您可以使用这些工具来收集见解并做出准确的预测。 BigQuery 基于列式存储，适用于跨海量数据集的复杂聚合。
Google 不希望您管理您的仓库基础设施，因此 BigQuery 隐藏了底层硬件、节点、数据库和配置细节。 如果您想快速上手，则需要使用 Google Cloud Platform (GCP) 创建一个帐户，加载一个表并运行查询。
您还可以使用 BigQuery 的列式和 ANSI SQL 数据库来快速分析 PB 级数据。 它的功能扩展到足以使用 SQL 和 BigQuery GIS 进行空间分析。 此外，您还可以使用简单的 SQL 和 BigQuery ML 在半规模或大规模结构化数据上快速创建和运行机器学习 (ML) 模型。 此外，还可以享受使用 BigQuery BI 引擎的实时交互式仪表板。
要充分利用 BigQuery 的数据分析功能，您必须精通 SQL，就像其他数据仓库一样。 它也具有成本效益。 但价格取决于代码质量（您为处理速度和存储付费），因此您必须优化查询以抵消提取数据时的高成本。
BigQuery 基于其分离的计算和存储层处理繁重的计算操作，因此适合将可用性优先于一致性的组织。
亚马逊 Redshift
Amazon Redshift 于 2021 年 11 月推出，作为一个完全托管的云数据仓库，可以处理 PB 级数据。 虽然它不是第一个云数据仓库，但在大规模采用后，它的市场份额迅速增长。 Redshift 使用基于 PostgreSQL 的 SQL 方言，在全球范围内被许多分析师所熟知，其架构类似于本地数据仓库。
不利的一面是，Redshift 不同于此列表中的其他解决方案。 它的计算层和存储层并非完全分离。 如果您执行许多写操作，此架构会显著影响分析查询的性能。 因此，您需要一名内部员工通过持续维护和更新来更新系统。
如果您正在寻找出色的行级一致性，就像在银行业中使用的那样，Redshift 是一个不错的选择。 但是，如果您的组织需要同时执行写入和处理操作，则它可能不是最佳选择。
Snowflake
Snowflake 云数据仓库是其中之一； 它完全托管并在 AWS、GCP 和 Azure 上运行，这与此处介绍的在其云上运行的其他仓库不同。 Snowflake 易于使用，并以其先进的转换能力、执行快速查询、利用高安全性以及根据您的需求自动扩展而闻名。
Snowflake 灵活的代码库允许您运行全球数据复制活动，例如将数据存储在任何云中，而无需重新编码或学习新技能。
Snowflake 不使用 Python 或 R 编程语言，因此适合所有级别的数据分析师。 它还以其对半结构化数据的安全和压缩存储而闻名。 除此之外，它还允许您根据需要旋转多个虚拟仓库，同时并行化和隔离各个查询以提高其性能。 您可以使用 Web 浏览器、命令行、分析平台和其他支持的驱动程序与 Snowflake 交互。
尽管 Snowflake 因其运行其他解决方案无法实现的查询的能力而受到青睐，但它确实没有提供最好的仪表板创建功能； 您需要编写自定义函数和例程。
Snowflake 在不需要执行大量写入和处理操作或不需要跨大数据量的一致性的中型公司中很受欢迎。
Azure SQL 数据库
该产品是一种托管数据库即服务，作为云计算平台 Microsoft Azure 的一部分提供。 如果您的组织使用 Microsoft 的业务工具，这可能是您的自然选择。
Azure SQL 数据库以基于云的托管而著称，具有从创建 SQL 服务器到配置数据库的交互式用户体验。 它还因其易于使用的界面和许多用于操作数据的功能而广受欢迎。 此外，它还具有可扩展性，可以降低成本并优化低使用率时的性能。
不利的一面是，它不是为处理大量数据而设计的。 它适用于联机事务处理 (OLTP) 工作负载并处理大量商城读写流程。
如果您的业务处理简单查询和小数据负载，那么此工具将是您的理想选择。 但是，如果您的企业需要强大的分析能力，这并不是最好的选择。
Azure Synapse
Azure 平台的这一部分面向分析，并结合了多种服务，如数据集成、数据仓库和大数据分析。 虽然它看起来类似于 Azure SQL 数据库，但它们是不同的。
Azure Synapse 分析基于其分布式计算，可以针对大型数据表进行扩展。 它依赖于 MPP（开头提到过，如果您不记得了，请回顾一下）来快速跨多个节点运行大量复杂查询。 Synapse 特别强调安全和隐私。
尽管它是已经在使用 Microsoft 工具的企业的标准选择，但很难与其他公司的数据仓库以外的产品集成。 该服务在不断更新时偶尔会出现问题。
Azure Synapse 专为在线分析处理而设计，因此是实时处理大型数据集的最佳选择。 如果你的仓库数据比 1 TB 更重要，你可以考虑使用 Azure Synapse 而不是 SQL
Firebolt
虽然它还是这个领域的新手，Firebolt 声称是下一代仓库，其性能比基于 SQL 的系统快 182 倍。 Firebolt 速度很快，因为它使用了新的数据解析和压缩技术。
在查询期间，它使用索引访问小数据范围，这与使用整个分区和段的其他数据仓库不同，从而释放了网络带宽。 它具有可扩展性，可以以惊人的速度查询大型数据集。
尽管它是市场上的新产品，但它并未与业务平台和智能工具的整个生态系统（范围广泛）集成。 但是，使用特定的提取、转换和加载 (ETL) 工具将数据传入和传出仓库可以轻松解决该问题。
Firebolt 的存储和计算能力是分离的，对于大大小小的机构来说都是经济的。 尽管需要经验丰富的内部数据分析师，但它最适合需要快速分析的企业。
选择合适的云数据仓库
如果您需要一个云数据仓库并且想要一个好的，请考虑您组织的规模以及您管理数据的方式。 如果您拥有一个管理小数据量的小型组织，并且很少或没有人力资源来处理数据分析部门，例如某些电子商务网站，您会希望选择易于使用且具有成本效益的数据中心，以提供良好的性能。
另一方面，如果您经营一家需要一组特定数据需求的大型组织，您必然会面临权衡。 根据 CAP 定理对权衡进行了详细描述，该定理指出任何分布式数据都保证安全性、可用性和分区容错性（意味着防止故障）。在大多数情况下，每个组织都需要部分容错性，从而在一致性和可用性之间进行权衡。
您现在可以查看最可靠的数据集成工具。