数据对于构建机器学习模型、测试应用程序和绘制业务洞察力变得越来越重要。
然而，为了遵守许多数据法规，它通常被保管起来并受到严格保护。 访问此类数据可能需要数月时间才能获得必要的签字同意。 或者，企业可以使用合成数据。
什么是合成数据？
图片来源：Twinify
合成数据是人工生成的数据，在统计上类似于旧数据集。 它可以与真实数据一起使用以支持和改进 AI 模型，也可以完全用作替代品。
因为它不属于任何数据主体并且不包含个人身份信息或敏感数据（例如社会安全号码），所以它可以用作真实生产数据的隐私保护替代方案。
真实数据和合成数据之间的差异
- 最关键的区别在于两种类型的数据是如何生成的。 真实数据来自真实受试者，他们的数据是在调查期间或在他们使用您的应用程序时收集的。 另一方面，合成数据是人工生成的，但仍然类似于原始数据集。
- 第二个区别是影响真实数据和合成数据的数据保护法规。 有了真实的数据，受试者应该能够知道关于他们的哪些数据被收集以及为什么被收集，并且如何使用这些数据是有限制的。 但是，这些规定不再适用于合成数据，因为这些数据不能归因于某个主题并且不包含个人信息。
- 第三个区别在于可用数据的数量。 对于真实数据，您只能拥有用户给您的数据。 另一方面，您可以根据需要生成尽可能多的合成数据。
为什么你应该考虑使用合成数据
- 它的生产成本相对较低，因为您可以生成更大的数据集，类似于您已有的较小的数据集。 这意味着您的机器学习模型将有更多数据可供训练。
- 生成的数据会自动为您标记和清理。 这意味着您不必花时间完成为机器学习或分析准备数据的耗时工作。
- 不存在隐私问题，因为数据不属于个人身份，也不属于数据主体。 这意味着您可以自由使用和共享它。
- 你可以通过确保少数群体得到很好的代表来克服 AI 偏见。 这有助于您构建公平且负责任的 AI。
如何生成合成数据
虽然生成过程因您使用的工具而异，但通常，该过程从将生成器连接到现有数据集开始。 之后，您可以识别数据集中的个人识别字段，并将它们标记为排除或混淆。
然后生成器开始识别剩余列的数据类型和这些列中的统计模式。 从那时起，您可以根据需要生成尽可能多的合成数据。
通常，您可以将生成的数据与原始数据集进行比较，以查看合成数据与真实数据的相似程度。
现在，我们将探索合成数据生成工具来训练机器学习模型。
主要是人工智能
大多数情况下，AI 都有一个由 AI 驱动的合成数据生成器，可以从原始数据集的统计模式中学习。 然后，AI 会生成符合所学模式的虚构角色。
借助 Mostly AI，您可以生成具有参照完整性的整个数据库。 您可以综合各种数据来帮助您构建更好的 AI 模型。
综合.io
Synthesized.io 被领先的公司用于他们的 AI 计划。 要使用 synthesize.io，您需要在 YAML 配置文件中指定数据要求。
然后您创建一个作业并将其作为数据管道的一部分运行。 它还有一个非常慷慨的免费套餐，让您可以试验并查看它是否符合您的数据需求。
Y数据
使用 YData，您可以生成表格、时间序列、事务、多表和关系数据。 这使您可以避免与数据收集、共享和质量相关的问题。
它带有一个 AI 和 SDK，用于与他们的平台交互。 此外，他们还有一个慷慨的免费套餐，您可以使用它来演示产品。
格蕾特艾
Gretel AI 提供 API 来生成无限量的合成数据。 Gretel 有一个开源数据生成器，您可以安装和使用它。
或者，您可以使用他们的 REST API 或 CLI，这需要付费。 然而，他们的定价是合理的，并且与业务规模成比例。
系链
Copulas 是一个开源 Python 库，用于使用 copula 函数对多元分布进行建模并生成遵循相同统计属性的合成数据。
该项目于 2018 年在麻省理工学院启动，作为合成数据仓库项目的一部分。
CTGAN
CTGAN 由能够从单表真实数据中学习并从已识别模式生成合成数据的生成器组成。
它作为开源 Python 库实现。 CTGAN 和 Copulas 是合成数据库项目的一部分。
DoppelGANger
DoppelGANger 是生成对抗网络的开源实现，用于生成合成数据。
DoppelGANger 可用于生成时间序列数据，并被 Gretel AI 等公司使用。 Python 库是免费提供的，并且是开源的。
合成器
Synth 是一种开源数据生成器，可帮助您根据规范创建逼真的数据、隐藏个人身份信息以及为您的应用程序开发测试数据。
您可以使用 Synth 生成实时序列和关系数据以满足您的机器学习需求。 Synth 与数据库无关，因此您可以将它与 SQL 和 NoSQL 数据库一起使用。
SDV.dev
SDV 代表综合数据库。 SDV.dev 是一个软件项目，于 2016 年在麻省理工学院启动，并创建了用于生成合成数据的不同工具。
这些工具包括 Copulas、CTGAN、DeepEcho 和 RDT。 这些工具作为开源 Python 库实现，您可以轻松使用。
豆腐
Tofu 是一个开源 Python 库，用于根据英国生物样本库数据生成合成数据。 与之前提到的可以帮助您根据现有数据集生成任何类型的数据的工具不同，Tofu 生成的数据仅类似于生物银行的数据。
英国生物银行是对来自英国的 500,000 名中年成年人的表型和基因型特征的研究。
双化
Twinify 是一个软件包，用作库或命令行工具，通过生成具有相同统计分布的合成数据来孪生敏感数据。
要使用 Twinify，您需要将真实数据作为 CSV 文件提供，它会从数据中学习以生成可用于生成合成数据的模型。 它完全免费使用。
数据动态
Datanamic 帮助您为数据驱动和机器学习应用程序制作测试数据。 它根据电子邮件、姓名和电话号码等列特征生成数据。
Datanamic 数据生成器是可定制的，支持大多数数据库，例如 Oracle、MySQL、MySQL Server、MS Access 和 Postgres。 它支持并确保生成的数据中的引用完整性。
发电机
Benerator 是用于数据混淆、生成和迁移的软件，用于测试和培训目的。 使用 Benerator，您可以使用 XML（可扩展标记语言）描述数据并使用命令行工具生成数据。
它旨在供非开发人员使用，您可以使用它生成数十亿行数据。 Benerator 是免费和开源的。
最后的话
据 Gartner 估计，到 2030 年，用于机器学习的合成数据将超过真实数据。
考虑到使用真实数据的成本和隐私问题，不难看出原因。 因此，企业有必要了解合成数据以及帮助他们生成合成数据的不同工具。
接下来，查看适用于您的在线业务的综合监控工具。
