CKAN教程之将 Snowflake 连接到 CKAN 以发布到开放数据门户

加利福尼亚州利用 CKAN 数据管理产品在加利福尼亚开放数据门户上为加利福尼亚公民提供来自政府部门的大量数据集。这些数据集是公开的，任何人都可以下载。当前状态详细说明了 State 如何通过 python 应用程序提取和加载数据。这个小型应用程序需要一个 Azure 虚拟机实例，该实例需要定期在线或手动打开才能提取和加载。这需要对他们希望避免的小型应用程序进行维护。在本文中，我详细介绍了如何使用外部函数将数据集从 Snowflake 直接推送到 CKAN。

当前状态

当前状态需要基础架构团队必须监控的托管服务器。为了避免与这个小型服务器相关的一些工作，团队有兴趣在 OpenGov 管理的 CKAN 服务器上建立一个更加原生的 Snowflake 连接。已部署的 python 代码定期运行，并由 Windows 操作系统任务触发。

python 代码每天检查一次更新并将数据上传到 CKAN。为此，python 代码从 Snowflake 中提取数据并将其作为 csv 放到本地文件系统中。然后一个字节流将数据推送到 CKAN。这意味着我们在 Snowflake 中有一个文件副本，在 python 服务器上有一个临时数据副本，在 CKAN 中有一个数据副本。流程中的每一步都在物理上移动数据。

未来状态

我们希望建立一个管道，尽可能多地从等式中移除基础设施。因此，我们将利用 Snowflake 作为我们的事实来源，并以某种直接的方式与 OpenGov 联系。作为外部