Google Data Fusion Salesforce 到 Bigquery Pipeline，Salesforce 中模式更新的自动管理方式

Question

嘿，我正在尝试创建一些批处理作业，这些作业从几个 Salesforce 对象中读取并将它们推送到 BQ。 每次批处理运行时，它将截断 BQ 中的表并将 SF object 中的所有数据推回 BQ。 谷歌数据融合是否有可能自动检测 object 中 Salesforce 的变化（如添加新列或更改列的数据类型），然后通过谷歌数据融合注册并推送到 BQ？

Answer 1

对于难题的 SF 方面，您可以查看https://developer.salesforce.com/docs/atlas.en-us.api_rest.meta/api_rest/resources_describeGlobal.htm和If-Modified-Since header 告诉您是否定义表已更改。 url 适用于组织中的所有表，或者您运行特定于表的元数据描述调用https://developer.salesforce.com/docs/atlas.en-us.api_rest.meta/api_rest/resources_sobject_describe.htm

但我不能告诉你如何在你的工作中使用它。

Answer 2

您可以使用@eyescream 提供的答案作为更新 BigQuery 的condition或trigger 。 您可以使用来自 Datafusion 的预构建插件Stream Source方法将更改推送到 BigQuery，如本文档中所述，它

跟踪 Salesforce sObjects 中的更新。 sObjects 的示例有机会、联系人、客户、潜在客户、任何自定义 object 等。

您可以使用这种方法来自动跟踪更改并将它们推送到 BigQuery。 您还可以在本文档中找到完整的Salesforce Streaming Source配置参考，这也是从谷歌的官方文档重定向而来的。

但是，如果您希望针对整体用例采用更动态的方法，您还可以使用BigQuery 与 Salesforce 的集成。 但是，在这种方法中，您将需要构建自己的代码，您还可以在其中使用@eyescream 的答案作为主要条件/触发器，然后自动将更新推送到您的 BigQuery 模式。