[英]Extracting BigQuery data to R for preprocessing and analysis
我在bigquery中有一个大数据集，并在bigquery中编写SQL查询。 它产生快速的结果。 虽然我想使用R / python进行数据预处理。 我大约。 我的表和R中的200M条记录非常慢。
因此，考虑到数据量，我应该使用bigquery查询还是还有另一种使用R / python的方法，该方法也很快。 或者Google提供了一些可用于创建数据摘要的产品，从而避免了SQL查询。
通常，BigQuery是快速处理大量数据的最佳解决方案。 但是，如果要避免SQL查询，则可能要考虑通过Dataflow管道或使用Dataprep预处理数据（不过请注意，后者处于beta中）。
就像Lefteris之前提到的那样，BigQuery可能是扩展性最好的解决方案。
如果您仍想与R集成，是否已查看bigrquery ？
使用Python（或R）将文本数据提取到有意义的表中进行分析
[英]Extracting text data into a meaningful table for analysis using Python (or R)
TypeError：字符串索引必须是整数（用于情感分析的CSV文件中的文本数据预处理）
[英]TypeError: string indices must be integers (Text Data Preprocessing in CSV files for Sentiment Analysis)
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
