[英]Extracting BigQuery data to R for preprocessing and analysis
我在bigquery中有一個大數據集，並在bigquery中編寫SQL查詢。 它產生快速的結果。 雖然我想使用R / python進行數據預處理。 我大約。 我的表和R中的200M條記錄非常慢。
因此，考慮到數據量，我應該使用bigquery查詢還是還有另一種使用R / python的方法，該方法也很快。 或者Google提供了一些可用於創建數據摘要的產品，從而避免了SQL查詢。
通常，BigQuery是快速處理大量數據的最佳解決方案。 但是，如果要避免SQL查詢，則可能要考慮通過Dataflow管道或使用Dataprep預處理數據（不過請注意，后者處於beta中）。
就像Lefteris之前提到的那樣，BigQuery可能是擴展性最好的解決方案。
如果您仍想與R集成，是否已查看bigrquery ？
使用Python（或R）將文本數據提取到有意義的表中進行分析
[英]Extracting text data into a meaningful table for analysis using Python (or R)
TypeError：字符串索引必須是整數（用於情感分析的CSV文件中的文本數據預處理）
[英]TypeError: string indices must be integers (Text Data Preprocessing in CSV files for Sentiment Analysis)
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
