從 Microsoft CSV 讀取大數據並寫入 AWS 中的 Microsoft Excel 的策略
[英]Strategies reading large data from Microsoft CSV and writing to Microsoft Excel in AWS
問題描述
請協助確定使用 Amazon AWS 產品進行提取、轉換和加載 (ETL) 工作流程的策略。 我是亞馬遜雲的新手。 我的用例是從 Microsoft CSV 文件中讀取數千行記錄。 我的意圖是將此文件寫入 Microsoft Excel 文檔。 我想將此 excel 文件以 object 的形式存儲在 S3 存儲桶中。 目前，我正在使用 AWS Lambda 進行此概念驗證。 我的問題是 /tmp 大小超過 512 MB，即使我在 lambda 規范中使用 select 6 GB RAM 大小。 我不做任何磁盤操作。 我在 RAM 中讀取了所有 S3 csv 文件內容一次，並在 RAM 中寫入 excel。
1 個解決方案
解決方案1
0 2021-03-15 09:59:46
您應該考慮使用 aws 膠水進行大容量數據轉換。 Lambda 可能不適合這項任務
使用Microsoft.Office.Interop.Excel從excel 2010讀取數據
[英]Reading data from excel 2010 using Microsoft.Office.Interop.Excel
將數據從Microsoft CRM SDK集合復制到CSV文件或Excel文件。 （數據轉儲）
[英]Copying Data from Microsoft CRM SDK collection to a CSV file or Excel File. (data-dump)
有沒有辦法將大量 excel 數據復制到 Microsoft SharePoint 在線列表中？
[英]Is there a way to copy a large volume of excel data into a Microsoft SharePoint online list?
如何將Microsoft ODC 文件/PowerQuery 從超過200 萬行數據的Excel 文件轉換為CSV 文件？
[英]How to convert Microsoft ODC file/PowerQuery from Excel file with over 2 million rows of data to a CSV file?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
從 Microsoft excel csv 文件復制范圍
使用Microsoft.Office.Interop.Excel從excel 2010讀取數據
將數據從Microsoft CRM SDK集合復制到CSV文件或Excel文件。 （數據轉儲）
有沒有辦法將大量 excel 數據復制到 Microsoft SharePoint 在線列表中？
CSV編碼問題（Microsoft Excel）
UTF-8和Microsoft Excel中的CSV
來自Microsoft Graph和Excel API的陳舊數據
Microsoft Excel VBA從網頁復制數據
如何將Microsoft ODC 文件/PowerQuery 從超過200 萬行數據的Excel 文件轉換為CSV 文件？
Microsoft Excel參考數據
相關標簽