从 Microsoft CSV 读取大数据并写入 AWS 中的 Microsoft Excel 的策略
[英]Strategies reading large data from Microsoft CSV and writing to Microsoft Excel in AWS
问题描述
请协助确定使用 Amazon AWS 产品进行提取、转换和加载 (ETL) 工作流程的策略。 我是亚马逊云的新手。 我的用例是从 Microsoft CSV 文件中读取数千行记录。 我的意图是将此文件写入 Microsoft Excel 文档。 我想将此 excel 文件以 object 的形式存储在 S3 存储桶中。 目前，我正在使用 AWS Lambda 进行此概念验证。 我的问题是 /tmp 大小超过 512 MB，即使我在 lambda 规范中使用 select 6 GB RAM 大小。 我不做任何磁盘操作。 我在 RAM 中读取了所有 S3 csv 文件内容一次，并在 RAM 中写入 excel。
1 个解决方案
解决方案1
0 2021-03-15 09:59:46
您应该考虑使用 aws 胶水进行大容量数据转换。 Lambda 可能不适合这项任务
使用Microsoft.Office.Interop.Excel从excel 2010读取数据
[英]Reading data from excel 2010 using Microsoft.Office.Interop.Excel
将数据从Microsoft CRM SDK集合复制到CSV文件或Excel文件。 （数据转储）
[英]Copying Data from Microsoft CRM SDK collection to a CSV file or Excel File. (data-dump)
有没有办法将大量 excel 数据复制到 Microsoft SharePoint 在线列表中？
[英]Is there a way to copy a large volume of excel data into a Microsoft SharePoint online list?
如何将Microsoft ODC 文件/PowerQuery 从超过200 万行数据的Excel 文件转换为CSV 文件？
[英]How to convert Microsoft ODC file/PowerQuery from Excel file with over 2 million rows of data to a CSV file?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
从 Microsoft excel csv 文件复制范围
使用Microsoft.Office.Interop.Excel从excel 2010读取数据
将数据从Microsoft CRM SDK集合复制到CSV文件或Excel文件。 （数据转储）
有没有办法将大量 excel 数据复制到 Microsoft SharePoint 在线列表中？
CSV编码问题（Microsoft Excel）
UTF-8和Microsoft Excel中的CSV
来自Microsoft Graph和Excel API的陈旧数据
Microsoft Excel VBA从网页复制数据
如何将Microsoft ODC 文件/PowerQuery 从超过200 万行数据的Excel 文件转换为CSV 文件？
Microsoft Excel参考数据
相关标签