如何將平面數據文件轉換為可查詢數據源
[英]How do I turn a flat file of data into a queryable data source
問題描述
我生成文件，讓我們調用.dwrf文件，其中包含大量數據。 目前我們將它們導出到.CSV，結果文件很大（2GB +）。 我想刪除導出過程並直接從Excel或其他應用程序查詢.dwrf文件的內容。
我想做的是寫一個實用程序/服務 - 讓我們稱之為dwrfMiner - 從文件中提取數據並將其作為數據源傳遞，並以某種方式將dwrfMiner鏈接到.dwrf文件，以便Excel將其識別為外部數據資源。
有任何想法嗎？
5 個解決方案
解決方案1
3 已采納 2010-08-10 22:11:47
雖然為此編寫ODBC驅動程序可能有點過分，但如果您正在使用的文件格式是事先知道的並且不太難以翻譯（聽起來好像不考慮您已經在創建CSV），那么使用ODBC DSN聽起來是你最好的選擇。
Windows中已經內置了很多ODBC驅動程序（.txt，.csv，.mdb，.xl *，。dbf，Paradox .db等等），你可以從網上獲取很多其他驅動程序。常見格式。
如果要導出的現有格式的大小過於繁重（CSV），則要啟動的邏輯點是將數據轉換為具有ODBC支持的更具空間意識的內容。
如果失敗了，你的最后一個選項就是overkill選項（編寫ODBC驅動程序）。
解決方案2
1 2010-08-10 15:42:13
Excel可以查詢外部數據源，但要注意Excel（所有版本）對每個工作簿可顯示的行數有硬性限制。 我認為在Excel 2003中的限制是~65k。 它在其他版本中更高。
請參閱我的問題： 大型數據集的報告工具/查看器 （我的數據遠小於2GB）。
解決方案3
0 2010-08-10 15:48:00
我過去使用PHP FlatFile DB來查詢平面文件
解決方案4
0 2010-08-10 17:13:00
我得出gcc並為自己寫一個完整的ODBC驅動程序。 然后你可以坐下來使用SQL。
你知道，如果你很無聊。 ;）
解決方案5
0 2010-08-10 17:16:08
使用odbc驅動程序與多線程
使用平面文件作為數據源的Microsoft Entity Framework
[英]Microsoft Entity Framework using a flat file as a data source
SQLite：如何將連接字符串的數據源設置為應用程序文件夾中的文件？
[英]SQLite: How do I set up the Data Source of a connection string to be a file within my application folder?
平面文件到XML單元測試>如果平面文件中的一個節點失敗，如何處理其余節點
[英]Flat file to XML Unit Test > How do I process remaining nodes if one fails within the flat file
如何將IDictionary對象的IList綁定到數據源的集合？
[英]How do I bind a IList of IDictionary objects to the collection of a data source?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.