在一次向數據庫中插入一百萬條記錄之前，我應該采取什么措施？

Question

我有一個 java 代碼，它解析網站的內容並將 html 表的每一行插入到我的 oracle 數據庫中。 網站有大約 70000 個我想要解析的頁面，每個頁面都有一個非常簡單的 URL 來循環，例如：

http://website.com/contents?id=1

因此，當我將 Id 更改為 2 時，它基本上會轉到下一頁。 每個頁面平均有 14-15 行 html 表格。

我還創建了一個日志（通過 java.util.logging.Logger）文件來查看插入是否有問題。

我一直嘗試到第 10 頁（大約 150 條記錄），它運行沒有問題，但還沒有嘗試 70000 頁（1.000.000 條記錄）。 我正在我的家用電腦和 oracle express 版本上執行此操作。 在嘗試一次性插入 1.000.000 條記錄之前，我應該考慮什么？

Answer 1

首先，Oracle XE 版本有大小限制。 如果插入超過該大小，您將無法添加行。

對於多個會話的大量插入，您可以增加表FREELISTS大小。 如果不需要REDO生成，則可以使用APPEND提示。

如果您的應用程序可以這樣做，您可以將數據導出到一個平面文件中，然后運行 ​​Sql*Loader 將所有數據一次導入到表中。 您可以以編程方式執行此操作。