根据列中的一个将输入文件分成多个文件

Question

我有一个分号分隔的输入文件，其中第一列是3字符固定宽度代码，而其余列是一些字符串数据。

001;first_data_str;second_data_str;third_data_str;fourth_data_str
001;first_data_str;second_data_str;third_data_str;fourth_data_str
002;first_data_str;second_data_str;third_data_str;fourth_data_str
003;first_data_str;second_data_str;third_data_str;fourth_data_str
001;first_data_str;second_data_str;third_data_str;fourth_data_str
003;first_data_str;second_data_str;third_data_str;fourth_data_str
001;first_data_str;second_data_str;third_data_str;fourth_data_str
002;first_data_str;second_data_str;third_data_str;fourth_data_str
002;first_data_str;second_data_str;third_data_str;fourth_data_str
003;first_data_str;second_data_str;third_data_str;fourth_data_str
003;first_data_str;second_data_str;third_data_str;fourth_data_str
003;first_data_str;second_data_str;third_data_str;fourth_data_str
002;first_data_str;second_data_str;third_data_str;fourth_data_str
001;first_data_str;second_data_str;third_data_str;fourth_data_str

我想根据第一列的不同值将上面的文件划分为多个文件。

例如，在上面的示例中，第一列中有三个不同的值，因此我将文件分成三个文件即。 001.txt，002.txt，003.txt

输出文件应包含项目计数作为第一行，数据作为剩余行。

所以有5 001行，所以001.txt将是：

5
first_data_str;second_data_str;third_data_str;fourth_data_str
first_data_str;second_data_str;third_data_str;fourth_data_str
first_data_str;second_data_str;third_data_str;fourth_data_str
first_data_str;second_data_str;third_data_str;fourth_data_str
first_data_str;second_data_str;third_data_str;fourth_data_str

类似地，002文件将第一行作为4然后4行数据和003文件将第一行作为5行，然后是5行数据。

考虑到超过100,000行的超大输入文件，最有效的方法是什么？

我写了下面的代码来读取文件中的行：

try{
          FileInputStream fstream = new FileInputStream(this.inputFilePath);
          DataInputStream in = new DataInputStream(fstream);
          BufferedReader br = new BufferedReader(new InputStreamReader(in));
          String strLine;

          while ((strLine = br.readLine()) != null)   {
              String[] tokens = strLine.split(";");
         }

          in.close();
    }catch(IOException e){
        e.printStackTrace();
    }

Answer 1

• 对于每一行
• 提取块名称，例如001
• 查找名为“001-tmp.txt”的文件
• 如果存在，则读取第一行 - 它将给出行数，然后递增该值并使用带参数0的搜索函数写入同一文件，然后使用writeUTF覆盖该字符串。 也许这里必须应用一些字符串长度计算，例如留下10个空格的占位符。
• 如果一个不存在，则创建一个并将1写为第一行，填充10个空格
• 将当前行附加到文件
• 关闭当前文件
• 继续下一行源文件

Answer 2

想到的解决方案之一是保持“地图”并且只打开一次文件。 但是你无法做到这一点，因为你有大约1个lac行，所以没有OS会允许你那么多打开文件描述符。

因此，其中一种方法是以追加模式打开文件并继续写入并关闭它。 但由于大量文件打开了近距离通话，这个过程可能会放慢速度。 你可以为自己测试它。

如果以上结果不能提供令人满意的结果，您可以尝试混合使用方法1和方法2，其中您只能在任何时间打开100个打开的文件，只有在尚未打开的新文件需要写入时才关闭文件....

Answer 3

对于每个三个字符的代码，您将获得一个输入行列表。 对我来说，显而易见的解决方案是使用Map ，其中String键（您的三个字符代码）指向包含所有行的相应List 。

对于每个键，您将创建一个具有相关名称的文件，第一行将是列表的大小，然后您将迭代它以写入剩余的行。

Answer 4

我猜你没有固定三个文件所以我建议你创建一个作家地图，你的三个字符代码作为键，作者作为值。

对于您阅读的每一行，您可以选择或创建所需的阅读器并将行写入。 您还需要第二个映射来维护所有文件的行计数值。

完成阅读源文件后，刷新并关闭所有编写器并再次逐个读取文件。 这次您只需在文件前添加行数。 除了根据我的知识重写整个文件之外别无他法，因为它不能直接在文件的开头添加任何内容而不需要缓冲和重写整个文件。 我建议你使用一个临时文件。

此答案仅适用于文件太大而无法完全存储在内存中的情况。 如果可以存储，可以有更快的解决方案。 就像在将文件内容写入文件之前将其完全存储在StringBuffer对象中一样。

Answer 5

首先，创建HashMap<String, ArrayList<String>> map以收集文件中的所有数据。 其次，使用strLine.split(";",2)而不是strLine.split(";") 。 结果将是长度为2的数组，第一个元素是代码，第二个元素是数据。 然后，将解码后的字符串添加到地图中：

ArrayList<String> list=map.get(tokens[0]);
if (list==null) {
   map.put(tokens[0], list=new ArrayList<String>();
}
list.add(tokens[1]);

最后，扫描map.keySet()并为每个键创建一个名为该键的文件，并将列表的大小和列表的内容写入其中。