如何在Chapel中附加稀疏域

Question

我在Chapel中填充一个稀疏数组，其循环正在读取CSV。

我想知道最好的模式是什么。

var dnsDom = {1..n_dims, 1..n_dims};
var spsDom: sparse subdomain(dnsDom);
for line in file_reader.lines() {
   var i = line[1]:int;
   var j = line[2]:int;
   spsDom += (i,j);
}

这是一种有效的方法吗？
我应该创建一个临时的元组数组，并每隔（比方说）10,000行附加spsDom吗？

谢谢！

Answer 1

您在代码段中显示的方式将在每次+=操作时展开稀疏域的内部数组。 如你所说; 以某种方式缓冲读取索引，然后批量添加它们肯定会更好，因为添加索引数组的几个优化。

您可以类似地执行+= ，其中右侧是数组：

spsDom += arrayOfIndices;

稀疏域上的+=运算符的这种重载实际上是调用主要的批量添加方法bulkAdd 。 该方法本身有几个标志，可以帮助您在某些情况下获得更多的性能。 请注意， += overload会以“最安全”的方式调用bulkAdd方法。 即索引数组可以是随机顺序，可以包括重复等。如果你有数组（在你的情况下你从文件中读取的索引）满足一些要求（它们是否有序？是否有重复？你需要保留输入吗？ array？），你可以直接使用bulkAdd并传递几个优化标志。

有关bulkAdd的文档，请参见http://chapel.cray.com/docs/latest/builtins/internal/ChapelArray.html#ChapelArray.bulkAdd 。

编辑：在相关问题之上构建的代码段：

var dnsDom = {1..n_dims, 1..n_dims};
var spsDom: sparse subdomain(dnsDom);

//create an index buffer
config const indexBufferSize = 100;
var indexBufferDom: {0..#indexBufferSize};
var indexBuffer: [indexBufferDom] 2*int;

var count = 0;
for line in file_reader.lines() {

  indexBuffer[count] = (line[1]:int, line[2]:int);
  count += 1;

  // bulk add indices if the buffer is full
  if count == indexBufferSize {
    spsDom.bulkAdd(indexBuffer, dataSorted=true,
                                preserveInds=false,
                                isUnique=true);
    count = 0;
  }
}

// dump the final buffer that is (most likely) partially filled
spsDom.bulkAdd(indexBuffer[0..#count],  dataSorted=true,
                                        preserveInds=false,
                                        isUnique=true);

我没有测试过，但我认为这应该捕获基本的想法。传递给bulkAdd的标志应该会产生最佳性能。 当然，这取决于正在排序的输入缓冲区并且没有任何重复。 另外，请注意，与连续的bulkAdd相比，初始bulkAdd会快得多。 并且它们可能会变慢，因为该方法需要筛选现有的索引并在必要时进行转换。 因此更大的缓冲区可以提供更好的性能。