Octave / Matlab：确定非常大的矩阵中的唯一行

Question

我在Octave中有一个13146 x 13146矩阵，我想确定它的唯一行。 由于Octave内部和/或内存限制unique(M, "rows")失败。

我查看了其他有关查找唯一行的帖子，但没有一个用大型矩阵解决了这个问题。

我现在的方法是“分而治之”，例如通过

A(:,:,i)=M(r_i:s_i,:)
B(:,:,i)=unique(A(:,:,i), "rows")

i是子矩阵的索引， r_i和s_i是子矩阵的起始和结束行号。 要将所有数据返回到一个大矩阵（并再次确定唯一行）：

C(:,:,i)=B(:,:,i)'
D=reshape(C,l,n*m)
E=D'
F=unique(E, "rows")

n是子矩阵的数量， m是子矩阵中的原始行数， l是列数。

有没有更好的方法来达到预期的效果？

Answer 1

基数排序吧！

听起来你需要一个内存有效的排序算法。 通过首先对行进行排序，然后检查相邻行是否有重复项，可以找到唯一的行。 您可以为此调整基数排序，按顺序对每列进行排序（而不是按顺序排列每个数字）。 这将是排序一列而不是整个矩阵的峰值内存成本。 然后逐步执行排序结果中的行并消除重复项。 这是一个O(n)操作，只需要足够的内存来容纳两行。

它也可以“稳定”。 如果在排序过程中除了重新排列的行值之外还跟踪重新排列的行索引，则可以计算输入 - 输出映射索引。 （这些是I在Matlab自己的[B,I] = sort(A)的签名中。）这反过来将允许您将重复后删除行重新排列回输入中的原始顺序，所以你可以保留他们的订单。 （就像Matlab的unique()的setOrder='stable'选项一样。）它们也可以用来计算整体唯一性操作的输入输出映射索引，这样你就可以重现unique()的完整多输出签名，这可能非常有用。

示例代码

这是一个基本的示例实现。 我没有彻底测试过，所以如果不进行自己的测试，请不要在生产中使用它。

function A = rrunique(A)
%RRUNIQUE "Radix Row Unique" - find unique rows using radix sort
%
% # Returns the distinct rows in A. Uses the memory-efficient radix sort
% # algorithm, so peak memory usage stays low(ish) for large matrices.

% # This uses a modified radix sort where only the row remapping indexes are
% # rearranged at each step, instead of sorting the whole input, to avoid
% # having to rewrite the large input matrix.

ix = 1:size(A,1); % # Final in-out mapping indexes

% # Radix sort the rows
for iCol = size(A,2):-1:1
    c = A(ix,iCol);
    [~,ixStep] = sort(c);
    % # Don't do this! too slow
    % # A = A(ixStep,:);
    % # Just reorder the mapping indexes
    ix = ix(ixStep);
end    

% # Now, reorder the big array all at once
A = A(ix,:);

% # Remove duplicates
tfKeep = true(size(A,1),1);
priorRow = A(1,:);
for iRow = 2:size(A,1)
    thisRow = A(iRow,:);
    if isequal(thisRow, priorRow)
        tfKeep(iRow) = false;
    else
        priorRow = thisRow;
    end
end
A = A(tfKeep,:);

end

当我在OS X上的Matlab R2014b上对你的大小的矩阵进行测试时，它在使用的内存大约为3 GB时达到峰值，而仅保留输入矩阵大约为1 GB。 不错。

>> m = rand([13146,13146]);
>> tic; rrunique(m); toc
Elapsed time is 17.435783 seconds.

Answer 2

您可以在列上使用滑动窗口，并使用不会导致内存问题的窗口大小。 这是一个解决方案

function A = winuninque(A, winSz)
nCol = size(A,2);
I = zeros(size(A,1), 0);
for k=1:winSz:nCol
    [~, ~, I] = unique([I A(:,k:min(k+winSz-1,end))], 'rows');
end
[~, I] = unique(I);
A = A(I, :);
end

基准

为了实际上有一些重复的行，最好生成一些重复的矩阵，否则它只是排序。 以下是不同方法之间的比较：

>> A=repmat(rand(13146,13146), 2, 1);
>> A=A(randperm(end), :);
>> A=A(1:end/2,:);

>> tic; B=rrunique(A); toc
Elapsed time is 13.318752 seconds.
>> tic; C=winunique(A, 16); toc
Elapsed time is 6.606122 seconds.
>> tic; D=unique(A, 'rows'); toc
Elapsed time is 29.815333 seconds.
>> isequal(B,C,D)
ans =
     1
>> size(D)
ans =
        9880       13146

Answer 3

这里的基本思想与Andrew's answer相同，只是后期的实现有点不同。 因此，我们对输入数组的行进行排序，使重复项彼此重叠。 然后，我们遍历查找重复项的行，这可以通过diff有效地完成。 从diff输出中，我们检测到all zeros行，它们代表那些重复的行。 我们在检测之外创建一个逻辑掩码，并使用此掩码从输入数组中提取有效行。 这是实现，这似乎是使用一半的内存而不是使用unique(...'rows') -

sM = sortrows(M);
out = sM([true ; any(diff(sM,[],1)~=0,2)],:);