使用Java流的MinMaxPriorityQueue

Question

我正在尋找一種內存有效的Java方法來從巨大的集合中找到前n個元素。 例如，我有一個單詞，distance（）方法和“all”單詞的集合。 我已經實現了一個實現compareTo（）的類Pair，以便按對它們的值進行排序。

使用流，我的天真解決方案看起來像這樣：

double distance(String word1, String word2){
  ...
}

Collection<String> words = ...;
String word = "...";

words.stream()
  .map(w -> new Pair<String, Double>(w, distance(word, w)))
  .sorted()
  .limit(n);

據我所知，這將處理並中間存儲每個元素的單詞，以便在應用limit（）之前對其進行排序。 但是，擁有一個存儲n個元素的集合更加節省內存，每當添加一個新元素時，它會刪除最小的元素（根據可比對象的自然順序），因此永遠不會大於n（或n + 1） ）。

這正是Guava MinMaxPriorityQueue所做的。 因此，我目前對上述問題的最佳解決方案是：

Queue<Pair<String, Double>> neighbours = MinMaxPriorityQueue.maximumSize(n).create();
words.stream()
  .forEach(w -> neighbours.add(new Pair<String, Double>(w, distance(word, w)));

在將隊列轉換為流或列表之后，仍然需要對前n個元素進行排序，但這不是問題，因為n相對較小。

我的問題是：有沒有辦法使用流做同樣的事情？

Answer 1

基於堆的結構當然比排序整個龐大的列表更有效。 幸運的是，流媒體庫非常樂意讓您在必要時使用專門的集合：

MinMaxPriorityQueue<Pair<String, Double>> topN = words.stream()
    .map(w -> new Pair<String, Double>(w, distance(word, w)))
    .collect(toCollection(
            () -> MinMaxPriorityQueue.maximumSize(n).create()
    ));

這比.forEach解決方案更好，因為它很容易並行化，而且更加慣用java8。

注意() -> MinMaxPriorityQueue.maximumSize(n).create()應該可以用MinMaxPriorityQueue.maximumSize(n)::create替換，但由於某種原因，在某些情況下不能編譯（參見下面的注釋） ）。