在大數據集中查找最接近的向量C＃

Question

我有一個很大的向量數據集（幾百萬行）（即List <double []>），我需要找到與給定向量最接近的1000個向量。

顯而易見的解決方案是計算所有距離，然后對數組進行排序，但是我不確定這是否是考慮輸出數組大小的正確方法。

也許我應該在計算距離的過程中例行刪除最遠的向量，因此它將一直是一小組最近的向量，而不是最后的大數組。

另一方面，看起來我仍然可以處理這種大小的數組，而不會出現64位內存溢出錯誤。

解決這個問題的成本更低的方法是什么？

如果正確的方法是在計算時設置較小的集合，那么正確的方法是什么？

Answer 1

如果將數據集存儲在數據庫中，則大多數現代DBMS支持地理編碼和按距離搜索。