![](/img/trans.png)
[英]Data race with std::unordered_map, despite locking insertions with mutex
[英]std::unordered_map: multithreading insertions?
我有一堆數據(0和ULLONG_MAX之間的一個巨大的整數列表),我想提取所有唯一值。 我的方法是創建一個unordered_map,使用整數列表值作為鍵,並為地圖值使用一次性bool。 我迭代列表並為每個鍵插入一次性值。 最后,我迭代地圖以獲得所有唯一鍵。 挺直的。
但是,我的列表是如此之大(100億),我想多線程這個過程。 我知道一種天真的線程方法是行不通的,因為unordered_map插入會影響底層數據結構,所以它不是線程安全的。 並且在每次插入時添加鎖定將是緩慢的並且可能否定任何線程加速。
但是,大概不是每次插入都會改變數據結構(只有那些不適合現有分配的存儲桶?)。 有沒有辦法在插入之前檢查特定插入是否需要unordered_map重新分配? 這樣我只能在地圖變更時鎖定線程,而不是在每次插入時鎖定。 然后,在每次插入之前,線程僅檢查鎖是否存在...而不是完全鎖定/解鎖。 那可能嗎?
並行化的基本規則打破了工作,處理碎片,然后組合碎片。
散列/項目查找是整個shebang中最昂貴的部分,因此我們將專注於並行化。
如果您絕對需要將結果作為哈希表,我會收到一些壞消息:您必須自己編寫。 話雖這么說,讓我們開始吧。
首先,讓我們連續解決問題。 這很簡單。 以下函數采用向量和回調。 我們將獲取向量,將其轉換為unordered_set
,並將unordered_set
給回調。 簡單? 是。
現在,因為我們將在一個線程上執行此操作,所以我們無法立即執行此操作。 相反,我們將返回一個不帶參數的lambda。 當調用lambda時,就會創建unordered_set
並將其提供給回調。 這樣,我們可以將每個lambda賦予它自己的線程,並且每個線程將通過調用lambda來運行該作業。
template<class Vector, class Callback>
auto lazyGetUnique(Vector& vector, Callback callback) {
using Iterator = decltype(vector.begin());
auto begin = vector.begin();
auto end = vector.end();
using elem_t = typename std::iterator_traits<Iterator>::value_type;
//We capture begin, end, and callback
return [begin, end, callback]() {
callback(std::unordered_set<elem_t>(begin, end));
};
}
現在 - 這個回調應該做什么? 答案很簡單:回調應該將unordered_set
的內容分配給一個向量。 為什么? 因為我們要合並結果,合並向量比合並unordered_set
要快得多。
讓我們編寫一個函數來給我們回調:
template<class Vector>
auto assignTo(Vector& v) {
return [&](auto&& contents) {
v.assign(contents.begin(), contents.end());
};
}
假設我們想要獲取向量的唯一元素,並將它們分配回該向量。 現在這很簡單:
std::vector<int> v = /* stuff */;
auto new_thread = std::thread( lazyGetUnique(v, assignTo(v)) );
在此示例中,當new_thread
完成執行時, v
將僅包含唯一元素。
讓我們來看看完成所有功能的完整功能。
template<class Iterator>
auto getUnique(Iterator begin, Iterator end) {
using elem_t = typename std::iterator_traits<Iterator>::value_type;
std::vector<elem_t> blocks[4];
//Split things up into blocks based on the last 4 bits
//Of the number. This allows us to guarantee that no two blocks
//share numbers.
for(; begin != end; ++begin) {
auto val = *begin;
blocks[val & 0x3].push_back(val);
}
//Each thread will run their portion of the problem.
//Once it's found all unique elements, it'll stick the result in the block used as input
auto thread_0 = std::thread( lazyGetUnique(blocks[0], assignTo(blocks[0])) );
auto thread_1 = std::thread( lazyGetUnique(blocks[1], assignTo(blocks[1])) );
auto thread_2 = std::thread( lazyGetUnique(blocks[2], assignTo(blocks[2])) );
//We are thread_3, so we can just invoke it directly
lazyGetUnique(blocks[3], assignTo(blocks[3]))(); //Here, we invoke it immediately
//Join the other threads
thread_0.join();
thread_1.join();
thread_2.join();
std::vector<elem_t> result;
result.reserve(blocks[0].size() + blocks[1].size() + blocks[2].size() + blocks[3].size());
for(int i = 0; i < 4; ++i) {
result.insert(result.end(), blocks[i].begin(), blocks[i].end());
}
return result;
}
這個函數將東西分成4個塊,每個塊都是不相交的。 它在4個塊中的每個塊中找到唯一元素,然后組合結果。 輸出是一個向量。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.