[英]Add unique values in an array as a value in concurrent map golang?
我正在迭代flatProduct.Catalogs
切片并在 golang 中填充我的productCatalog
并发map。 我正在使用 upsert 方法,以便我只能将唯一的productID's
添加到我的productCatalog
中。
这使用线性扫描来检查重复的产品 ID,但在我的例子中,我有超过 700k 的产品 ID,所以它对我来说非常慢。 我正在寻找提高效率的方法。
下面的代码由多个 goroutine 并行调用,这就是为什么我在这里使用并发 map 将数据填充到其中。
var productRows []ClientProduct
err = json.Unmarshal(byteSlice, &productRows)
if err != nil {
return err
}
for i := range productRows {
flatProduct, err := r.Convert(spn, productRows[i])
if err != nil {
return err
}
if flatProduct.StatusCode == definitions.DONE {
continue
}
r.products.Set(strconv.Itoa(flatProduct.ProductId, 10), flatProduct)
for _, catalogId := range flatProduct.Catalogs {
catalogValue := strconv.FormatInt(int64(catalogId), 10)
// how can I improve below Upsert code for `productCatalog` map so that it can runs faster for me?
r.productCatalog.Upsert(catalogValue, flatProduct.ProductId, func(exists bool, valueInMap interface{}, newValue interface{}) interface{} {
productID := newValue.(int64)
if valueInMap == nil {
return []int64{productID}
}
oldIDs := valueInMap.([]int64)
for _, id := range oldIDs {
if id == productID {
// Already exists, don't add duplicates.
return oldIDs
}
}
return append(oldIDs, productID)
})
}
}
上面的 upsert 代码对我来说非常慢,并且在我的并发 map 中添加唯一产品 ID 作为值需要花费很多时间。这里是productCatalog
的定义方式。
productCatalog *cmap.ConcurrentMap
这是我正在使用的upsert
方法 - https://github.com/orcaman/concurrent-map/blob/master/concurrent_map.go#L56
这就是我从这个 cmap 读取数据的方式:
catalogProductMap := clientRepo.GetProductCatalogMap()
productIds, ok := catalogProductMap.Get("200")
var data = productIds.([]int64)
for _, pid := range data {
...
}
upsert function 是 O(n**2) ,其中 n 是切片的长度。
您还提到的问题是遍历整个切片以查找重复项。 使用另一个 map 可以避免这种情况。
示例:
r.productCatalog.Upsert(catalogValue, flatProduct.ProductId, func(exists bool, valueInMap interface{}, newValue interface{}) interface{} {
productID := newValue.(int64)
if valueInMap == nil {
return map[int64]struct{}{productID: {}}
}
oldIDs := valueInMap.(map[int64]struct{})
// value is irrelevant, no need to check if key exists
oldIDs[productID] = struct{}{}
return oldIDs
})
嵌套 map 会增加大量分配,导致大量 memory 的使用,对吗?
不,使用空结构不会创建新的分配或增加 memory 的使用。 您可以找到很多关于空结构及其用法的文章/问题。 (例如,在 Go 中,什么使用了具有空结构的类型? )
注意:您可以对数组使用某种优化搜索,例如sort.Search使用的二进制搜索,但它需要排序数组。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.