用單獨的浮點值替換出現在 Pandas 數據框中的每個字符串值

Question

我有一個看起來像這樣的熊貓數據框：

輸入數據框：

   A    B   C 
0   m   h   c 
1   l   c   m 
2   h   m   l 
3   c   l   h 
4   m   c   m

我想用給定范圍內的浮點數替換每個l、m、h 和 c值的每次出現。 每個字符串的值范圍如下：

范圍：

l: 0.0  - 0.25
m: 0.25 - 0.5
h: 0.5  - 0.75
c: 0.75 - 1.0

每次出現都應在給定范圍內有一個值，但不應重復。 轉換后的示例輸出數據幀應如下所示：

輸出數據幀：

       A       B      C
 0  0.31    0.51    0.76
 1  0.12    0.56    0.28
 2  0.61    0.35    0.21
 3  0.8     0.16    0.71
 4  0.46    0.72    0.37

我嘗試了一種使用transform方法。 但它不能完全工作，因為值在列中重復：

def _foo(col):
    w = {'l': np.random.uniform(0.0,0.25),
            'm':np.random.uniform(0.25,0.5),
            'h': np.random.uniform(0.5,0.75), 
            'c':np.random.uniform(0.75,1.0)}
    col = col.replace(w)
    return col

df = df.transform(_foo)

如果我使用apply方法，那么也會發生同樣的問題，並且沿行重復值。 它也沒有很好的性能，因為實際的數據幀有 50-60000 行。 所以apply會運行很多次。

def _bar(row):
        w = {'l': np.random.uniform(0.0,0.25),
                'm':np.random.uniform(0.25,0.5),
                'h': np.random.uniform(0.5,0.75), 
                'c':np.random.uniform(0.75,1.0)}
        row= row.replace(w)
        return row
    
 df = df.apply(_bar, axis=1)

關於如何在熊貓中有效地做到這一點的任何建議？

Answer 1

這是一種針對性能的矢量化方法：

def map_by_val(df, l):
    # dictionary to map dataframe values to index
    d = {j:i for i,j in enumerate(l)}
    # replace using dictionary
    a = df.replace(d).to_numpy()
    # since the ranges are a sequence, we can create a 
    # linspace, and divide in 10 bins each range
    rep = np.linspace(0.0, 1.0, 40).reshape(4,-1)
    # random integer indexing in each rows
    ix = np.random.randint(0,rep.shape[1],a.shape)
    # advanced indexing of the array using random integers per row
    out = rep[a.ravel(), ix.ravel()].reshape(a.shape).round(2)
    return pd.DataFrame(out)

---

l = ['l','m','h','c']
map_by_val(df, l)

      0     1     2
0  0.49  0.74  0.87
1  0.23  0.90  0.49
2  0.67  0.49  0.18
3  0.79  0.21  0.56
4  0.46  0.87  0.36

---

基准

不幸的是，對象dtype限制了矢量化方法的性能，因為最初DataFrame.replace以使用字典映射值。 這個答案和stack+groupby答案的表現非常相似：

l = ['l','m','h','c']

ranges = {'l': (0,0.25),
          'm': (0.25, 0.5),
          'h': (0.5,0.75),
          'c':(0.75,1)}

def get_rand(x):
    lower, upper = ranges[x.iloc[0]]
    return np.random.uniform(lower, upper, len(x))

def stack_groupby(df):
    s = df.stack()
    return s.groupby(s).transform(get_rand).unstack()

plt.figure(figsize=(12,6))

perfplot.show(
    setup=lambda n: pd.concat([df]*n, axis=0).reset_index(drop=True), 

    kernels=[
        lambda s: s.applymap(lambda x : np.random.uniform(*ranges[x],1)[0]),
        lambda s: map_by_val(s, l),
        lambda s: stack_groupby(s)
    ],

    labels=['applymap', 'map_by_val', 'stack_groupby'],
    n_range=[2**k for k in range(0, 17)],
    xlabel='N',
    equality_check=None
)

Answer 2

咱們試試吧：

s = df.stack()

ranges = {'l': (0,0.25),
          'm': (0.25, 0.5),
          'h': (0.5,0.75),
          'c':(0.75,1)}

def get_rand(x):
    lower, upper = ranges[x.iloc[0]]
    return np.random.uniform(lower, upper, len(x))


s.groupby(s).transform(get_rand).unstack()

輸出：

          A         B         C
0  0.351150  0.673156  0.829484
1  0.095481  0.836520  0.258559
2  0.599817  0.282766  0.048788
3  0.851617  0.010585  0.501335
4  0.422449  0.997759  0.287950

Answer 3

可以試試

out = df.applymap(lambda x : np.random.uniform(*ranges[x],1)[0])
          A         B         C
0  0.399545  0.592302  0.862708
1  0.135859  0.873516  0.381962
2  0.665365  0.410010  0.127253
3  0.936032  0.241266  0.686508
4  0.273130  0.839988  0.391465