绘制分类数据时如何告诉数据着色器对 NA 值使用灰色

Question

我有非常大的数据集，我不能直接使用 holoviews plot。 我想用分类数据制作散点图。 不幸的是，我的数据非常稀疏，很多点都以 NA 作为类别。 我想把这些点变成灰色。 有没有办法让数据着色器知道我想做什么？

我向您展示我现在的做法（或多或少在https://holoviews.org/user_guide/Large_Data.html中提出）。 我给你举个例子：

import numpy as np
import pandas as pd
import holoviews as hv
hv.extension('bokeh')
import datashader as ds
from datashader.colors import Sets1to3
from holoviews.operation.datashader import datashade,spread



raw_data = [('Alice', 60, 'London', 5) ,
           ('Bob', 14, 'Delhi' , 7) ,
           ('Charlie', 66, np.NaN, 11) ,
           ('Dave', np.NaN,'Delhi' , 15) ,
           ('Eveline', 33, 'Delhi' , 4) ,
           ('Fred', 32, 'New York', np.NaN ),
           ('George', 95, 'Paris', 11)
            ]
# Create a DataFrame object
df = pd.DataFrame(raw_data, columns=['Name', 'Age', 'City', 'Experience'])
df['City']=pd.Categorical(df['City'])



x='Age'
y='Experience'
color='City'
cats=df[color].cat.categories





# Make dummy-points (currently the only way to make a legend: https://holoviews.org/user_guide/Large_Data.html)
for cat in cats:
    #Just to make clear how many points of a given category we have
    print(cat,((df[color]==cat)&(df[x].notnull())&(df[y].notnull())).sum())
color_key=[(name,color) for name, color in zip(cats,Sets1to3)]
color_points = hv.NdOverlay({n: hv.Points([0,0], label=str(n)).opts(color=c,size=0) for n,c in color_key})


# Create the plot with datashader
points=hv.Points(df, [x, y],label="%s vs %s" % (x, y),)
datashaded=datashade(points,aggregator=ds.by(color)).opts(width=800, height=480)

(spread(datashaded,px=4, shape='square')*color_points).opts(legend_position='right')

它产生以下图片：

您会看到一些问题：最重要的是，尽管只有一个人来自巴黎，但您会看到 NA 人（查理）也印有紫色，这是巴黎的颜色。 有没有办法让点变成灰色？ 我尝试了很多情节，似乎 NA 总是采用图例中最后一项的颜色。

还有一些我不想公开提问的小问题。 （如果您认为他们应该提出自己的问题，请告诉我，我是 stackoverflow 的新手，感谢您的建议。）

另一个问题：这些点的大小不尽相同。 这很丑陋。 有没有办法改变它？

然后我还有一个问题：数据着色器内部是否也使用.cat.categories方法来决定使用什么颜色？ datashader 使用的 colors 是如何确定的？ 因为我想知道图例是否始终处于正确的顺序（显示正确的 colors：如果您排列cats中的顺序，则color_key和cats不再处于相同的顺序并且图例显示错误的颜色）。 它似乎总是按照我的方式工作，但我觉得有点不安全。

在这种情况下，也许有人想发表他们的意见是否可以将Points用于散点图。 因为我看不出与Scatter有任何区别，而且在语义上并没有真正的一个变量导致另一个变量（尽管有人可能会争辩说在这种情况下年龄会导致经验，但我将要处理 plot 个变量，这根本不容易找到那些因果关系）所以如果我正确理解文档https://holoviews.org/reference/elements/bokeh/Points.html最好使用Points 。

Answer 1

最重要的是，尽管只有一个人来自巴黎，但您会看到 NA 人（查理）也印有紫色，这是巴黎的颜色。 有没有办法让点变成灰色？ 我尝试了很多情节，似乎 NA 总是采用图例中最后一项的颜色。

现在我相信 Datashader 将 NaN 替换为零（参见https://github.com/holoviz/datashader/blob/master/datashader/transfer_functions/__init__.py#L351 ）。 似乎是一个很好的功能请求，能够为 Datashader 提供颜色以代替 NaN，但与此同时，我建议用实际类别名称替换 NaN，如“其他”、“缺失”或“未知” ，然后着色和图例都应反映该名称。

另一个问题：这些点的大小不尽相同。 这很丑陋。 有没有办法改变它？

通常，Bokeh HoloViews plot 中的 Datashader 最初会在将其放入 Bokeh 布局之前渲染一次，并在布局完成最终版本后触发更新。 在这里，初始渲染被自动调整到精确的数据点范围，然后被 plot 的边界裁剪（使边缘附近的正方形变成矩形），然后一旦图例更新 plot 的范围添加。 要查看它是如何工作的，请删除*color_points ，您将看到相同形状的点，但现在被 plot 边缘裁剪了：

您可以在 plot 显示后通过稍微缩放或平移来手动触发更新，但要强制其更新而无需手动干预，您可以提供明确的 plot 范围：

points=hv.Points(df, [x, y],label="%s vs %s" % (x, y),).redim.range(Age=(0,90), Experience=(0,14))

如果您可以在 HoloViews 上提交错误报告，询问为什么在包含图例的情况下它不自动刷新，那就太好了。 希望一个简单的修复！

数据着色器内部是否也使用 .cat.categories 方法来决定使用什么颜色？ datashader 使用的 colors 是如何确定的？ 因为我想知道图例是否始终处于正确的顺序（显示正确的 colors：如果您排列 cats 中的顺序，则 color_key 和 cats 不再处于相同的顺序并且图例显示错误的颜色）。 它似乎总是按照我的方式工作，但我觉得有点不安全。

当然，每当你展示一个传奇。 你应该确保将颜色键作为字典传递，这样你就可以确保图例和 plot 着色对每个类别使用相同的 colors。 调用datashade时只需传入color_key={k:v for k,v in color_key}即可。

在这种情况下，也许有人想发表他们的意见是否可以将 Points 用于散点图。 因为我看不出与 Scatter 有任何区别，而且在语义上并没有真正的一个变量导致另一个变量（尽管有人可能会争辩说在这种情况下年龄会导致经验，但我将要处理 plot 个变量，这根本不容易找到那些因果关系）所以如果我正确理解文档https://holoviews.org/reference/elements/bokeh/Points.html最好使用 Points.html。

点用于两个轴可互换的平面中的二维位置，例如几何平面上的物理 x,y 位置。 Points 有两个独立的维度，并且希望你有任何依赖维度用于颜色、标记形状等。确实，如果你不知道哪个变量可能依赖于另一个，Scatter 就很难使用，但是简单地选择将某些东西放在 x 轴上会使人们认为该变量是独立的，因此对此无能为力。 在这种情况下绝对不适合使用积分。