std::bad_alloc: out_of_memory: CUDA 导入数据/运行模型时出错
[英]std::bad_alloc: out_of_memory: CUDA error when importing data/running models
我正在尝试将数据集上传到 NVIDA RAPIDS jupyter notebook，但在导入此数据集或在 dask dataframe 上使用 XGBoost 时，此错误不断弹出。训练数据集的大小为 3.7gb。 我只有一个GPU。 一些规格： 中央处理器：i7 9700F @4.00GHz G ...
用户定义 Function 在 CUDF 中使用 .apply() 时编译失败
[英]User Defined Function Compilation Failed When Using .apply() in CUDF
试图在 cudf 上使用 function 为数据框中的新列创建值 using.apply() 这是 python 输出的错误。 这是一个值得信赖的笔记本。 这个 function 在 pandas dataframe 上运行良好，但现在 cudf 出现问题，我不完全确定原因。 我用的rapidsa ...
cuxfilter绘制的数据如何保存为图片
[英]How to save the data drawn by cuxfilter as an image
我正在考虑画一个.network。 比如demo中，我们可以使用dashboard来获取图表，但是右侧没有“保存按钮”，这是经常出现的情况。 由于我们使用的是大数据，所以我们想利用cuxfilter的快速绘图。 例如，如果是全息图，计算时间太长。 屏幕截图等是可以的，但是有什么方法可以保存结果图吗？ ...
如何填充 cuDF dataframe 中的列表列？
[英]How to pad list column in cuDF dataframe?
我想在使用 groupby 操作收集后对每个列表实施填充操作。 概念实现是这样的：df = cudf.DataFrame({"g": [1, 1, 1, 2, 2, 3], "a": [1, 2, 3, 1, 3, 1]}) df.groupby("g")["a"].collect().list. ...
dpkg-deb: error: paste subprocess was killed by signal (Broken pipe) 处理时遇到错误：
[英]dpkg-deb: error: paste subprocess was killed by signal (Broken pipe) Errors were encountered while processing:
我正在参加 kaggle OTTO 推荐系统竞赛。 我正在尝试许多其他代码。 我看到高排名者使用 cudf 库。 所以我想尝试一下，但我遇到了很多错误...... 我会从头给你看。 请帮我... 当我试图修复损坏的安装时，我得到了这个 我搜索此错误并找到解决方案。 dpkg-dep 错误：粘贴子 ...
cugraph 创建 NoneType
[英]cugraph create NoneType
我试图从 dask_cudf DataFrame 创建一个图形，但图形得到 Nonetype 而没有错误消息。 我也使用相同的数据集尝试了 pandas dataframe。 然后我尝试了三个样本边缘。 每次一个 NoneType object。 但是，如果我使用空手道数据集，一切正常。 我执行完 ...
用户定义的 function 组合 CUDF dataframe 列
[英]User defined function to combine CUDF dataframe columns
根据标题，我正在尝试组合来自不同cudf.DataFrame列的行值。 以下代码适用于标准pandas.DataFrame ：import pandas as pd data = {'a': [1], 'b': [2], 'c': [3], 'd': [4]} df = pd.DataFrame.f ...
cudf.DataFrame.sort_values - `ValueError：无法将 NotImplementedType 类型的值转换为 cudf 标量`
[英]cudf.DataFrame.sort_values - `ValueError: Cannot convert value of type NotImplementedType to cudf scalar`
在 cudf DataFrame（版本：22.2.0）上使用 sort_values 时出现错误： 你知道我为什么会出现这种错误吗？ （PS：上面的例子来自文档） 有关信息，以下是来自 Traceback 的最后调用： 非常感谢您的帮助 ...
CUDF 未正确读取列
[英]CUDF not reading columns properly
我正在尝试使用 cudf 阅读 csv。 它工作得很好，但是当我尝试获取列的内容时，cudf 似乎根本无法识别它们。 这是一个非常奇怪的行为： 这是代码： 这是错误： 请问有什么帮助吗？ 谢谢 ...
Dask-cuDF 到 CuDF dataframe 转换
[英]Dask-cuDF to CuDF dataframe conversion
是否有任何 function 将 Dask-cudf dataframe 转换为 Cudf dataframe？ dgdf = dask_cudf.from_cudf(df, npartitions=2) ...
如何在colab中轻松使用rapids
[英]how to use rapids in colab easily
当我在 colaboratory 中使用 rapids (cudf) 时，我执行如下命令。但是这个命令通常需要大约 20 分钟，所以我每次使用 cudf 都必须等待。 https://colab.research.google.com/drive/1rY7Ln6rEE1pOlfSHCYOVaqt ...
如何读取大文件为 Pandas dataframe？
[英]How to read a large file as Pandas dataframe?
我想读取一个大文件（4GB）作为 Pandas dataframe。 Since using Dask directly still consumes maximum CPU, I read the file as a pandas dataframe, then use dask_cudf , ...
如何在 python cuDF 中使用自定义 function 进行分组？
[英]How to groupby with custom function in python cuDF?
我不熟悉使用 GPU 进行数据操作，并且一直在努力复制 cuDF 中的一些功能。 例如，我想为数据集中的每个组获取一个模式值。 在 Pandas 中，使用自定义函数很容易完成：df = pd.DataFrame({'group': [1, 2, 2, 1, 3, 1, 2], ...
用 cudf dataframe 中的 np.NaN 替换整数
[英]Replace integers with np.NaN in cudf dataframe
我有一个像这样的 dataframe 我想用 np.nan 替换所有 2s 通常在 pandas dataframe 我会使用df_a[df_a==2]=np.nan 但在 cudf dataframe 中，我无法广播 <class 'int'> 当我使用df_a[df_a['value ...
dask_cudf 数据帧中的标签编码
[英]label encoding in dask_cudf dataframe
我正在尝试使用 dask_cudf 为多类 xgboost 训练预处理一个非常大的数据集（150,000,000+ 条记录），并且在对类列进行编码时遇到问题（dtype 是字符串）。 我尝试使用“替换”功能，但错误消息说两个 dtype 必须匹配。 我尝试使用 dask_ml.LabelEncode ...
Rapids.ai / Pandas 和 cudf 之间的计算差异
[英]Rapids.ai / difference of computation with log between Pandas and cudf
这是我比较 cudf 和 pandas 性能的代码： 如何在两个计算之间保持一致性？ ...
从多索引 Pandas Dataframe 中提取特定行以形成新 DataFrame
[英]Extracting specific rows from a multi-indexed Pandas Dataframe to form new DataFrame
我有一个数据集，我正在加载到 Pandas 数据帧中，该数据帧是一个名为：波形的锯齿状 3-D 数组。 数据帧由三个级别进行多索引：事件（条目），每个事件生成的光子（子条目），每个光子的数据点（子子条目）。 每个事件的数据点和光子的数量随机变化，因此它是锯齿状的。 我想为每个事件（条目）提取至少包 ...
为什么polars被称为最快的数据框库，dask与cudf不是更强大吗？
[英]Why is polars called the fastest dataframe library, isn't dask with cudf more powerfull?
大多数基准测试都隔离了 dask 和 cuDF，但我可以将它们一起使用。 使用 cuDF 的 Dask 不会比极地更快吗？ 此外，Polars 仅在数据适合内存时运行，但 dask 并非如此。 那么为什么有https://h2oai.github.io/db-benchmark/ dask 的内存 ...
Rapids cudf 用户定义函数中的 TypingError
[英]TypingError in rapids cudf User Defined Function
我有一个带有 Close 和 Date 列的 cudf df，其中 Close 是 float64，Date 是 (%Y-%m-%d) datetime64。 我想定义一个函数，将这些列作为输入并创建所谓的市场概况，因为数据是细粒度的，在同一日期有很多收盘价。 信息将作为 30 个新列失去功能，定 ...
使用 coda 和 py3.9 安装 cuDF 时出错
[英]error installing cuDF using coda with py3.9
我刚刚使用带有 py3.9 和 cuda 的 minicoda 创建了一个新环境。 尝试使用以下命令安装 cudf 时： conda install -c rapidsai cudf我收到以下错误消息。 我发现了一个类似错误的帖子，并被要求使用 pip 代替。 如果有办法在仍然使用 conda 的同 ...