cost 86 ms
std::bad_alloc: out_of_memory: CUDA 导入数据/运行模型时出错

[英]std::bad_alloc: out_of_memory: CUDA error when importing data/running models

我正在尝试将数据集上传到 NVIDA RAPIDS jupyter notebook,但在导入此数据集或在 dask dataframe 上使用 XGBoost 时,此错误不断弹出。训练数据集的大小为 3.7gb。 我只有一个GPU。 一些规格: 中央处理器:i7 9700F @4.00GHz G ...

用户定义 Function 在 CUDF 中使用 .apply() 时编译失败

[英]User Defined Function Compilation Failed When Using .apply() in CUDF

试图在 cudf 上使用 function 为数据框中的新列创建值 using.apply() 这是 python 输出的错误。 这是一个值得信赖的笔记本。 这个 function 在 pandas dataframe 上运行良好,但现在 cudf 出现问题,我不完全确定原因。 我用的rapidsa ...

cuxfilter绘制的数据如何保存为图片

[英]How to save the data drawn by cuxfilter as an image

我正在考虑画一个.network。 比如demo中,我们可以使用dashboard来获取图表,但是右侧没有“保存按钮”,这是经常出现的情况。 由于我们使用的是大数据,所以我们想利用cuxfilter的快速绘图。 例如,如果是全息图,计算时间太长。 屏幕截图等是可以的,但是有什么方法可以保存结果图吗? ...

如何填充 cuDF dataframe 中的列表列?

[英]How to pad list column in cuDF dataframe?

我想在使用 groupby 操作收集后对每个列表实施填充操作。 概念实现是这样的:df = cudf.DataFrame({"g": [1, 1, 1, 2, 2, 3], "a": [1, 2, 3, 1, 3, 1]}) df.groupby("g")["a"].collect().list. ...

2023-01-04 09:50:53   1   22    cudf  
dpkg-deb: error: paste subprocess was killed by signal (Broken pipe) 处理时遇到错误:

[英]dpkg-deb: error: paste subprocess was killed by signal (Broken pipe) Errors were encountered while processing:

我正在参加 kaggle OTTO 推荐系统竞赛。 我正在尝试许多其他代码。 我看到高排名者使用 cudf 库。 所以我想尝试一下,但我遇到了很多错误...... 我会从头给你看。 请帮我... 当我试图修复损坏的安装时,我得到了这个 我搜索此错误并找到解决方案。 dpkg-dep 错误:粘贴子 ...

cugraph 创建 NoneType

[英]cugraph create NoneType

我试图从 dask_cudf DataFrame 创建一个图形,但图形得到 Nonetype 而没有错误消息。 我也使用相同的数据集尝试了 pandas dataframe。 然后我尝试了三个样本边缘。 每次一个 NoneType object。 但是,如果我使用空手道数据集,一切正常。 我执行完 ...

用户定义的 function 组合 CUDF dataframe 列

[英]User defined function to combine CUDF dataframe columns

根据标题,我正在尝试组合来自不同cudf.DataFrame列的行值。 以下代码适用于标准pandas.DataFrame :import pandas as pd data = {'a': [1], 'b': [2], 'c': [3], 'd': [4]} df = pd.DataFrame.f ...

cudf.DataFrame.sort_values - `ValueError:无法将 NotImplementedType 类型的值转换为 cudf 标量`

[英]cudf.DataFrame.sort_values - `ValueError: Cannot convert value of type NotImplementedType to cudf scalar`

在 cudf DataFrame(版本:22.2.0)上使用 sort_values 时出现错误: 你知道我为什么会出现这种错误吗? (PS:上面的例子来自文档) 有关信息,以下是来自 Traceback 的最后调用: 非常感谢您的帮助 ...

CUDF 未正确读取列

[英]CUDF not reading columns properly

我正在尝试使用 cudf 阅读 csv。 它工作得很好,但是当我尝试获取列的内容时,cudf 似乎根本无法识别它们。 这是一个非常奇怪的行为: 这是代码: 这是错误: 请问有什么帮助吗? 谢谢 ...

如何在 python cuDF 中使用自定义 function 进行分组?

[英]How to groupby with custom function in python cuDF?

我不熟悉使用 GPU 进行数据操作,并且一直在努力复制 cuDF 中的一些功能。 例如,我想为数据集中的每个组获取一个模式值。 在 Pandas 中,使用自定义函数很容易完成:df = pd.DataFrame({'group': [1, 2, 2, 1, 3, 1, 2], ...

2022-07-30 08:23:34   2   155    rapids / cudf  
用 cudf dataframe 中的 np.NaN 替换整数

[英]Replace integers with np.NaN in cudf dataframe

我有一个像这样的 dataframe 我想用 np.nan 替换所有 2s 通常在 pandas dataframe 我会使用df_a[df_a==2]=np.nan 但在 cudf dataframe 中,我无法广播 <class 'int'> 当我使用df_a[df_a['value ...

dask_cudf 数据帧中的标签编码

[英]label encoding in dask_cudf dataframe

我正在尝试使用 dask_cudf 为多类 xgboost 训练预处理一个非常大的数据集(150,000,000+ 条记录),并且在对类列进行编码时遇到问题(dtype 是字符串)。 我尝试使用“替换”功能,但错误消息说两个 dtype 必须匹配。 我尝试使用 dask_ml.LabelEncode ...

从多索引 Pandas Dataframe 中提取特定行以形成新 DataFrame

[英]Extracting specific rows from a multi-indexed Pandas Dataframe to form new DataFrame

我有一个数据集,我正在加载到 Pandas 数据帧中,该数据帧是一个名为:波形的锯齿状 3-D 数组。 数据帧由三个级别进行多索引:事件(条目),每个事件生成的光子(子条目),每个光子的数据点(子子条目)。 每个事件的数据点和光子的数量随机变化,因此它是锯齿状的。 我想为每个事件(条目)提取至少包 ...

为什么polars被称为最快的数据框库,dask与cudf不是更强大吗?

[英]Why is polars called the fastest dataframe library, isn't dask with cudf more powerfull?

大多数基准测试都隔离了 dask 和 cuDF,但我可以将它们一起使用。 使用 cuDF 的 Dask 不会比极地更快吗? 此外,Polars 仅在数据适合内存时运行,但 dask 并非如此。 那么为什么有https://h2oai.github.io/db-benchmark/ dask 的内存 ...

Rapids cudf 用户定义函数中的 TypingError

[英]TypingError in rapids cudf User Defined Function

我有一个带有 Close 和 Date 列的 cudf df,其中 Close 是 float64,Date 是 (%Y-%m-%d) datetime64。 我想定义一个函数,将这些列作为输入并创建所谓的市场概况,因为数据是细粒度的,在同一日期有很多收盘价。 信息将作为 30 个新列失去功能,定 ...

使用 coda 和 py3.9 安装 cuDF 时出错

[英]error installing cuDF using coda with py3.9

我刚刚使用带有 py3.9 和 cuda 的 minicoda 创建了一个新环境。 尝试使用以下命令安装 cudf 时: conda install -c rapidsai cudf我收到以下错误消息。 我发现了一个类似错误的帖子,并被要求使用 pip 代替。 如果有办法在仍然使用 conda 的同 ...


 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM