堆栈内存溢出
cost 76 ms
合并小文件时 AWS Glue 作业失败

[英]AWS Glue Job Failing When Merging Small Files

我是 Glue 和 PySpark 的新手。我正在尝试创建一个作业来抓取大量小文件并将它们合并为更大的文件。 我知道这不是使用下推谓词或分区键的问题。 但是，此数据中唯一可用的分区键是日期列。 但是，文件已经根据那个日期分开了。 一些日期（及其后续文件）非常小（通常为 15kb-5MB）。 并且这些 ...

比较 dataframe 中的行值

[英]Comparing row values in a dataframe

好的，所以我正在尝试解决一个挑战，即我必须为图形的边缘增加权重。 我愿意选择任何我想要的作为我的体重，每次我在数据框中发现重复的行时，我都选择加 1。 问题是在这个数据集中： https://www.kaggle.com/datasets/csanhueza/the-marvel-universe- ...

如何合并来自两个不同数据框的同名列？

[英]How to merge same name column from two different dataframes?

我有四个不同的数据集。 我已经正确合并了三个数据框。 我在第三个和第四个数据集中有相同的名称列。 当我将它与第四个数据集合并时。 我没有以礼貌的方式获得相同名称的列值。 合并时 user_id 重复。 我不想重复 user_id。 我想查看 del_keys 列中的值，它向我显示 NaN 值，而不 ...

如何从this.txt文件中提取数据并按列（如'Report'，'Findings'，'Impression'，'Recomendation'）将数据放入pandas dataframe

[英]How to extract data from this .txt files and put the data into pandas dataframe by columns (like 'Report', 'Findings', 'Impression', 'Recomendation')

放射学报告我正在尝试按主题（“发现”、“印象”）提取数据并尝试将其放在 pandas dataframe ...

无法理解R语言的图数据

[英]Unable to understand graph data in R language

我正在执行一项任务，要求我确定在房间数量增加的同时价格是否上涨。 我用过ggplot2和geom_point 。 但我无法理解是否有任何增量。 请任何人帮助我理解这张图。 或者有没有其他方法可以绘制图形以便我可以轻松理解。 下面一行是我的代码。 ...

熊猫从索引计算时间增量

[英]Pandas calculating time deltas from index

我有几个月的时间序列数据，我正在尝试计算数据集中的总小时数、分钟数、秒数，以及当该列为 True 或 1 时的唯一布尔列。出于某种原因，我做错了什么总时间计算似乎不正确。 下面的代码（运行）计算了每个索引时间戳之间的时间增量： 回报： 30 天是正确的（ DAYS ALL DATA: 30 ）和布 ...

如何使用 Python 获取数据集中的空值？

[英]How to get the null values in a dataset with Python?

我有一个名为 purchases.csv 的 csv 文件，我试图分别查找一个月内和每个月购买的每件商品的数量。 我每个月分别找到每件商品的购买量。 但是，如果那个月从未购买过某件商品，我需要将其显示为 0。这是我目前的代码； 这是我的数据集。 这是我现在的输出。 我知道有 item_id 的 ...

找到具有 0 个样本 (shape=(0, 1)) 的数组，而至少需要 1 个

[英]Found array with 0 sample(s) (shape=(0, 1)) while a minimum of 1 is required

当我尝试查找 MI 值时，此错误不断出现。 我的代码如下 如果你想要完整的笔记本，这里有一个链接https://www.kaggle.com/code/snigdhkarki/house-price-competition 错误如下 只有少数几个地方提出了这个问题，即使在那些地方我也找不到我的问题的 ...

将 BERT 模型微调为聊天机器人，在训练时出错

[英]Fine tuning a BERT Model as a chatbot giving error while training

我一直在尝试微调 BERT 模型，以根据输入句子给出像字符这样的响应句子，但我每次都会遇到一个相当奇怪的错误。 代码是` 这里 source texts 是给出上下文的句子列表，target_text 是给出对上下文语句的响应的句子列表 这是我得到的错误任何帮助将非常感激。 请帮助！ ...

使用列值计算百分位数

[英]Calculate percentile with column values

首先，如果我在写这篇文章时对任何错误发表评论，抱歉，英语不是我的母语。 所以我开始用 Python 研究运动中的数据科学和数据可视化只是出于爱好，我真的是一个初学者。 我想根据最高值计算每列的百分位数，我会在下面放一张图片，例如在''xg''列中，最高值为1.03，我想在新列中转换这个值值为 100 ...

Python - 从原始数组中打印随机采样元素的多个数组

[英]Python - Printing multiple arrays of randomly sampled elements from an original array

我在 python 中有一个原始数组： t_array 得到这个： ['AAPL', 'AMZN', 'META'] 现在，当我再次运行(1)代码时，样本会刷新为一个新的三元组数组，如下所示： ['AMZN', 'META', 'NFLX']左右我希望在不替换原始数组t_array的情况下获得所有 ...

简单线性回归与多元线性回归模型缩放

[英]Simple linear regressions vs multiple linear regression model scaling

我在某处读到，如果有多个特征（多线性模型），则不需要特征缩放，因为系数会处理这个问题。 但对于单一特征（简单线性模型）； 需要特征缩放。 这是 python scikilt learn 的工作方式还是我读错了什么？ 需要在简单线性回归中使用和不使用特征缩放进行测试的人的答案 ...

如何在海量数据上训练机器学习模型？

[英]How to train a machine learning model on huge amount of data?

要点：数据集太大，我几乎无法将其存储在硬件中。 （拍字节） 假设我在数据集中有数万亿行。 此数据集太大，无法存储在内存中。 我想在这个数据集上训练一个机器学习模型，比如逻辑回归。 我该怎么做？ 现在，我知道亚马逊/谷歌对大量数据进行机器学习。 他们是怎么做到的？ 例如，点击数据集，全局每个智能设 ...

根据列号将三个excel文件中的某些列组合到一个pandas DF中-使用python pandas

[英]Combining certain columns from three excel files in one pandas DF based on the column number-Using python pandas

我有三个 excel 文件被读取到 pandas DFs，表格如下：DF1： A列 B列 F G 米钾 DF2： A列 B列杰丁否大号东风三号： A列 B列 C列杰乙是否问 V 杰丁乙乙乙 F 我想要做的是创建第四个 DF，其中包含数据帧中连接的某些列（基于列索引）。 对于 DF4，我希望 ...

Python - 导出的 PDF 不可读

[英]Python - Exported PDFs are Unreadable

我有一个包含数百个 PDF 文档的文档库。 我正在尝试导出每个 PDF 文档的第一页。 下面是我提取页面的脚本。 它将每一页保存为单独的 PDF。 但是，导出的文件似乎以无法读取或损坏的格式导出。 我的脚本中是否缺少某些内容？import os from PyPDF2 import PdfReade ...

将多行汇总或聚合为单行以创建机器学习模型的最佳方法

[英]Best Approaches to summarize or aggregate multiple rows to single row for Machine learning model creation

创建用于预测性维护的 ML 模型。 表 A 包含具有开始时间、结束时间和事件状态的日志信息。 表A ID 开始时间时间结束事件 100 2021 年 7 月 1 日 1:05:04 2021 年 7 月 1 日 1:06:04 操作系统表 B 包含表 A 中事件的温度（每秒）的多条记录。 表B ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM