如何使用百分位数过滤数据框以过滤异常值？

[英]How to filter dataframe using percentiles to filter out outliers?

假设我有一个这样的spark数据框： 我想为每个类别的 nan设置高于0.75％的值。 那是; 因此，预期输出为： 知道如何干净地做吗？ PS：我是新来的火花 ...

如何在熊猫中按组仅对另一列的前n％行进行分组？

[英]How to groupby only the top n% rows of another column by group in pandas?

我有这样的df： 我想按日期对结果的平均值进行分组，但只针对销售额最高的20％的ID。 然后，预期结果应为： 我原来的df大得多，大约有450万行，所以我需要高效的代码。 我找到了其他类似的答案，但是都没有解决我的问题。 提前非常感谢您。 ...

计算忽略缺失值的百分位数

[英]Calculate percentiles ignoring missing values

我有一个 PySpark dataframe 列ID和BALANCE 。 我正在尝试将列balance存储到 100% (1-100%) 存储桶中，并计算每个存储桶中有多少个 ID。 我不能使用任何与 RDD 相关的东西，我只能使用 PySpark 语法。 我试过下面的代码。w = Window.o ...

Percentile_rank计算作为计数计算的过滤器

[英]Percentile_rank calculation as filter for count calculations

当前状态-Percentile_rank过滤器可按照以下图片使用尺寸， 现在，我想过滤50-80％范围内的医院数量-预计将有4家医院。 但是Rank_percentile过滤器无法显示/正常工作 ...

如何在蜂巢中实现百分位数

[英]How to implement percentile in hive

我在蜂巢中有一张这样的桌子 上面只是一个很小的数据样本。 因此，总的游戏播放次数为678 我想像下面那样计算每个组中的用户 基本上，将数据按上述方式分成3组，并从每组中获取前20名用户。 我知道如何在BigQuery中实施的逻辑，例如....获得game_pla ...

在Redshift上使用百分位数计算中位数

[英]Calculating Median using Percentile on Redshift

我有一个大表，有超过1800万行，我想计算中位数，为此我使用PRECENTILE。 但是，花费的时间约为17分钟，这并不理想。 这是我的查询 有什么办法可以加快速度吗？ 谢谢 ...

SQL：如何在组之间执行组总和的PERCENTILE_CONT？

[英]SQL: How to perform PERCENTILE_CONT of group sum among groups?

简而言之，假设我要对一个组中某个功能的总和求和。 因此，我在窗口函数上进行了分区： 太好了，这很好。 现在..我想知道在我所有的总和中该总和的百分比。 例如，一项运动中有9名运动员参加的五项运动在五项运动中排名第二，则将排在第40位。 让我们开始简单..我想知道第20 ...

可靠地检索分位数函数的反函数

[英]Reliably retrieve the reverse of the quantile function

我已经阅读了其他文章（例如here ），以获得分位数的“反转”-即获得与一系列值中的某个值相对应的百分位数。 但是， 对于相同的数据序列 ，答案并不能为我提供与分位数相同的值。 我还研究了分位数提供9种不同的算法来计算百分位数。 所以我的问题是：是否有可靠的方法来获得分位数函数 ...

如何在PostgreSQL中获得超出百分比的百分比？

[英]How to Get The Out-Of-Set Percentile In PostgreSQL?

给定一张桌子 和 如何使用PostgreSQL在product2分数中找到product1分数的偏离百分位数，以获得预期的输出： 在python中，解决此问题的一种方法是合并表并应用scipy.percentileofscore ： 但是我想要一种在Postgre ...

如何根据失败百分比在日志字段中创建警报？

[英]How to create an alert the log fields based on the percentage of failures?

我已经完成了Sumicologic的日志记录。 日志JSON包含请求的响应时间。 使其成为名称为“ response_time”的JSON密钥。 每个请求均由唯一ID标识，该ID由JSON密钥“ request_id”表示。 以及以JSON键“ url”表示的URL。 我需要根据以下情 ...

结合 LOESS 和 Quantreg 计算数据的百分位数/分位数

[英]Combining LOESS and Quantreg to caculate percentiles/quantiles for data

我正在尝试计算相当分散的数据的百分位数或分位数。 使用 Loess 函数可以很好地呈现平均值，但是，我无法从该函数中获得百分位数/分位数。 我尝试将 quantreg 与 loess 结合起来。 该图显示的是线性曲线，而不是黄土平滑曲线。 我想得到类似的结果： 我也尝试了建议的代码，但是， ...

按分位数对熊猫数据框进行排名

[英]Rank Pandas dataframe by quantile

我有一个Pandas数据框，其中每一列代表一个单独的属性，并且每一行在特定日期保存属性的值： 使用rank方法，我可以找到每个属性相对于特定日期的百分等级： 输出： 我想得到的是每个属性的分位数（例如四分位数，五分位数，十分位数等）排名。 例如，对于五等分等级，我希望的 ...

SAS加入一个标志以表示百分位数

[英]SAS join on a flag to indicate percentile

我期待加入两张桌子 表1 - 棒球数据集 表2 - 包含CRhits百分位数的表 我想将这些表连接在一起创建一个包含crhits值的表，然后是一个列，用于标识该值属于哪个百分位数，如下所示 最后一列表示stdlongpctls给出的百分位数值 我目前使用以下代 ...

在火花 sql 中使用百分位频率参数 function

[英]use of frequency argument in percentile function in spark sql

我正在尝试在 spark-SQL 中使用百分位数 function。 数据： 如果我使用低于我得到的百分位数的代码是不正确的。 output：106.9 如果我使用低于我得到的百分位数的代码是不正确的。 output：24.91000000000001 但是如果我使用下面的代码，我会得到预期的 ...

如何根据分组变量计算PowerQuery中的百分位数？

[英]How do I calculate Percentiles in PowerQuery based on grouping variables?

我有几列数据，我需要将excel版本的“PERCENTILE”转换为Powerquery格式。 我有一些代码作为一个函数添加，但没有准确应用，因为它不允许按CATEGORY和YEAR分组数据。 因此，完全酌情1.5-2.5和2014年的任何内容都需要添加到百分位数组中，同样任何完全自由裁 ...

pandas quantile() 函数是如何在内部工作的？

[英]How does pandas quantile( ) function works internally?

在这篇文章中： 大熊猫如何计算四分位数？ 这是@perl 对 quantile() 函数工作的解释： 让我们考虑 0.25（当然与 0.75 相同的逻辑）：元素编号应该是(len(df)-1)*0.25 = (19 - 1)*0.25 = 4.5 ，所以我们在元素 4（即 19 - - 我 ...

列的Python百分位等级，按其他多个列分组

[英]Python percentile rank of a column, grouped by multiple other columns

我想按多个字段（“日期”和“类别”）对熊猫数据框进行分组，并为每个组按百分比对另一个字段（“值”）的值进行排序，同时保留原始（“值”）字段。 我尝试过： 但这仅返回“值”字段的百分位。 ...

根据百分位数绘制直方图

[英]Plot a histogram, based on percentiles

我有一个具有以下结构的框架： 我如何绘制图表，例如在X轴上有百分位数（10％，20％，.. 90％），在Y轴上应有一定数量的值，例如，位于百分位数之间20％-30％并且每个ID都必须是一个单独的图（以及不同的百分位值） 我发现百分位数并卡住q = [0.1, 0.2, 0.3, 0 ...

计算SSRS中的百分位数

[英]Calculate Percentile in SSRS

我们需要基于共享数据集计算SSRS报告中的百分位（第95位和第99位），该数据集将以15分钟为间隔返回汇总数据。 百分位数必须是整个交易日的价格，但要取决于合同。 为了论证，可以说这是我们的数据： 这几乎是排序的（那是我创建时所用的），但数据本身不会出现在实际应用程序中。 ...

将数据划分为三分位数 pandas

[英]Dividing data into tertiles pandas

我需要有关统计 pandas 问题的帮助。 所以我有一个 dataframe 看起来像下面 其中user_total_exercises列对应用户在一年内（即 2018 年）完成的练习总数。 我还有所有用户在同一年完成的练习总数，称为year_total_exercises = 874 。 鉴于此 ...