如何获得按键分组的平均值和标准偏差？

Question

我需要找到这种格式的大量数据的平均值和标准差。 我尝试使用Excel，但似乎没有一种简单的方法来转置列。 我在Excel中缺少什么，或者我应该只使用Perl？

输入文件格式为：

0 123

0 234

0 456

1 657

1 234

1 543

希望结果按照第一列中的值对平均值和标准差进行分组：

0 AvgOfAllZeros StdDevOfALlZeros

1 AvgOfAllOnes StdDevOfAllOnes

Answer 1

这在R中很容易做到。如果你的数据在一个名为foo的文件中，那么这段代码就可以了：

> data <- read.table("foo")
> cbind(avg=with(data, tapply(V2, V1, mean)),
+       stddev=with(data, tapply(V2, V1, sd)))
  avg   stddev
0 271 169.5553
1 478 218.8630

Answer 2

裂缝的指关节

使用Statistics::Descriptive CPAN模块，你可以得到它：

use strict;
use warnings;
use Statistics::Descriptive;

my ($file) = @ARGV;

my @zeroes;
my @ones;

# Reading it in
open my $fh, '<', $file or die "unable to open '$file', $!";

while (my $line = <$fh>)
{
   chomp $line;
   my ($value, $number) = split("\s+", $line);
   if ($value)
   {
      push @ones, $number;
   }
   else
   {
      push @zeroes, $number;
   }
}
close $fh or warn "Can't close fh! $!";

# Stat processing
$stat_zeroes   = Statistics::Descriptive::Full->new();
$stat_ones     = Statistics::Descriptive::Full->new();

$stat_zeroes->add_data(@zeroes);
$stat_ones->add_data(@ones);

print "0: ", $stat_zeroes->mean(), " ", $stat_zeroes->standard_deviation(), "\n",
      "1: ", $stat_ones->mean(), " ", $stat_zeroes->standard_deviation(), "\n";

Answer 3

如果在Excel中手动执行此操作，则可以复制数据，然后使用“选择性粘贴”菜单选项粘贴它。 那里有一个Transpose复选框。

如果你更频繁地这样做，这里是一个Perl脚本。 内存复杂度与输出的大小成线性关系，因此在仅有两行的情况下保持不变：

#!/usr/bin/perl

while (<>) {
    my ($x, $y) = split;
    $sum{$x} += $y;
    $count{$x}++;
    $sumSq{$x} += $y * $y;
}

for $i (sort keys %sum) {
    $stdev = sqrt(($sumSq{$i} - $sum{$i} * $sum{$i} / $count{$i}) / ($count{$i} - 1));
    print $i, " ", $sum{$i}/$count{$i}, " ", $stdev, "\n";
}

Answer 4

可以使用Excel。 有一个AVERAGEIF函数但STDEV没有类似的东西，所以需要一个备用的两步法。

通过在右侧添加两个带有公式的列，可以“转置”数据。 假设您的数据在A列和B列中，则C列中的公式为;

=IF(A2=0,B2,"")

在D栏中它将是;

=IF(A2=1,B2,"")

然后新列可以将公式添加到底部

平均值

=AVERAGE(C2:C7)

而对于StdDev

=STDEV(C2:C7)

Answer 5

您是否尝试过使用Excel的AVERAGEIF功能？

Answer 6

如果您处理大量数据，那么您应该考虑PDL ... Perl数据语言。

看到这个相关的SO答案。

Answer 7

我会使用SUMIF和COUNTIF公式。 您必须添加额外的一列或两列来获得平方偏差才能计算出标准偏差。 一个例子看起来像这样

公式为B10 = SUMIF（$ A $ 2：$ A $ 7，“=”＆A10，$ B $ 2：$ B $ 7）/ COUNTIF（$ A $ 2：$ A $ 7，“=”＆A10）和B11 = SQRT （SUMIF（$ A $ 2：$ A $ 7， “=” ＆A10，$ d $ 2：$ d $ 7）/ COUNTIF（$ A $ 2：$ A $ 7， “=” ＆A10））