如何解決非常慢的 perl 腳本在一台服務器上運行得更快但在另一台服務器上運行緩慢

Question

我收到了一個 perl 腳本，該腳本應該過濾 Hi-C 數據的探針，但它運行速度非常慢（幾天）。 給我腳本的人告訴我，在她以前的實驗室的服務器上只花了幾個小時，所以我想知道是什么導致了運行時間的這種差異，我該如何讓它運行得更快？ 我對 perl 的了解非常有限，但到目前為止我的谷歌搜索表明我可能需要更改一些 perl 配置文件？ 下面是整個腳本中耗時最長的主要 function，輸入文件包含染色體目標和位置。 任何幫助將不勝感激！

我曾嘗試使用 perl 5.16 和 5.26 運行，看看版本是否太舊，但花了同樣長的時間。

sub get_restriction_fragments_for_targets {

    my @targets = @_;

    # Split by chromsome and sort
    my %targets;

    foreach my $target (@targets) {
            push @{$targets{$target->{chr}}},$target;
    }

    foreach my $chr (keys %targets) {
            my @sorted = sort {$a -> {start} <=> $b -> {start}} @{$targets{$chr}};

            # We also need to merge overlapping capture regions

            my @merged;

            my $last_region;

            foreach my $region (@sorted) {
                    unless ($last_region) {
                            $last_region = $region;
                            next;
                    }

                    if ($region->{start} < $last_region -> {end}) {
                            # Merge
                            if ($region ->{end} > $last_region->{end}) {
                                    $last_region->{end} = $region->{end};
                            }
                            next;
                    }

                    push @merged,$last_region;
                    $last_region = $region;
            }

            push @merged,$last_region;

            $targets{$chr} = \@merged;
    }

    my @target_fragments;

    open (IN,'all_restriction_fragments.txt') or die $!;

    my $last_chr = "";
    my $last_index = 0;

    while (<IN>) {
            chomp;
            my $line = $_;

            my ($chr,$start,$end) = split(/\t/);

            if ($chr ne $last_chr) {
                    warn "Moving to $chr\n";
                    $last_chr = $chr;
                    $last_index = 0;
            }

            next unless (exists $targets{$chr});

            my @local_targets = @{$targets{$chr}};

            foreach my $index ($last_index .. $#local_targets) {
                    my $target = $local_targets[$index];

                    if ($target -> {end} < $start) {
                            $last_index = $index;
                            next;
                    }

                    if ($target -> {start} > $end) {
                            last;
                    }

                    push @target_fragments,{
                            id => $target->{id},
                            chr => $chr,
                            start => $start,
                            end => $end,
                    };
                    last;
            }
    }

    return @target_fragments;
}

Answer 1

如果不了解更多有關該問題的信息，首先是關於數據結構的大小和所處理文件的大小，就無法判斷。

以下是關於代碼似乎在做什么原則上最耗時的操作的一般評論，以（可能）重要性和/或可能性的遞減順序

• 文件有多大？ 那是磁盤訪問，可能需要任何時間

• 循環排序——排序的數據有多大？ sort很耗時

• @sorted周圍有“踢踏舞”，這會導致數據復制——有多少數據？

• 一般來說，有很多數據復制——@ @targets傳遞到例程中有多大？

如您所見，每個因素都伴隨着數據有多大的問題。 磁盤訪問當然成本很高，但程序中各種數據結構之間的大量數據復制同樣重要。

因此，如果您能提供一些細節，這將有助於我們為您提供更詳細的分析/猜測。