在 R 中使用带有 perl 替换表达式字符串的 cat 与 GNU Parallel

Question

我正在尝试使用 GNU Parallel 来并行化一个参数。

该软件本身是一个 Python package，我在命令行上测试成功（我使用的是 Mac）。 我一直在测试通过 system() 参数在 R 中执行命令行参数。 这是我到目前为止所拥有的：

> system(paste("parallel --jobs 2 --dry-run eval 'mhcflurry-predict --alleles {=1  s/[,]/ /g; =} --peptides `cat {2}` --out {1/.}_{2/.}_pred.csv", "' ::: `cat ", ciwdfiles, "` ::: ", pepfiles, sep =""))

假设 ciwdfiles 是一个类似于 (C1.txt C2.txt) 的向量，而 pepfiles 是一个类似于 (pep1.txt pep2.txt) 的向量，其中文件由空格分隔。 C1.txt 和 C2.txt 看起来像“A 01:01，A 01:02”和“A 01:03， A 02:01”。 我想通过并行作业对这些输入运行 mhcflurry-predict。 在上面的示例中，我总共有四个作业（C1.txt 和 pep1.txt、C1.txt 和 pep2.txt、C2.txt 和 pep1.txt，以及 C2.txt 和 pep2.txt）。

但是，我必须通过将逗号替换为空格来即时修改 C1.txt 和 C2.txt 的内容。 我能够使用并行的内置 perl 表达式替换字符串功能 {=1 s/[,]/ /g; 来完成此操作 =}。 为了让它工作，我必须将 ciwdfiles 的内容作为输入。 这会影响并行化，因为 ciwdfiles 被合并到一个文件中，而不是两个单独的文件。

那么，如何在输入规范中不使用 cat 的情况下将 C1.txt 和 C2.txt 的内容提供给 perl 替换字符串？ 或者，我如何即时操作 C1.txt 和 C2.txt，并将其传递给 --alleles？

我还尝试放弃使用 perl 替换字符串，并尝试使用 sed 和 pipeart，但无济于事：

parallel eval 'mhcflurry-predict --alleles -a {1} --pipepart 'sed -r "s/[,]+/\ /g"' --peptides `cat {2}` --out /Users/tran/predictions.csv' ::: ciwdfiles ::: pepfiles

我还尝试使用 sed 而不是 catting：

system(paste("parallel --jobs 2 --dry-run eval 'mhcflurry-predict --alleles {1} --peptides `cat {2}` --out {1/.}_{2/.}_pred.csv", "' ::: `sed -r 's/[,]+/ /g' ", ciwdfiles, "` ::: ", pepfiles, sep =""))

这类作品。 以空格代替，文件get的内容被打散了。 以下是空运行的结果：

eval mhcflurry-predict --alleles 'HLA-A01:01' --peptides `cat pep.txt` --out 'HLA-A01:01'_pep_pred.csv
eval mhcflurry-predict --alleles 'HLA-A01:01' --peptides `cat pep2.txt` --out 'HLA-A01:01'_pep2_pred.csv
eval mhcflurry-predict --alleles 'HLA-A01:02' --peptides `cat pep.txt` --out 'HLA-A01:02'_pep_pred.csv
eval mhcflurry-predict --alleles 'HLA-A01:02' --peptides `cat pep2.txt` --out 'HLA-A01:02'_pep2_pred.csv
eval mhcflurry-predict --alleles 'HLA-A01:03' --peptides `cat pep.txt` --out 'HLA-A01:03'_pep_pred.csv
eval mhcflurry-predict --alleles 'HLA-A01:03' --peptides `cat pep2.txt` --out 'HLA-A01:03'_pep2_pred.csv
eval mhcflurry-predict --alleles 'HLA-A02:01' --peptides `cat pep.txt` --out 'HLA-A02:01'_pep_pred.csv
eval mhcflurry-predict --alleles 'HLA-A02:01' --peptides `cat pep2.txt` --out 'HLA-A02:01'_pep2_pred.csv

如果我不使用下划线作为替换 (sed -r 's/[,]+/_/g)，它工作正常：

eval mhcflurry-predict --alleles 'HLA-A01:01_HLA-A01:02' --peptides `cat pep.txt` --out 'HLA-A01:01_HLA-A01:02'_pep_pred.csv
eval mhcflurry-predict --alleles 'HLA-A01:01_HLA-A01:02' --peptides `cat pep2.txt` --out 'HLA-A01:01_HLA-A01:02'_pep2_pred.csv
eval mhcflurry-predict --alleles 'HLA-A01:03_HLA-A02:01' --peptides `cat pep.txt` --out 'HLA-A01:03_HLA-A02:01'_pep_pred.csv
eval mhcflurry-predict --alleles 'HLA-A01:03_HLA-A02:01' --peptides `cat pep2.txt` --out 'HLA-A01:03_HLA-A02:01'_pep2_pred.csv

但是，我需要分隔符是一个空格，因为这是唯一可以接受的结构。

Answer 1

你是如此接近。 您需要学习的只是:::: 。

seq 10 > arguments1.txt
seq 11 20 > arguments2.txt
parallel echo arg 1={1} arg 2={2} :::: arguments1.txt arguments2.txt

::::从文件中读取。

它包含在第 4.2 章：GNU Parallel 2018（ https://www.lulu.com/shop/ole-tange/gnu-parallel-2018/paperback/product-23558902.html或从以下网址下载： https://doi.org /10.5281/zenodo.1146014 ) 至少阅读第 1+2 章。 只需不到 20 分钟的时间，您的命令行就会爱上它。