使用成對的輸入文件和多個輸出文件編寫bash或python for循環

Question

我正在研究一組非常常見的用於分析RNA序列數據的命令。 但是，由於該問題並非特定於生物信息學，因此我選擇在此處發布文章，而不是BioStars等。

具體來說，我正在從配對末端測序數據中修剪Illumina Truseq適配器。 為此，我使用Trimmomatic 0.36。

我有兩個輸入文件：

S6D10MajUnt1-1217_S12_R1_001.fastq.gz
S6D10MajUnt1-1217_S12_R2_001.fastq.gz

該命令生成五個輸出文件：

S6D10MajUnt1-1217_S12_R1_001.paired.fq.gz
S6D10MajUnt1-1217_S12_R1_001.unpaired.fq.gz
S6D10MajUnt1-1217_S12_R2_001.paired.fq.gz
S6D10MajUnt1-1217_S12_R2_001.unpaired.fq.gz
S6D10MajUnt1-1217_S12.trimlog

我正在嘗試編寫python或bash腳本以遞歸地循環訪問文件夾的所有內容，並使用適當的文件和輸出執行trim命令。

#!/bin/bash
for DR in *.fastq.gz
do
FL1=$(ls ~/home/path/to/files/${DR}*_R1_*.fastq.gz)
FL2=$(ls ~/home/path/to/files/${DR}*_R2_*.fastq.gz)
java -jar ~/data2/RJG_Seq/apps/Trimmomatic-0.36/trimmomatic-0.36.jar PE -threads 12 -phred33 -trimlog ~/data2/RJG_Seq/trimming/sample_folder/$FL1.trimlog ~/data2/RJG_Seq/demultiplexing/sample_folder/$FL1 ~/data2/RJG_Seq/demultiplexing/sample_folder/$FL2 ~/data2/RJG_Seq/trimming/sample_folder/$FL1.pair.fq.gz ~/data2/RJG_Seq/trimming/sample_folder/$FL1.unpair.fq.gz ~/data2/RJG_Seq/trimming/sample_folder/$FL2.pair.fq.gz ~/data2/RJG_Seq/trimming/sample_folder/$FL2.unpair.fq.gz ILLUMINACLIP:/media/RJG_Seq/apps/Trimmomatic-0.36/TruSeq3-PE.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:15 MINLEN:28
done

我認為我分配和調用FL1和FL2的方式出了問題，最終我正在尋求幫助，以創建可修改為接受的可執行命令trim-my-reads.py或trim-my-reads.sh任何任意命名的輸入R1.fastq.gz和R2.fastq.gz文件。

Answer 1

您可以編寫一個簡單的python腳本來遍歷文件夾中的所有文件。

注意：我假設輸出文件將在名為“ example”的文件夾中生成

import glob
for file in glob.glob("*.fastq.gz"):
    #here you'll unzip the file to a folder assuming "example"
    for files in glob.glob("/example/*"):
        #here you can parse all the files inside the output folder

Answer 2

每對樣本都有一個匹配的字符串（ SN =樣本N）。bash中此問題的解決方案可能是：

#!/bin/bash
#apply loop function to samples 1-12
for SAMPLE in {1..12} 
do
#set input file 1 to "FL1", input file 2 to "FL2"
FL1=$(ls ~path/to/input/files/_S${SAMPLE}_*_R1_*.gz)
FL2=$(ls ~path/to/input/files/_S${SAMPLE}_*_R2_*.gz)

#invoke java ,send FL1 and FL2 to appropriate output folders
java -jar ~/path/to/trimming/apps/Trimmomatic-0.36/trimmomatic-0.36.jar PE
-threads 12 -phred33 -trimlog ~/path/to/output/folders/${FL1}.trimlog
~/path/to/input/file1/${FL1} ~/path/to/input/file2/${FL2} 
~/path/to/paired/output/folder/${FL1}.pair.fq.gz ~/path/to/unpaired/output/folder/${FL1}.unpair.fq.gz 
~/path/to/paired/output/folder/${FL2}.pair.fq.gz ~/path/to/unpaired/output/folder/${FL2}.unpair.fq.gz 
ILLUMINACLIP:/path/to/trimming/apps/Trimmomatic-0.36/TruSeq3-PE.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:15 MINLEN:28

#add verbose option to track progress
echo "Sample ${SAMPLE} done"
done

這是一個不太好的解決方案，因為它需要我使用的格式。 更好的方法是grep每個文件名，並相應地將它們分配給FL1，FL2，因為這將使方法通用化。 盡管如此，這對我還是有用的，只要我在文件名字符串中始終使用_S * _格式，就可以輕松控制哪些樣本要進行for循環。