Snakemake 重建/重新安排工作

Question

我正在为没有太多编程知识的人在 Snakemake 中编写一个管道，所以我希望他们能够通过仅在命令行中请求snakemake all -c来运行整个管道。

我的 Snakefile 中有 2 个配置文件：

configfile: "config.yaml"
configfile: "config_samples.yaml"

这些配置文件将由 Snakemake 合并在一起。

config.yaml是标准配置文件。 config_samples.yaml是一个配置文件，其内容根据管道输入而变化。 它看起来像下面这样：

samples:
  CYP20130000B:
    R1: CYP20130000B_R1.fastq
    R2: CYP20130000B_R2.fastq
  SAT20020000A:
    R1: SAT20020000A_R1.fastq
    R2: SAT20020000A_R2.fastq
  ...

我在 Snakemake 规则中使用 Python 脚本来生成config_samples.yaml的内容（使用 snakemake 脚本指令）。 这工作正常。

但是，当我在all规则中列出所有想要的输出时，如下所示：

"config_samples.done", # flag file for rule that generates config_samples.yaml
expand(QC_raw_reads/{sample}_{direction}_fastqc.html", sample=config["samples"], direction=["R1", "R2"])

那么这将不起作用，因为expand()只会扩展到当前config_samples.yaml中的样本，所以在 Python 脚本实际使用新样本生成新的config_samples.yaml之前。

这可以通过在运行 enterire 管道之前单独运行生成config_samples.yaml的规则来轻松避免，但回到开头，我希望它对非程序员尽可能简单。

所以，我想知道是否有办法让 Snakemake 重建/重新安排作业，以便可以为新样本更新它们。

Answer 1

我还没有完全消化下面的问题和评论，但我同意 @DmitryKuzminov 的观点，因为当前的设置有点做作。

在任何情况下，我认为您可以通过在第一个规则之前向 Snakefile 的顶部添加来使 snakemake 重新生成config_samples.yaml ，例如：

if os.path.exists('config_samples.yaml'):
    os.remove('config_samples.yaml')

您甚至可以使用以下命令在命令行上控制该步骤：

if config['remake_config'] == 'yes':
    if os.path.exists('config_samples.yaml'):
        os.remove('config_samples.yaml')

然后执行：

snakemake -C remake_config='yes' ...

Answer 2

你的整个问题似乎都是因为这句话：

我在 Snakemake 规则中使用 Python 脚本来生成 config_samples.yaml 的内容（使用 snakemake 脚本指令）。 这工作正常。

解决方案可能就像意识到 Python 脚本可以在 Snakefile开头的Snakemake 规则之外运行一样简单。 Snakefile 基本上是一个 Python 脚本。 因此，您可以将脚本导入该 Snakefile 并在那里执行。

所以你的 Snakefile 可能是这样的：

import config_generator
config = config_generator.add_samples(config)

rule all:
   input: expand(QC_raw_reads/{sample}_{direction}_fastqc.html", sample=config["samples"], direction=["R1", "R2"])

rule A:
...

config_generator.py看起来像这样：

def add_samples(config):
    # here you can calculate whatever you calculate to get config_samples
    # e.g. config["samples"] = ...
    return config