繁体   English   中英

如何在已经分区的步骤中禁用块?

[英]How to disable chunks in already partitioned step?

假设我有 100 个城市,每个城市都有感兴趣的对象。

对象的数量是变化的,范围可以从 0 到 N。

可以从读取列表中删除对象。 这意味着它们不再处于活动状态,我应该禁用它们。 所以我首先禁用城市中的所有对象 - 从作者那里,然后我激活那些仍在列表中的对象,因为无论如何我都必须更新它们。

我使用 spring 批处理读取每个城市的对象并将它们写入数据库。 我已经对这一步进行了分区,因此每个城市的数据都是在它自己的从属步骤中读取和写入的。

我唯一的问题是分块。 即使该步骤已分区,我也看不到任何禁用分块的选项。 这是一个问题,因为城市的最后一个区块将禁用我在之前的区块中激活的所有对象。

Spring Batch 是一个了不起的工具,几乎可以满足我的所有需求,但现在我想知道它是否适合这项特殊工作。

比如说,我们有 2 个城市: id1 city1 id2 city2

每个城市都有对象。 对象可以是活动的或非活动的。 每个都绑定到一个城市(抱歉,Stackoverflow 似乎不支持任何类型的表格)。

object1 city1 active
object2 city1 active
object3 city1 inactive
object1 city2 active
object2 city2 inactive

而且我只能从阅读器获取当前活动的对象:

object1 city1 active
object3 city1 active
object1 city2 active

含义 - 在我开始更新活动对象之前,必须禁用我的数据库中的所有其他对象。

所以,我在作家中这样做:

CityObjectWriter(CityObjectRepository cityObjectRepository, cityId){
    this.cityObjectRepository = cityObjectRepository;
    this.cityId = cityId;
}

@Override 
public void write(List<? extends CityObjectData> cityObjectData) throws Exception{
    //In this case i should do nothing
    if (cityObjectData.isEmpty) return;
    cityObjectRepository.disableObjectsByCityId(cityId);
    List<CityObject> cityObjects = cityObjectRepository.findAllByCity(cityId);
    // Finds a matching existing cityObject and updates it with new data, if it's found
    updateCityObjects(cityObjects, cityObjectData);
}

你看到这里的问题了吗?

因为 Spring Batch 将数据拆分成块 - 每 N 条记录将写入它们自己的 write() 方法。 并且该方法的每次调用都会停用其他所有内容。 甚至是以前活跃的记录。 我不希望这样,除了将块大小设置为 9999999 之外,我没有看到任何解决方案,因此每个 object 都在一个方法调用中处理。 但不知何故感觉很脏。

我想到了。 我可以使用 Tasklet 代替阅读器/处理器/编写器。 使用 tasklet 的步骤可以划分为从属步骤以及具有读取器/写入器/处理器的通常步骤。 它将在单个事务中读取、处理和写下城市的每个 object:

CityObjectImportTasklet(CityObjectRepository cityObjectRepository, cityId){
    this.cityObjectRepository = cityObjectRepository;
    this.cityId = cityId;
}

@Override 
public RepeatStatus execute(StepContribution contribution, ChunkContext context) throws Exception {
    List<CityObjectData> cityObjectData = getCityObjectDataSomehow(cityId);

    //In this case i do nothing
    if (cityObjectData.isEmpty) return;

    //disable all existent objects, to activate them later in case they're present
    cityObjectRepository.disableObjectsByCityId(cityId);

    List<CityObject> cityObjects = cityObjectRepository.findAllByCity(cityId);
    // Finds a matching existing cityObject and updates it with new data, if it's found
    updateCityObjects(cityObjects, cityObjectData);
}

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM