java.lang.OutOfMemoryError 在单元测试期间

Question

我和我的团队正在使用 Spring 引导开发 API rest。 它由控制器、服务和 JpaRepo 接口组成。 可耻的是，是一个单体应用程序。 “没时间了”是我的答案然后我建议改用微服务，所以我们必须利用我们现有的东西。

API 越来越响亮，其中包括单元测试。 没错，我们有 1267 个单独的测试用例和 300 多个测试类（包括服务和控制器）。

服务测试类是这样的：

@SpringBootTest(classes = Project.class)
@TestPropertySource(locations = "classpath:test.properties")
@DirtiesContext(classMode=ClassMode.AFTER_CLASS)
public class Services_CategoryTBTest {

    @TestConfiguration
    static class Service_CategoryTbTestContextConfiguration{
        @Bean
        public GenericService<CategoryModifDTO, CategoryIdDTO, String> categoryService(){
            return new Service_CategoryTB_impl();
        }
    }

    @Autowired
    Service_CategoryTB_impl service;

    @MockBean
    CategoryRepository repository;

    private void setMock(String id) {
        Optional<CategoryTb> categoryTB = Optional.of(new CategoryTb());
        categoryTB.get().setCodcat(id);

        Mockito.when(repository.existsById(id)).thenReturn(true);
        Mockito.when(repository.findById(id)).thenReturn(categoryTB);
    }

    private void setSeveralMock() {

        CategoryTb categoryTB = new CategoryTb();
        categoryTB.setCodcat("1");

        Mockito.when(repository.findAll()).thenReturn(Arrays.asList(categoryTB));
    }

    @Test
    void getSpecificSuccessfully() {
        //Given
        String id = "1";
        setMock(id);

        //When
        CategoryIdDTO category = service.findById(id);

        //Then
        assertEquals(category.getCodcat(), id);
    }

    @Test
    void getAllSuccessfully() {

        //Given
        setSeveralsMock();

        //When
        List<CategoryIdDTO> categorys = service.findAll();

        //Then
        assertEquals(categorys.size(), 1);

    }

    @Test
    void createSuccessfully() {

        //Given
        CategoryIdDTO category = new CategoryIdDTO();
        category.setCodcat("1");
        category.setDescat("Desc");

        //When
        service.create(category);

        //Then
        Mockito.verify(repository).save(Mockito.any(CategoryTb.class));

        
    }

    @Test
    void updateSuccessfully() {

        //Given
        String id = "1";
        setMock(id);
        CategoryModifDTO category = new CategoryModifDTO();
        category.setDescat("Desc");

        //When
        service.update(id, category);

        //Then
        Mockito.verify(repository).save(Mockito.any(CategoryTb.class));

    }

    @Test
    void deleteSuccessfully() {

        //Given
        String id = "1";
        setMock(id);

        //When
        service.delete(id);

        //Then
        Mockito.verify(repository).delete(Mockito.any(CategoryTb.class));

    }

    @Test
    void testFailIfExistsByIdCheckSuccessfully() {

        //Given
        Mockito.when(repository.existsById(null)).thenReturn(true);
        
        assertThrows(HttpClientErrorException.class, () -> service.failIfExistsById(null));

    }

    @Test
    void testFailIfNotExistsByIdCheckSuccessfully() {

        //Given
        Mockito.when(repository.existsById(null)).thenReturn(false);
        
        assertThrows(ResourcesNotFoundException.class, () -> service.failIfNotExistsById(null));

    }
    
}

而controller个测试类是这样的：

@WebMvcTest(controllers = {
    CategoryController.class }, excludeFilters = @ComponentScan.Filter(type = FilterType.ASSIGNABLE_TYPE, classes = SecurityConfig.class), excludeAutoConfiguration = {
            SecurityAutoConfiguration.class })
@TestPropertySource(locations = "classpath:test.properties")
@DirtiesContext(classMode=ClassMode.AFTER_CLASS)
public class CategoryControllerTest {

    @Autowired
    private MockMvc mvc;

    @MockBean
    private Service_CategoryTB_impl service;

    private final String baseUri = "/api/categories";

    private final id = "1"

    @Test
    void getSpecificSuccessfully() throws Exception {

        // Given
        setMock(id);

        // When
        mvc.perform(get(baseUri + "/{id}", id)
                .contentType(MediaType.APPLICATION_JSON))
                .andExpectAll(
                        status().isOk(),
                        content().contentType(MediaType.APPLICATION_JSON),
                        jsonPath("$.codcat").value(id));
    }

    @Test
    void getAllSuccessfully() throws Exception {

        // Given
        setSeveralMock();

        // When and then
        mvc.perform(get(baseUri)
                .contentType(MediaType.APPLICATION_JSON))
                .andExpectAll(
                        status().isOk(),
                        content().contentType(MediaType.APPLICATION_JSON),
                        jsonPath("$").isArray());
    }

    @Test
    void createSuccessfully() throws Exception {
        // Given
        JSONObject cfDTO = createAsJson();

        // When and then
        mvc.perform(post(baseUri)
                .contentType(MediaType.APPLICATION_JSON)
                .content(cfDTO.toString())).andExpectAll(
                        status().isCreated(),
                        header().string("Location", baseUri + "/" id),
                        jsonPath("$.message").value("created."));
    }

    @Test
    void updateSuccessfully() throws Exception {

        // Given
        JSONObject cfDTO = createAsJson();

        // When and then
        mvc.perform(put(baseUri + "/{id}", cfDTO.getString("codcat"))
                .contentType(MediaType.APPLICATION_JSON)
                .content(cfDTO.toString())).andExpectAll(
                        status().isOk(),
                        header().string("Location", baseUri + "/" id),
                        jsonPath("$.message").value("modified."));

    }

    @Test
    void deleteSuccessfully() throws Exception {

        mvc.perform(delete(baseUri + "/{id}", id))
                .andExpectAll(
                        status().isOk(),
                        jsonPath("$.message").value("deleted."));
    }

    private JSONObject createAsJson() throws JSONException {

        JSONObject categoryJson = new JSONObject();
        categoryJson.put("codcat", id);
        categoryJson.put("descat", "desc");

        return categoryJson;
    }

    private void setSeveralMock() {

        CategoryIdDTO categoryTB = new CategoryIdDTO();
        categoryTB.setCodcat(id);

        when(service.findAll()).thenReturn(Arrays.asList(categoryTB));
    }

    private void setMock(String id) {
        CategoryIdDTO category = new CategoryIdDTO();
        category.setCodcat(id);
        when(service.findById(id)).thenReturn(category);
    }

}

和测试.properties

spring.profiles.active=test

spring.datasource.driver-class-name=org.h2.Driver
spring.datasource.url=jdbc:h2:mem:db;DB_CLOSE_DELAY=-1
spring.datasource.username=sa
spring.datasource.password=sa

logging.pattern.console=


spring.autoconfigure.exclude= \ 
  org.springframework.boot.autoconfigure.jdbc.DataSourceAutoConfiguration, \
  org.springframework.boot.autoconfigure.orm.jpa.HibernateJpaAutoConfiguration, \
  org.springframework.boot.autoconfigure.jdbc.DataSourceTransactionManagerAutoConfiguration

测试的 rest 具有几乎相同的结构。 只有一个例外，即在测试期间管理了一张 base64 图像，但它的大小恰好是为了不让这些测试过于繁重。

我已经关注了这个， 这个， 这个问题。 甚至我发现有一个错误似乎是我的同样问题。 但是在 Spring Boot doc 之后，它重定向到最新版本的 junit，所以我想如果我使用最新的 Spring Boot 版本，我应该拥有最新版本的 junit（或至少 >5.3）。 所以这个bug应该已经解决了。

这是我的 POM

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.7.7</version>
        <relativePath /> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.project</groupId>
    <artifactId>project</artifactId>
    <version>1.0</version> 
    <packaging>war</packaging>
    <name>project</name>
    <properties>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.modelmapper/modelmapper -->
        <dependency>
            <groupId>org.modelmapper</groupId>
            <artifactId>modelmapper</artifactId>
            <version>3.0.0</version>
        </dependency>

        <dependency>
            <groupId>com.h2database</groupId>
            <artifactId>h2</artifactId>
        </dependency>

        <dependency>
            <groupId>org.javassist</groupId>
            <artifactId>javassist</artifactId>
            <version>3.28.0-GA</version>
        </dependency>

        <dependency>
            <groupId>org.codehaus.jackson</groupId>
            <artifactId>jackson-core-asl</artifactId>
            <version>1.9.2</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.codehaus.jackson</groupId>
            <artifactId>jackson-mapper-asl</artifactId>
            <version>1.9.13</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-validation</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-hateoas</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>com.oracle.database.jdbc</groupId>
            <artifactId>ojdbc8</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-tomcat</artifactId>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-security</artifactId>
        </dependency>
        <dependency>
            <groupId>io.jsonwebtoken</groupId>
            <artifactId>jjwt</artifactId>
            <version>0.9.1</version>
        </dependency>

        <dependency>
            <groupId>org.json</groupId>
            <artifactId>json</artifactId>
            <version>20220320</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.security</groupId>
            <artifactId>spring-security-test</artifactId>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.springdoc</groupId>
            <artifactId>springdoc-openapi-ui</artifactId>
            <version>1.6.4</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.22.2</version>
                <configuration>
                    <properties>
                        <configurationParameters>
                            junit.jupiter.conditions.deactivate = *
                            junit.jupiter.extensions.autodetection.enabled = true
                            junit.jupiter.testinstance.lifecycle.default = per_class
                            junit.jupiter.execution.parallel.enabled = true
                            junit.jupiter.execution.parallel.mode.default = concurrent
                            junit.jupiter.execution.parallel.mode.classes.default = concurrent
                            junit.jupiter.execution.parallel.config.strategy = dynamic
                            junit.jupiter.execution.parallel.config.dynamic.factor = 2
                        </configurationParameters>
                    </properties>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

我已经尝试了我找到的所有解决方案。 甚至由提到的问题的评论提出的解决方案。 如果有人可以帮助我。 提前致谢。

注 1 ：该代码是原始代码的近似值，但它表示它足够接近。

注2 ：如果你能帮助我加快测试速度，那将是一种奖励。 错误报告中的那个人声称它在 3 分钟内执行了约 2600 个测试，而我的测试需要 +20 分钟才能执行。 但在其中一个问题中，答案表明测试套件需要几个小时才能完成是正常的。

Answer 1

我看到的一个问题是，您滥用@SpringBootTest来处理应该是基本单元测试的事情。 您应该只将@SpringBootTest用于完整的集成测试，而不是用于单元测试。

问题在于，对于@TestPropertySource 、 @MockBean和其他的每个排列（请参阅文档）。 它将加载一个完整的应用程序并将其缓存（请参阅上述文档）。 这不仅速度慢，而且还会导致大型应用程序出现 memory 问题。

相反，您应该使用 Mockito（您已经通过@MockBean使用）编写基本单元测试。

因此，重写那些遵循所述模式的测试，以使用普通 Mockito 而不是@SpringBootTest 。 这将大大加快您的测试运行速度并减少所需的 memory 的数量。

@ExtendWith(MockitoExtension.class)
public class Services_CategoryTBTest {

    private static final id = "1"

    @InjectMocks
    privateService_CategoryTB_impl service;

    @Mock
    private CategoryRepository repository;


    private void setMock(String id) {
        Optional<CategoryTb> categoryTB = Optional.of(new CategoryTb());
        categoryTB.get().setCodcat(id);

        Mockito.when(repository.existsById(id)).thenReturn(true);
        Mockito.when(repository.findById(id)).thenReturn(categoryTB);
    }

    private void setSeveralMock() {

        CategoryTb categoryTB = new CategoryTb();
        categoryTB.setCodcat("1");

        Mockito.when(repository.findAll()).thenReturn(Arrays.asList(categoryTB));
    }

    @Test
    void getSpecificSuccessfully() {
        //Given
        String id = "1";
        setMock(id);

        //When
        CategoryIdDTO category = service.findById(id);

        //Then
        assertEquals(category.getCodcat(), id);
    }

    @Test
    void getAllSuccessfully() {

        //Given
        setSeveralsMock();

        //When
        List<CategoryIdDTO> categorys = service.findAll();

        //Then
        assertEquals(categorys.size(), 1);

    }

    @Test
    void createSuccessfully() {

        //Given
        CategoryIdDTO category = new CategoryIdDTO();
        category.setCodcat("1");
        category.setDescat("Desc");

        //When
        service.create(category);

        //Then
        Mockito.verify(repository).save(Mockito.any(CategoryTb.class));

        
    }

    @Test
    void updateSuccessfully() {

        //Given
        String id = "1";
        setMock(id);
        CategoryModifDTO category = new CategoryModifDTO();
        category.setDescat("Desc");

        //When
        service.update(id, category);

        //Then
        Mockito.verify(repository).save(Mockito.any(CategoryTb.class));

    }

    @Test
    void deleteSuccessfully() {

        //Given
        String id = "1";
        setMock(id);

        //When
        service.delete(id);

        //Then
        Mockito.verify(repository).delete(Mockito.any(CategoryTb.class));

    }

    @Test
    void testFailIfExistsByIdCheckSuccessfully() {

        //Given
        Mockito.when(repository.existsById(null)).thenReturn(true);
        
        assertThrows(HttpClientErrorException.class, () -> service.failIfExistsById(null));

    }

    @Test
    void testFailIfNotExistsByIdCheckSuccessfully() {

        //Given
        Mockito.when(repository.existsById(null)).thenReturn(false);
        
        assertThrows(ResourcesNotFoundException.class, () -> service.failIfNotExistsById(null));

    }
    
}

上面的测试，使用纯 Mockito，会运行得更快并且测试完全相同。

接下来，您似乎也非常热衷于使用@DirtiesContext不要因为这也会减慢您的测试速度，因为它会在每次需要时重新加载上下文。 当您使用模拟时，没有任何东西会粘住，因此无需重新加载。 所以放弃它们（如果确实需要它，请非常小心，甚至修改您的测试，这样您就不需要它，比如在测试后进行清理而不是重新加载整个应用程序）。

Answer 2

您可以为您的测试指定一个 JVM arg，允许在您的 pom.xml 中像这样使用更高的pom.xml ：

</project>    
    [...]
    <build>
      [...]
      <plugins>
        <plugin>
           <groupId>org.apache.maven.plugins</groupId>
           <artifactId>maven-surefire-plugin</artifactId>
           <version>2.22.2</version>
           <configuration>
                <argLine>-Xmx1024M</argLine> // You can provide comma separated values if you have more than one
           </configuration>
         </plugin>
       </plugins>
       [...]
    </build>
    [...]
</project>

如果您指定了足够多的 memory，您就不会再遇到java.lang.OutOfMemoryError了。