spring 引導應用程序（在 k8s 中運行）中不斷增加的堆大小問題

Question

服務說明：

這個 spring 啟動應用程序本質上是一個 web 充電站套接字代理（使用 OCPP 協議通過 websocket）作為負載均衡器后面的多個節點運行，基本上保持/保持打開連接，以便其他微服務（消息的實際消費者）通過 rabbitmq 連接到此代理可以重新部署和維護。

堆轉儲：

這些設備（數以萬計）往往會經常連接和斷開連接。 問題是

org.apache.catalina.session.StandardManager 中的會話（屬性）

不斷添加會話（超過 700 000）但不刪除它們（在 7 天內）。 看圖（StandartManager）

我也調查過

org.apache.tomcat.websocket.server.WsServerContainer 中的會話（屬性）

它持有 websocket 個會話（在轉儲時：523）是正確的。 看圖（WsServerContainer）

該應用程序還出於自己的目的將活動會話（每個節點）保存在並發 map 中：

WebsocketServerService 中的會話（屬性）

轉儲時：530（與上述會話相關，不要介意小差異，沒關系）見圖片（WebsocketServerService）

所以基本上期望是所有會話屬性都將持有幾乎相同數量的會話，在這種情況下大約是 530，而不是超過 700 000。

問題：

什么可能導致標准會話的不斷上升？ 我不熟悉 tomcat 的內部工作原理，如果 websocket 連接被標准 session“烘焙”（至少在連接開始時）並且沒有正確關閉套接字（雙方）可能會導致標准會話會粘在周圍，一段時間后不會被收集。 這些只是假設。

可能原因 (WIP) 的一種版本是我們正在使用標准的WebSecurityConfigurerAdapter

@Configuration
@EnableWebSecurity
@AllArgsConstructor
public class SecurityConfig extends WebSecurityConfigurerAdapter {

    private final WebsocketServerProperties websocketServerProperties;
    private final StationAuthenticationProvider stationAuthenticationProvider;
    private final AuthenticationEntryPoint authEntryPoint;

    @Override
    public void configure(AuthenticationManagerBuilder auth) throws Exception {
        auth.authenticationProvider(stationAuthenticationProvider);
    }

    @Override
    @SuppressWarnings("squid:S4502")
    protected void configure(HttpSecurity http) throws Exception {
        http.csrf().disable()
                .httpBasic()
                .authenticationEntryPoint(authEntryPoint)
                .and()
                .antMatcher(websocketServerProperties.getWebsocketPathVpn() + "/**").anonymous()
                .and()
                .antMatcher(websocketServerProperties.getWebsocketPathInternet() + "/**")
                .authorizeRequests()
                .anyRequest()
                .authenticated();
    }

}

而不是這里提到的https://docs.spring.io/spring-security/reference/servlet/integrations/websocket.html#websocket-configuration

因此，如果站點連接並且出現錯誤，例如 401，則套接字未正確關閉，並且會話增加而未被 GC 正確關閉和收集（假設）。

websocket controller 的實現是標准的（至少參考文檔）：

@Configuration
@EnableWebSocket
@RequiredArgsConstructor
@EnableConfigurationProperties(WebsocketServerProperties.class)
public class WebsocketServerConfig implements WebSocketConfigurer {
    public static final String[] SUPPORTED_PROTOCOLS = new String[]{.....};

    private final WebsocketServerProperties websocketServerProperties;
    private final WebsocketHandShakeInterceptor websocketHandShakeInterceptor;
    private final StationSocketHandler stationSocketHandler;

    public void registerWebSocketHandlers(WebSocketHandlerRegistry registry) {
        registry.addHandler(stationSocketHandler,
                        websocketServerProperties.getWebsocketPathVpn() + "/*",
                        websocketServerProperties.getWebsocketPathInternet() + "/*")
                .addInterceptors(websocketHandShakeInterceptor)
                .setHandshakeHandler(handshakeHandler())
                .setAllowedOrigins("*");
    }

    private HandshakeHandler handshakeHandler() {
        DefaultHandshakeHandler handler = new DefaultHandshakeHandler();
        handler.setSupportedProtocols(SUPPORTED_PROTOCOLS);
        return handler;
    }

    @Bean
    public ServletServerContainerFactoryBean createWebSocketContainer() {
        ServletServerContainerFactoryBean container = new ServletServerContainerFactoryBean();
        container.setMaxTextMessageBufferSize(websocketServerProperties.getMaxTextMessageBufferSize());
        container.setMaxSessionIdleTimeout(websocketServerProperties.getMaxSessionIdleTimeout());
        return container;
    }

}

@Slf4j
@Component
@RequiredArgsConstructor(onConstructor = @__({@Autowired}))
public class StationSocketHandler extends TextWebSocketHandler implements SubProtocolCapable {

    public static final String DEVICE_ID = "DEVICE_ID";
    public static final String CONNECTION_ROUTE = "CONNECTION_ROUTE";

    private final OcppMessageParser ocppMessageParser;
    private final WebsocketServerService websocketServerService;
    private final PingPongService pingPongService;

    @Override
    public void handleTextMessage(final WebSocketSession session, TextMessage textMessage) {
        OcppMessage message = ocppMessageParser.parsePayloadWithSessionId(session.getId(), textMessage.getPayload());
        websocketServerService.processMessageFromStation(message);
    }

    @Override
    public void afterConnectionEstablished(WebSocketSession session) {
        Map<String, Object> attributes = session.getAttributes();
        String deviceId = (String) attributes.get(DEVICE_ID);
        String connectionRoute = (String) attributes.get(CONNECTION_ROUTE);
        websocketServerService.connect(Route.toRoute(connectionRoute), deviceId, session);
    }

    @Override
    public void afterConnectionClosed(WebSocketSession session, @NonNull CloseStatus status) {
        log.info("WebSocketSession[{}][{}] closed with status {} and attributes {}",
                session.getId(), session.isOpen(), status, session.getAttributes());
        websocketServerService.disconnectSessionId(session.getId());
    }

    @Override
    protected void handlePongMessage(WebSocketSession session, PongMessage message) throws Exception {
        pingPongService.handlePong(session, message);
    }

    @Override
    public @NonNull
    List<String> getSubProtocols() {
        return Arrays.asList(WebsocketServerConfig.SUPPORTED_PROTOCOLS);
    }

}

任何建議，想法可能會導致這種情況，我們將不勝感激。

我運行了一些負載測試以查看會話是否正在上升並且與真實的 state 無關。測試后的堆轉儲（至少目前）不是很有幫助。 也試過模擬錯誤，沒有可見的結果。

Answer 1

我能夠找出原因，所以這里的調查結果是：

• 如果您在 spring 引導應用程序中使用 websocket 處理程序的默認配置，它作為底層提供程序從 tomcat 提供
• 我們使用了默認的@EnableWebSecurity => 這意味着對於每個 websocket session 也創建了一個經典的 StandardHttpSession 用於身份驗證部分
• StandartHttpSession 的默認超時為 60 秒（server.servlet.session.timeout=60）在 tomcat 的情況下，這些總是 60 的倍數 => 60,120,180...。但是在生產中（在我不知情的情況下）有人將此屬性設置為-1 => 這意味着 session 永不過期（這解決了丟失 web 套接字連接的第一個可見問題，但導致了一年后（現在）由於負載增加而出現的新問題）
• 所以問題的機制是，在 StandartHttpSession 超時后，“底層”websocket session 被關閉，即使是可見通信。
• 問題是 websocket session 中的“活動”未傳播到上述 StandardHttpSession => 這意味着 http session 超時並關閉底層 websocket 88349481872116

現在的解決方案（我需要測試它）是以某種方式克服這個 2 session 星座，或使用不同的提供程序，如碼頭、undertow ....或黑客將 httpsession 的引用作為屬性傳遞給 websocket session 和在 onConnected 事件上將超時設置為 -1，在 session 關閉后將其設置為 60s => 這樣一分鍾后 session 就消失了。

修復是將 session 策略強制執行為 NEVER！

protected void configure(HttpSecurity http) throws Exception {
    http.csrf().disable()
    http.sessionManagement().sessionCreationPolicy(SessionCreationPolicy.NEVER)
        .and().csrf().disable()