如何從StringTokenizer獲取定界符？

Question

StringTokenizer tokenizer = new StringTokenizer(s, " ,.:;?![]'");

有沒有辦法也檢索定界符，在這種情況下是所有標點符號？

例如，“這是測試，也是測試嗎？”

我希望標記化的結果還包括兩個標記，以及？

那可能嗎？

Answer 1

StringTokenizer具有一個重載的構造函數，該構造函數帶有第三個boolean參數。 將其設置為true將使tokenzier也返回定界符：

StringTokenizer tokenizer = new StringTokenizer(s, " ,.:;?![]'", true);
// Here ---------------------------------------------------------^