UTF8 文件上的 Haskell 正則表達式匹配

Question

我寫了這個 function

module PdfParser (parseOptions) where

import Text.Regex.PCRE
import Data.List.Split

parseOptions :: String -> [String]
parseOptions s = splitOn "\n" (s =~ regex :: String)
  where 
    regex = "(?<=OPTIONS\n)((.|\n)*?)(?=INTERIEUR|INTÉRIEUR|EQUIPEMENTS DE SERIE)"

並測試

module PdfParserSpec (spec) where

import Test.Hspec
import Test.QuickCheck
import PdfParser(parseOptions)

spec :: Spec
spec =  do
  describe "PdfParser (parseOptions)" $ do
    it "return List of options" $ do
      referencialText <- readFile "test/assets/referential.txt"
      parseOptions referencialText `shouldBe` [
        "Peinture métallisée 550 €"
        ,"Jantes alliage 17\" Viva Stella [RDIF21] 300 €"
        ,"Chargeur sans fil 250 €"
        ,"Roue de secours tôle [RSEC01] 150 €"]

但是當我閱讀文本文件時，我所有的字符 éè 等都被 \233f\233 替換。 然后我的正則表達式不起作用。

測試結果：

 test/PdfParserSpec.hs:12:7: 
  1) PdfParser, PdfParser (parseOptions), return List of options
       expected: ["Peinture m\233tallis\233e 550 \8364","Jantes alliage 17\" Viva Stella [RDIF21] 300 \8364","Chargeur sans fil 250 \8364","Roue de secours t\244le [RSEC01] 150 \8364"]
        but got: ["s alliage 17\" Viva Stella [RDIF21] 300 \8364","Chargeur sans fil 250 \8364","Roue de secours t\244le [RSEC01] 150 \8364","INT\201RIEUR","Sellerie Zen (Au lieu de Selleri"]

我的正則表達式在我的文件上工作-> https://regex101.com/r/HYBmMh/1

我該如何解決？

Answer 1

我將 hackage regex-pcre-builtin更改為light-pcre 。 它有效！

我必須將我的字符串編碼為 ut8 字節串，然后添加 utf8 編譯時標志

module PdfParser (parseOptions) where

import Text.Regex.PCRE.Light(compile, utf8, match)
import Data.ByteString.UTF8(toString, fromString)
import Data.List.Split
import Data.String.Utils(strip)

parseOptions :: String -> Maybe [String]
parseOptions s = (splitOn "\n" . strip . toString . (!!0)) <$> (match regex (fromString s) [])
  where 
    regex = compile (fromString "(?<=OPTIONS\n)([\\s\\S]*?)(?=INTÉRIEUR)") [utf8]

謝謝您的意見：）