Ruby StringScanner用於lexing：如何獲取行號？

Question

我正在使用StringScanner進行詞法分析，如下所示：

def next
 @scanner.skip(/\s+/)
 value,kind=nil,nil
 TOKEN_DEF.each{|tok,regex| (kind=tok;break) if @scanner.scan(regex)}
 return Token.new(kind,value,@line,@scanner.pos)
end

初看起來，這很有效，除了我無法弄清楚如何獲得@line數。

我已經閱讀了doc，其中begin_of_line？ 方法似乎合適，但我無法想象如何使用它。

Answer 1

將您正在掃描的文本保留在變量中並使用“計數”

我在我的代碼中使用以下內容：

def current_line_number; @text[0..@scanner.pos].count("\n") + 1; end

Answer 2

這段代碼似乎沒有准備好去確定其他地方更優雅的解決方案，它應該給你一些思考的東西。

class Retry < StandardError
end

class TextScanner
  def initialize(filename)
    @lines = IO.readlines(filename)
    @fiber = Fiber.new do
      @lines.each_with_index do |line, index|
        @scanner = StringScanner.new(line)
        @scanner.skip(/\s+/)
        value, kind = nil, nil
        begin 
          got_token = false
          TOKEN_DEF.each do |tok, regex|
            if @scanner.scan(regex)
              Fiber.yield Token.new(tok, value, index, @scanner.pos)
              got_token = true
            end
          end
          raise Retry if got_token
        rescue Retry
          retry
        end
      end
      "fiber is finished"
    end
  end

  def next
    @fiber.resume
  end
end

text_scanner = TextScanner('sometextfile')
puts text_scanner.next #=> first token
puts text_scanner.next #=> second token
puts text_scanner.next #=> third token
...
puts text_scanner.next #=> "fiber is finished"

Answer 3

我想我有一個簡單的解決方案。 這里是 ：

def next
 @line+=1 while @scanner.skip(/\n/)
 @line+=1 if @scanner.bol?
 @scanner.skip(/\s+/)
 @line+=1 if @scanner.bol?
 @scanner.skip(/\s+/)
 return :eof if @scanner.eos?
 TOKEN_DEF.each { |tok,syntax| (kind=tok;break) if @scanner.scan(syntax)}
 return Token.new(kind,nil,@line,@scanner.pos)
end