[英]how to use yy_scan_string in lex
我想解析一個字符串,我在 yacc 的 main 函數中提供給解析器。 我知道這可以通過使用yy_scan_string
來完成,但我不知道如何使用它。 我搜索了網絡和手冊頁,但我仍然不清楚。 請幫幫我。
如果有人需要重入詞法分析器的樣本:
int main(void)
{
yyscan_t scanner;
YY_BUFFER_STATE buf;
yylex_init(&scanner);
buf = yy_scan_string("replace me with the string youd like to scan", scanner);
yylex(scanner);
yy_delete_buffer(buf, scanner);
yylex_destroy(scanner);
return 0;
}
這對我有用。 我在 Bison 文件的子程序部分(即第三部分)中有此代碼:
struct eq_tree_node *parse_equation(char *str_input)
{
struct eq_tree_node *result;
yy_scan_string(str_input);
yyparse();
/* to avoid leakage */
yylex_destroy();
/* disregard this. it is the function that I defined to get
the result of the parsing. */
result = symtab_get_parse_result();
return result;
}
這對我有用......使用 yy_scan_string()
int main(int argc, char **argv)
{
char Command[509];
int ReturnVal;
char input[40] = "This is my input string";
/*Copy string into new buffer and Switch buffers*/
yy_scan_string (input);
/*Analyze the string*/
yylex();
/*Delete the new buffer*/
yy_delete_buffer(YY_CURRENT_BUFFER);
}
我總是向想要學習 lex/yacc(或 flex/bison)的人推薦這個頁面
這里已經有一些很好的答案。 但出於我的目的,我需要在要分析的字符串緩沖區之間反復交換。 這里的問題是 flex 需要在每次處理運行后進行清理,並重置其內部的 parse-stuff/counters/etc。 在撰寫本文時,現有答案均未證明這一點。
本質上,這相當於保持YY_BUFFER_STATE yy_buffer_state;
在某處附近,並在需要在字符串之間切換時調用yy_delete_buffer( yy_buffer_state )
。 當 flex 被分配一個新的字符串進行掃描(使用yy_scan_string()
)時,會生成一個新的 YY_BUFFER_STATE,您需要對其進行跟蹤。
我試圖展示一個相當完整的例子,但錢是在底部附近的setLexerBuffer()
〜
例如:
%{
#include "flex_tokens_and_yylval.h"
extern LexYYLVal yylval; // my custom yylval
extern YY_BUFFER_STATE yy_buffer_state;
%}
digit [0-9]
letter [a-zA-Z]
udderscore "_"
sign [+-]
period "."
real {sign}?({digit}*{period}{digit}+)
int {sign}?{digit}+
identifier ({letter}|{udderscore})+({letter}|{digit}|{udderscore})*
/* [...] rest of the scanner rules */
%%
<<EOF>> { return LEX_EOF; }
{real} {
yylval.data.val_real = strtod( yytext, NULL );
return LEX_REAL;
}
{int} {
yylval.data.val_integer = strtol( yytext, NULL, 10 );
return LEX_INTEGER;
}
{identifier} {
strncpy( yylval.data.val_string, yytext, MAX_IDENTIFIER_LENGTH );
yylval.data.val_string[MAX_IDENTIFIER_LENGTH-1]='\0';
return LEX_IDENTIFIER;
}
[ \t\n\r] { /* skip whitespace */ }
/* [...] rest the scanner outputs */
%%
// NOT THREAD SAFE, DON'T USE FROM MULTIPLE THREADS
LexYYLVal yylval;
int yy_first_ever_run = 1;
char LexEmptyBuffer[3] = { '\n', '\0', '\0' };
YY_BUFFER_STATE yy_buffer_state;
/*
* Point flex at a new string to process, resetting
* any old results from a previous parse.
*/
void setLexerBuffer( const char *expression_string )
{
/* out with the old (If any? How does flex know?) */
if ( !yy_first_ever_run )
{
// This doesn't cause any issues (according to valgrind)
// but I also don't see any reason to call it before the
// first lex-run.
yy_delete_buffer( yy_buffer_state );
}
else
{
yy_first_ever_run = 0;
}
/* just make sure we're pointing at something */
if ( expression_string == NULL )
{
expression_string = LexEmptyBuffer;
}
/* reset the scan */
yy_buffer_state = yy_scan_string( expression_string ); /* auto-resets lexer state */
}
所以這可以讓你運行一個控制循環,如:
int main( void )
{
LexResultToken token;
setLexerBuffer( "12.3 * 0.96" );
do
{
token = yylex();
printToken( token );
}
while( token != LEX_EOF );
setLexerBuffer( "( A + B ) < ( C * D )" );
do
{
token = yylex();
printToken( token );
}
while( token != LEX_EOF );
yylex_destroy();
return 0;
}
此示例通過valgrind運行以驗證內存正確性。
我在這里找到了自己的例子。 可能對你有用:
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.