Erlang：功能在 shell 中有效，但在 YAWS 中无效

Question

我唯一的调试方法（ io:format/2 ）在 YAWS 中不起作用。 我不知所措。 我的主管启动了三个进程：ETS Manager、YAWS Init 和 Ratelimiter。 这是成功的。 我可以使用 shell 中的速率限制器...调用 YAWS 应该具有的相同功能。 不同之处在于 shell 的行为与我预期的一样，我不知道 YAWS 中发生了什么。

我知道如果我在 shell: ratelimiter ratelimiter:limit(IP)中发送垃圾邮件命令，它最终会返回true 。 我可以执行以下操作，它也会返回true ： ratelimiter:lockout(IP), ratelimiter:blacklist(IP) 。 限制器是gen_server 。

这些函数执行以下操作：

• limit/1 : 如果计数器 > 阈值，则检查 ETS 表； 更新计数器。 如果 counter > blacklist threshold 进入 mnesia 表
• blacklist/1 : 检查 mnesia 表是否存在条目； 是：重置计时器
• lockout/1 ：立即将 ID 输入到 mnesia 表中

在我的arg_rewrite_mod模块中，我正在做一些检查以确保我收到了我期望的 HTTP 请求，即 GET、POST 和 HEAD。 我认为这也是进行速率限制的好地方。 在 web 服务器的事件链中尽快执行此操作。

除了使用“printf”和限制器之外，我对arg_rewrite模块所做的所有更改似乎都有效。 我是这门语言的新手，所以我不确定我的错误是否明显。

我的arg_rewrite_mod的骨架：

-module(arg_preproc).
-export([arg_rewrite/1]).

-include("limiter_def.hrl").
-include_lib("/usr/lib/yaws/include/yaws_api.hrl").


is_blacklisted(ID) ->
    case ratelimiter:blacklist(ID) of
    false ->    continue;
    true ->     throw(blacklist)
    end.

is_limited(ID) ->
    case ratelimiter:limit(ID) of
    false ->    continue;
    true ->     throw(limit)
    end.


arg_rewrite(A) ->
    Allow = ['GET','POST', 'HEAD'],

    try
        {IP, _} = A#arg.client_ip_port,

        ID = IP,
        is_blacklisted(ID),

io:format("~p ~p ~n",[ID, is_blacklisted(ID)]),         

        %% === Allow expected HTTP requests
        HttpReq = (A#arg.req)#http_request.method,

        case lists:member(HttpReq, Allow) of
            true ->
                {_,ReqTgt} = (A#arg.req)#http_request.path,
                PassThru = [".css",".jpg",".jpeg",".png",".js"],
                %% ... much more ...
            false ->
                is_limited(ID),
                throw(http_method_denied)
        end
    catch
        throw:blacklist -> %% Send back a 429;
        throw:limit -> %% Same but no Retry-After;
        throw:http_method_denied ->
        %%Only thrown experienced
            AllowedReq = string:join([atom_to_list(M) || M <- Allow], ","),
            A#arg{state=#rewrite_response{status=405,
                        headers=[{header, {"Allow", AllowedReq}},{header, {connection, "close"}}]
            }};
        Type:Reason -> {error, {unhandled,{Type, Reason}}}
    end.

I can spam curl -I -X HEAD <<any page>> as fast as I can in a bash shell and all I get is HTTP 200 . ETS 表也有零条目。 使用PUT我得到了HTTP 405 。 我可以ratelimiter:lockout({MY_IP})并让 web 页面加载到我的浏览器和HTTP 200和curl中。

我很困惑。 是我开始 YAWS 的方式吗？

start() ->
    os:putenv("YAWSHOME", ?HOMEPATH_YAWS),
    code:add_patha(?MODPATH_YAWS),

    ok = case (R = application:start(yaws)) of
        {error, {already_started, _}} -> ok;
        _ -> R
    end,

    {ok,self()}. %% Tell supervisor everything okay in a manner it expects.

我这样做是因为我认为它会“更容易”。

Answer 1

当启动 Yaws 作为另一个应用程序的一部分时，使用它的嵌入支持很重要。 Yaws 嵌入启动代码所做的一件重要事情是将应用程序环境变量embedded设置为true ：

application:set_env(yaws, embedded, true),

Yaws 在它的几个代码路径中检查这个变量，特别是在初始化期间，以避免假设它作为一个独立的守护进程运行。

关于速率限制，您可以考虑使用shaper ，而不是使用 arg 重写器。 yaws_shaper模块提供了一种期望其回调模块实现两个功能的行为：

• check/1 : yaws_shaper调用这个来允许回调模块决定是否允许来自客户端的请求。 它将客户端主机信息作为回调参数传递。 您的 shaper 回调模块返回 atom allow以允许请求继续进行，或者返回元组{deny, Status, Message} ，其中Status是 HTTP 状态代码以返回给客户端，例如 429 表示客户端正在制作太多请求，并且Message是要返回给客户端的任何额外的 HTML。 （如果Message可以包含回复 header （例如Retry-After ）可能会很好；这是我将考虑添加到 Yaws 的内容。）

• update/3 ：当客户端的响应准备好返回时， yaws_shaper调用它。 第一个参数是客户端主机信息，第二个参数是“命中”的数量（每个请求的值为 1），第三个参数是响应客户端请求而传递的字节数。 您的 shaper 回调模块可以从update/3返回ok （Yaws 不使用返回值）。

整形者可以使用这个框架来跟踪每个客户端发出的请求数量以及 Yaws 向每个客户端传递的数据量，并使用该信息来限制或拒绝特定客户端。

最后，虽然“printf 调试”有效，但它并不理想，尤其是在具有内置跟踪功能的 Erlang 中。 您应该考虑学习dbg模块，这样您就可以跟踪您想要的任何 function，查看是谁调用了它，查看传递给它的 arguments 是什么，查看它返回什么等。