如何避免在Linux中通过本地堆栈进行路由

Question

我有以下环境：2个主机，每个主机具有2个相互连接的以太网接口（如下图所示）：

 +---------+               +---------+                     
 |      (1)+---------------+(2)      |    
 |  host1  |               |  host2  |
 |         |               |         |
 |      (3)+---------------+(4)      |
 +---------+               +---------+

我想编写客户端/服务器套接字工具，该工具将同时打开host1上的客户端和服务器套接字。 我希望客户端通过接口（1）发送TCP数据包，而服务器在接口（3）上侦听数据包将通过host2。

通常，Linux堆栈将通过本地TCP / IP堆栈路由此数据包，而不将其发送到host2。

我尝试对服务器和客户端使用SO_BINDTODEVICE选项，并且看来服务器确实绑定到接口（3），并且没有监听本地主机通信。 我检查了host1的客户端不能接受，而host2的客户端可以接受。

不幸的是，客户端数据包没有通过接口（1）发送到接口（2）（即使接口（1）上的tcpdump也看不到数据包）。 当然路由是正确的（我可以从（1）ping（2），从（1）刷新（4），从（3）刷新（4），依此类推）。

我的问题是，是否可以在不使用自定义TCP / IP堆栈的情况下实现？

也许我应该尝试将目标IP地址（来自客户端）更改为来自外部网络（然后将使用默认网关从接口（1）-接口（2）发送），然后在后路由中将其再次更改为原始IP地址？ 这样的解决方案可行吗？

我正在Debian下用C编写我的应用程序。

添加更多详细信息和说明：

1. 当然，（1）-（2）和（3）-（4）对都是不同的子网
2. 我想要实现的是（1）->（2）->（4）->（3）
3. host2是黑盒，因此我无法在其中安装任何数据包转发器（它将打开接口（2）上的侦听套接字并将其转发到（3）到（4））-这正是我要避免的事情

主要问题似乎是本地交付。 当我在host1上打开套接字并想连接到套接字时，即正在侦听同一主机内核的其他地址，只是使用本地堆栈来传递数据包。 请参见下面的netfilter图：

 --->[1]--->[ROUTE]--->[3]--->[4]--->
             |            ^
             |            |
             |         [ROUTE]
             v            |
            [2]          [5]
             |            ^
             |            |
             v            |

数据包正在通过[5] NF_IP_LOCAL_OUT和[2] NF_IP_LOCAL_IN，而我想强制它们通过[4]。

Answer 1

未经测试（应该可以，但是我可能错过了一些东西）：

Linux有几个路由表。 表本地包含一些路由，内核会为添加到主机的每个IP地址自动添加一些路由。 您可以使用ip route show table local查看它们。 标记为本地的路由表示通过环回接口的本地路由。 您可以删除该路由并添加普通的单播路由来替换它：

ip route del table local <ip> dev <NIC>
ip route add table local <ip> dev <NIC>
ip route flush cache

现在，您的第一个盒子将尝试将IP数据报发送到该IP地址，就好像它是一个远程地址一样，例如：它将使用ARP。 因此，如果您的第二个盒子充当路由器或正在执行代理ARP，则必须回复ARP请求，或者您必须向ARP缓存添加关联：

arp -s <ip> <MAC>

然后，您可能必须在接口上禁用rp_filter ：

echo 0 > /proc/sys/net/ipv4/conf/<NIC>/rp_filter

再说一次，如果这不起作用，您可能可以使用ebtables使用L2 NAT进行设置。

Answer 2

对于非常相似的任务，我使用了以下脚本：

ip rule add from all lookup local # add one more local table lookup rule with high pref
ip rule del pref 0 # delete default local table lookup rule
ip rout add ${ip3} via ${ip2} src ${ip1} table 100 # add correct route to some table
ip rule add from all lookup 100 pref 1000 # add rule to lookup new table before local table

Answer 3

您可以为（1）-（2）和（3）-（4）对分配不同的子网，并使host2将数据包从（2）转发到（3）。 host1上的客户端将连接到（2）的地址，因此本地网络堆栈也不会知道目标服务器实际上也在本地运行。