如何从多个脚本同步（锁定/解锁）对bash中文件的访问？

Question

我正在编写将并行运行的脚本，这些脚本将从同一文件中获取输入数据。 这些脚本将打开输入文件，读取第一行，将其存储以进行进一步处理，最后从输入文件中删除此读取行。

现在的问题是，多个脚本访问文件可能会导致以下情况：两个脚本同时访问输入文件并读取同一行，这将导致该行被处理两次，这是不可接受的结果。

现在一种解决方案是在访问输入文件之前先编写一个锁定文件（ .lock_input ），然后在释放输入文件时将其删除，但是这种解决方案对我而言并不有吸引力，因为有时NFS会随机降低网络通信的速度，并且可能不会可靠的锁定。

另一种解决方案是放置进程锁而不是编写文件，这意味着第一个访问输入文件的脚本将启动一个名为lock_input的进程，而其他脚本将执行ps -elf | grep lock_input ps -elf | grep lock_input 。 如果它存在于进程列表中，他们将等待。 这可能比写入NFS更快，但仍不是完美的解决方案...

所以我的问题是 ：是否有任何bash命令（或其他脚本解释器）或我可以使用的服务，其行为类似于在线程编程中用于同步的信号灯或互斥锁？

谢谢。

小粗略的例子：

假设我们有input_file，如下所示：

Monday
Tuesday
Wednesday
Thursday
Friday
Saturday 
Sunday

处理脚本：TrScript.sh

#!/bin/bash  
NbLines=$(cat input_file | wc -l)  
while [ ! $NbLines = 0 ]  
do  
  FirstLine=$(head -1 input_file)  
  echo "Hello World today is $FirstLine"  
  RemainingLines=$(expr $NbLines - 1 )  
  tail -n $RemainingLines input_file > tmp  
  mv tmp input_file  
  NbLines=$(cat input_file | wc -l)   
done

主要脚本：

#! /bin/bash  
./TrScript.sh &  
./TrScript.sh &  
./TrScript.sh &  
wait

结果应为：

Hello World today is Monday  
Hello World today is Tuesday  
Hello World today is Wednesday  
Hello World today is Thursday  
Hello World today is Friday  
Hello World today is Saturday  
Hello World today is Sunday

Answer 1

采用

line=`flock $lockfile -c "(gawk 'NR==1' < $infile ; gawk 'NR>1' < $infile > $infile.tmp ; mv $infile.tmp $infile)"`

用于访问您要读取的文件。 但是，这使用文件锁。

gawk NR==1 < ...

打印输入的第一行

Answer 2

我一直喜欢procmail工具集中的lockfile程序（ lockfile手册页的示例搜索结果）（在大多数系统上应该可用，尽管默认情况下可能未安装）。

它旨在锁定通常通过NFS挂载（通常是？）的邮件假脱机文件，因此它可以在NFS上正常工作（尽其所能）。

另外，只要您假设所有“工作人员”都在同一台机器上（通过假设您可以检查PID（当PID最终换行时可能无法正常工作）），就可以将锁文件放在一些文件中。其他本地目录（例如/ tmp），同时处理NFS服务器上托管的文件。 只要所有工作程序都使用相同的锁定文件位置（以及锁定文件名到锁定路径名的一对一映射），它就可以正常工作。

Answer 3

使用FLOM（Free LOck管理器）工具，您的主脚本可以变得简单：

#!/bin/bash  
flom -- ./TrScript.sh &  
flom -- ./TrScript.sh &  
flom -- ./TrScript.sh &  
wait

如果您是在单个主机中运行脚本，例如：

flom -A 224.0.0.1 -- ./TrScript.sh &

如果要在许多主机上分发脚本。 在此URL上可以找到一些用法示例： http : //sourceforge.net/p/flom/wiki/FLOM%20by%20examples/