Geos，Shapely和Hadoop流

Question

我正在尝试运行Hadoop流作业来处理地理空间数据。 为此，我使用需要libgeos的 Shapely函数。

但是，该作业失败，因为在群集上未安装libgeos。

有没有办法出货libgeos到群集，并有身材匀称阅读.so从目录中的文件（也许-archives或-files ）？

命令运行示例

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D    stream.num.map.output.key.fields=2 -D mapred.text.key.partitioner.options=-k1,1 -archives hdfs://namenode:port/user/anaconda.zip#anaconda -files /some/other/stuff -input /path/to/input -output /user/geo_stuff -file /home/mr_files/mapper.py -mapper "mapper.py"

其中mapper.py开始像...

#!./anaconda/anaconda/bin/python
import shapely
from cartopy.io import shapereader
from shapely.geometry import Point
...more stuff

这会产生以下错误

from shapely.geos import lgeos
File "./anaconda/anaconda/lib/python2.7/site-packages/shapely/geos.py", line 58, in <module>
_lgeos = load_dll('geos_c', fallbacks=['libgeos_c.so.1', 'libgeos_c.so'])

File "./anaconda/anaconda/lib/python2.7/site-packages/shapely/geos.py", line 54, in load_dll
libname, fallbacks or []))

OSError: Could not find library geos_c or load any of its variants ['libgeos_c.so.1', 'libgeos_c.so']

Answer 1

如果要将文件从主节点复制到Hadoop集群上的所有核心节点，可以通过在主节点上运行它来完成此操作（ Key.pem是用于ssh进入主节点的秘密密钥，您必须先将其复制到您的主节点上）：

#!/bin/bash
nodes=(`hadoop dfsadmin -report | grep Hostname | sed 's/Hostname: //'`)
for workerip in nodes
do
    scp -i Key.pem -o UserKnownHostsFile=/dev/null \
        -o StrictHostKeyChecking=no \
           /usr/local/lib/libgeos_c* $workerip:/usr/local/lib/
done

Answer 2

如果在非标准位置具有用于GEOS的C API的libgeos_c.so共享库，则可以设置环境变量以使用该文件：

export GEOS_LIBRARY_PATH=/path/to/libgeos_c.so.1

但是，您需要确保满足依赖性。 例如：

ldd /path/to/libgeos_c.so.1

请参阅libgeos.py的源代码，以了解如何使用环境变量查找GEOS C API共享库。