用于分布式数据存储的Hadoop或Spark连接器如何工作？
[英]How does a Hadoop or Spark connector for distributed data stores function?
问题描述
Spark具有用于各种数据库和数据存储的连接器。
但是，为您自己的自定义分布式数据库创建连接器将需要什么。 据我了解，Spark使用Hadoop连接器从分布式数据存储中获取数据。 我找不到很好的资源来了解Hadoop连接器如何工作以及如何制作。
我希望了解Hadoop连接器的语义，以便能够为我的自定义数据库创建一个。
1 个解决方案
解决方案1
1 2016-02-26 10:47:57
您必须使用Java和Hadoop API来实现Record Reader
然后Spark就能使用它
我的建议是从阅读汤姆·怀特的书开始
使用 sql-spark-connector (Apache) 从 Hadoop 导出数据
[英]Export Data from Hadoop using sql-spark-connector (Apache)
如何使用Mongo-Hadoop连接器为Spark删除文档（记录）
[英]How to delete documents(records) with Mongo-Hadoop connector for Spark
我怎样才能确保数据在hadoop节点上均匀分布？
[英]How can I be sure that data is distributed evenly across the hadoop nodes?
如何使用Hadoop MapReduce或Spark进行数据预处理？
[英]How to conduct Data Preprocessing with Hadoop MapReduce or Spark?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.