堆栈内存溢出
cost 295 ms
检查 DFS 共享路径时获取 NERR_DfsNoSuchVolume（错误代码：2662） - Getting NERR_DfsNoSuchVolume (Error code:2662) while checking DFS share path

我有一个使用服务帐户运行的 exe（C# 应用程序）并试图获取文件共享的 DSF 链接。 共享存在且可访问。 我有另一个类似的 exe 使用相同的服务帐户运行并且运行良好，因为我的 exe 没有收到 2662 错误。 我比较了这两个 exe，它们很相似，但现有的 exe 没有收到 2662 错误。 ...

Spark从分布式文件系统读取？ - Spark reading from distributed file system?

假设我将数据（用户事件）存储在分布式文件系统（如 S3 或 HDFS）中。 用户事件存储在目录中日期明智。 案例 1考虑 Spark 作业需要读取一天的数据。 我的理解是单个spark作业会从当天目录中读取数据并逐块读取数据，将数据提供给spark集群进行计算。 逐块读取过程会是顺序的吗？ 案例 ...

Web应用程序的对象存储 - Object storage for a web application

我目前正在开发一个网站，其中应该向其用户提供大约4000万份文档和图像。 我需要建议哪种方法最适合存储符合这些要求的内容。 系统应具有高可用性，可扩展性和耐用性。 文件必须永久存储，用户应该能够修改它们。 由于客户端的限制，第三方对象存储提供商（如Amazon S3和 ...

访问 Google Cloud Storage 上大文件中的随机行 - Access random line in large file on Google Cloud Storage

我正在尝试从存储在公共云存储桶中的大文件中随机读取一行。 我的理解是，我无法使用 gsutil 执行此操作，并且已经研究了 FUSE，但不确定它是否会满足我的用例： https : //cloud.google.com/storage/docs/gcs-fuse 有很多文件，每个文件大约 50G ...

具有/不具有HDFS的Alluxio - Alluxio with/without HDFS

我有一个使用HDFS作为存储不足的分布式文件系统的群集，但是我刚刚了解了快速灵活的alluxio 。 因此，我的问题是：我应该将Alluxio与HDFS一起使用还是将Alluxio替代HDFS？ （我在他们的站点中看到用于存储文件系统的共享存储可以是网络文件系统（NFS）。因此，我认为不需要 ...

分布式文件系统的S3与EFS传播延迟？ - S3 vs EFS propagation delay for distributed file system?

我正在一个使用多个docker容器的项目中进行比较，所有这些容器都需要访问同一文件。 重要的是，如果一个文件对一个容器可见，那么到另一个容器对文件可见之间的时间最短。 作为这种情况的一个示例，我正在尝试避免这种情况：假设我们有两个文件A和B，以及两个容器1和2。文件A都上载到文件系统，并 ...

IPFS 文件未下载 - IPFS file not downloading

我正在使用 ipfs 与其他用户共享文件，我上传它然后停止 ipfs 守护进程。 因此，理想情况下，无论发送方机器是否正在运行 ipfs 守护进程，文件都应该分发给其他对等点并可下载给接收方用户。 这里有延迟还是我遗漏了什么？ ...

打开IgnitePath时如何获取InputStream（返回HadoopIgfsSecondaryFileSystemPositionedReadable）？ - How to obtain an InputStream when opening an IgnitePath (returns HadoopIgfsSecondaryFileSystemPositionedReadable)?

通常，在使用Hadoop和Flink时，从分布式文件系统中打开/读取文件将返回一个扩展java.io.InputStream的Source（接收器的对象）对象。 但是，在Apache Ignite中，IgfsSecondaryFileSystem（尤其是IgniteHadoopIgfsSe ...

为什么小文件会在Google文件系统中创建热点？ - Why do small files create hot spots in the Google File System?

我从谷歌文件系统文件中了解到这一点 一个小文件由少量块组成，可能只有一个。 如果许多客户端访问同一文件，则存储这些块的块服务器可能成为热点。 小文件有什么区别？ 许多客户端访问的大文件是否同样可能导致问题？ 我想过/读过以下内容： - 我假设（如果我错了， ...

GlusterFS服务器选项cluster.readdir-optimize控制什么？ - What does the GlusterFS server option cluster.readdir-optimize control?

我一直在尝试优化GlusterFS存储群集的小文件性能。 许多论坛主题和博客文章似乎建议在卷上设置cluster.readdir-optimize属性，例如： 该选项的默认设置（从GlusterFS v3.10开始）似乎是off ，这使我认为启用此功能必须进行一些折衷。 但是，我 ...

使用Zookeeper在群集上分发文件 - Use zookeeper to distribute files over cluster

我有一个API，可根据用户输入创建文件。 我需要在群集上分发此文件，这样1个文件应仅在1个节点上。 我可以使用zookeeper来做到这一点吗？ 用户可能要删除该文件。 这意味着当被要求时，动物园管理员需要从节点删除文件。 我已经阅读了Zookeeper Wiki，但是很难理解 ...

在 Python 中获取网络位置的 DFS 路径 - Obtain the DFS path of a network location in Python

我想从具有分布式文件系统架构的 Windows 网络位置获取类似 ping 的响应，例如 一旦我有了主机，我就可以轻松地 ping 到该位置。 我可以通过查看 Windows 资源管理器中的 DFS 选项卡来确定folder_x的主机名，该选项卡看起来像 如何在 Python 中以编程方式 ...

虚拟文件系统是否位于分布式文件系统之上？ - Does virtual file system lie on top of distributed file systems?

在Linux内核中，虚拟文件​​系统位于具体文件系统和设备文件的顶部，以提供统一的接口来访问位于其下方的文件。 分布式文件系统是否位于每台计算机的虚拟文件系统之下或之上？ 分布式文件系统是在OS内核级别还是在OS内核之上的软件中实现的？ 图层的整体外观如何？ 谢谢。 ...

hadoop DistributedFileSystem 线程安全吗？ - is hadoop DistributedFileSystem thread safe?

我正在使用 hadoop 来写入我抓取的数据。 我有一个 spring 服务，该服务从多个线程调用以将一些内容写入 HDFS。 我不确定 FileSystem object 是否可以成为 WriteService 的成员，我也不知道它是否是线程安全的。 我正在使用分布式文件系统 object。 您 ...

如何使用 spark 和 elasticsearch-hadoop 从/写入不同的 ElasticSearch 集群？ - How do you read and write from/into different ElasticSearch clusters using spark and elasticsearch-hadoop?

原标题：除了HDFS，spark还支持哪些DFS（推荐）？ 我很高兴在几个巨大的集群中使用 spark 和 elasticsearch（使用 elasticsearch-hadoop 驱动程序）。 有时，我想拉出整个数据集群，处理每个文档，并将它们全部放入不同的 Elasticsearch (E ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM