使用open-uri打开本地文件

Question

我正在使用Ruby和Nokogiri进行数据抓取。 是否可以下载并解析计算机中的本地文件？

我有：

require 'open-uri'

url = "file:///home/nav/Desktop/Scraping/scrap1.html"

它给出错误为：

No such file or directory @ rb_sysopen - file:\home/nav/Desktop/Scraping/scrap1.html

Answer 1

如果您想使用Nokogiri解析本地文件，则可以这样做。

file = File.read('/home/nav/Desktop/Scraping/scrap1.html')
doc = Nokogiri::HTML(file)

Answer 2

在浏览器中打开本地文件时，地址栏中的URL显示为：

file:///Users/7stud/Desktop/accounts.txt

但这并不意味着您在Ruby脚本中使用了这种格式。 您的Ruby脚本不会将文件名发送到浏览器，然后要求浏览器检索文件。 您的Ruby脚本直接搜索您的文件系统。

URL也是如此：您的Ruby脚本不会要求您的浏览器去从Internet检索页面，Ruby会通过使用系统的网络接口发送请求来检索页面本身。 毕竟，浏览器和Ruby程序都是计算机程序。 您的浏览器可以通过网络执行的操作，Ruby程序也可以执行。

这对我有用：

require 'open-uri'

text = open('./data.txt').read
puts text

不过，您必须走对路。 我能想到使用open()的唯一原因是，如果您将文件名和URL的数组混合在一起。 如果那不是您的情况，请参阅new2code的答案。

Answer 3

这就是我按照文档所述的方法。

    f = File.open("//home/nav/Desktop/Scraping/scrap1.html")
    doc = Nokogiri::HTML(f)
    f.close

Answer 4

我将使用Mechanize并在本地保存文件，然后像这样用Nokogiri解析它：

# Save the file
agent = Mechanize.new
agent.pluggable_parser.default = Mechanize::Download
current_url = 'http://www.example.com'
file = agent.get(current_url)
file.save!("#{Rails.root}/tmp/")

# Read the file
page = Nokogiri::HTML::Reader(File.open(file))

希望有帮助！