登录墙后面的抓取表

Question

我正在努力获取正确的代码片段，以将受密码保护的网站的表格抓取到 excel 工作簿中。 我已经能够获得所有代码来处理表格部分。 当我运行代码时，它打开 IE，登录但随后出错（91：Object 变量或未设置 WITH 块变量）。 代码如下：

Private Sub CommandButton3_Click()
Declare variables
  Dim IE As Object
  Dim Doc As HTMLDocument
  Dim HTMLTable As Object
  Dim TableRow As Object
  Dim TableCell As Object
  Dim myRow As Long
  
'Create a new instance of Internet Explorer
  Set IE = CreateObject("InternetExplorer.Application")
  IE.Visible = True
  
'Navigate to the website
  IE.Navigate "https://www.myfueltanksolutions.com/validate.asp"
  
'Wait for the page to finish loading
  Do While IE.ReadyState <> 4
    DoEvents
  Loop
  
'Set the document object
  Set Doc = IE.Document
  
'Fill in the security boxes
  Doc.all("CompanyID").Value = "ID"
  Doc.all("UserId").Value = "Username"
  Doc.all("Password").Value = "Password"
  
'Click the submit button
  Doc.all("btnSubmit").Click
  
'Wait for the page to finish loading
    Do Until IE.ReadyState = READYSTATE_COMPLETE
        DoEvents
    Loop
  
'Set the HTMLTable object
  Set HTMLTable = Doc.getElementById("RecentInventorylistform")
  
  
'Loop through each row in the table
  For Each TableRow In HTMLTable.getElementsByTagName("tr")
  
'Loop through each cell in the row
    For Each TableCell In TableRow.getElementsByTagName("td")
    
'Write the table cell value to the worksheet
      Worksheets("Sheet1").Range("A5").Offset(myRow, 0).Value = TableCell.innerText
      myRow = myRow + 1
    
    Next TableCell
    
  Next TableRow
  
    Do Until IE.ReadyState = READYSTATE_COMPLETE
        DoEvents
    Loop
    
'Log out and close website

    IE.Navigate ("https://www.myfueltanksolutions.com/signout.asp?action=rememberlogin")
    
    IE.Quit
  
End Sub

我已经包含了我在登录后尝试在重定向页面上抓取的表的 HTML 代码。

Answer 1

我不会厌倦一次又一次地告诉它...... ;-)
不要再使用 IE 了。 MS 正在积极淘汰它！

但为了解释：

我敢肯定，这是不符合您预期的代码片段：

...
...

'Wait for the page to finish loading
Do Until IE.ReadyState = READYSTATE_COMPLETE
  DoEvents
Loop

'Set the HTMLTable object
Set HTMLTable = Doc.getElementById("RecentInventorylistform")

...
...

等待READYSTATE_COMPLETE在这里不起作用（出于某些原因）。 因此代码将 go 不停地运行并且不会加载新内容。 getElementByID()的使用以命名错误结束，因为没有具有该 ID 的元素。

DOM 的一些获取方法的附录（文档 Object 模型） ：

getElementsByTagName()和getElementsByClassName()方法将构建一个节点集合，其中包含符合给定标准的所有元素。 如果您使用getElementsByTagName("a")构建一个集合，您将获得一个包含所有锚标记的集合。 集合中的每个元素都可以像在数组中一样使用它的索引来调用。 如果您想知道集合中有多少元素，您可以阅读属性length 。 如果没有您要求的元素，在我们的示例 a-tags 中，长度将为 0。但是集合是构建的，所以您有一个 object。

构建集合的 get 方法在...Elements...中有一个表示复数的s ，但是getElementByID()没有s ，因为 id 在 html 文档中只能出现一次。 这里不需要收集。 方法getElementByID()总是尝试根据要求的标准构建一个 object。 如果没有这样的元素，您将得到没有 object 的错误。

如何解决问题：

我们必须更改终止条件和循环体。 我们必须一次又一次地询问是否存在具有所需 id 的元素。 为此，我们必须使用给定的行：
Set HTMLTable = Doc.getElementById("RecentInventorylistform")

就像我之前说的，如果它不存在就会引发错误。 这是正确的。 但是使用On Error Resume Next我们可以忽略代码中的任何错误。

注意力！
仅在特定情况下使用它，并在代码的关键部分之后使用On Error GoTo 0切换回错误处理。

将我在此答案中上面发布的代码替换为以下代码：
（为避免无限循环，建议也使用超时机制。但我会在这里保持简单。）

Do
  On Error Resume Next
  Set HTMLTable = Doc.getElementById("RecentInventorylistform")
  On Error GoTo 0
Loop While HTMLTable Is Nothing