[英]SSIS: Programmatically create new Excel file based on web query results - how do I save the web query table names?
我想做什么?
我有一个URL列表,我想使用Excel的Web查询功能。 我正在尝试完全自动化该过程,因此我正在开发一个SSIS包,为每个URL调用脚本任务。 脚本任务使用工作表创建一个新的Excel工作簿,激活工作表,添加QueryTable连接,使用XlWebSelectionType.xlAllTables
刷新QueryTable以获取数据。 然后它保存工作簿并关闭工作簿和Excel应用程序。
我使用什么技术?
有什么问题?
虽然脚本任务确实保存了网页上表中的所有数据,但它将它们全部放入单个工作表中,并且不保存表名。 因此,虽然我的数据在工作表中正确分组,但我无法知道哪个“组”数据对应于哪个表。
我该怎么办呢?
理想情况下,我希望将每个QueryTable表保存到自己的工作表中,并将表名设置为工作表名称。 除此之外,我需要一种方法来保存表名与相应的数据。 在QueryTable中将其添加为新列将是此方案中的最佳列。
到目前为止我有什么?
这是脚本的主要部分:
Public Sub Main()
Dim URL As String = Dts.Variables("User::URL").Value.ToString()
Dim FileName As String = Dts.Variables("User::FileName").Value.ToString()
Dim xlNone As XlWebFormatting = XlWebFormatting.xlWebFormattingNone
Dim Format As XlFileFormat = XlFileFormat.xlCSVWindows
Dim ScrapeStatus As Integer = 1
Dim excel As New Microsoft.Office.Interop.Excel.ApplicationClass
With excel
.SheetsInNewWorkbook = 1
.DisplayAlerts = False
End With
Dim wb As Microsoft.Office.Interop.Excel.Workbook = excel.Workbooks.Add()
With wb
.Activate()
.Worksheets.Select(1)
End With
Try
Dim rnStart As Range = wb.ActiveSheet.Range("A1:Z100")
Dim qtQtrResults As QueryTable = wb.ActiveSheet.QueryTables.Add(Connection:="URL;" + URL, Destination:=rnStart)
With qtQtrResults
.BackgroundQuery = False
.WebFormatting = xlNone
.WebSelectionType = XlWebSelectionType.xlAllTables
.Refresh()
End With
excel.CalculateUntilAsyncQueriesDone()
wb.SaveAs(FileName)
wb.Close()
excel.Quit()
System.Runtime.InteropServices.Marshal.ReleaseComObject(excel)
GC.Collect()
GC.WaitForPendingFinalizers()
Dts.TaskResult = ScriptResults.Success
Catch ex As Exception
Dts.Variables("User::Error").Value = ex.Message.ToString()
wb.Saved = True
wb.Close()
excel.Quit()
System.Runtime.InteropServices.Marshal.ReleaseComObject(excel)
GC.Collect()
GC.WaitForPendingFinalizers()
Dts.TaskResult = ScriptResults.Failure
End Try
End Sub
我得到了什么结果?
对于URL http://athletics.chabotcollege.edu/information/directory/home#directory
,如果我在Excel中使用Web查询功能,我会从以下内容中选择以下内容: 显示所有表名
但是,当我通过Script Task拉出所有表时,我最终得到了一个看起来类似于此的工作表:
其他信息
我还应该注意到,虽然大多数网页都有类似的结构,但并非所有网页都相同。 所以我不能假设每个页面都有相同的表名,或者以相同的方式构造表。 我的解决方案需要充满活力和灵活性。
我不认为您可以通过Web查询获取表名,如果您检查网页源,您可以注意到表没有name属性。 Excel在界面中显示的名称与表无关,它们是节的标题(表的父标签),因此它们不被视为表名。
此外,在检查QueryTable文档后 ,没有选项来检索表名称或表容器的标题,因此Excel不必使用Web查询来显示接口中的表和标题(如屏幕截图所示)
我认为有一种方法可以将数据分成工作表(没有表名):
<table></table>
检索表计数 在每个QueryTable中,您必须设置目标工作表范围和以下属性:
.WebSelectionType = XlWebSelectionType.xlSpecifiedTables .WebTables = i 'Where i is the index of Table
也许你应该使用HTML解析器和正则表达式来收集表元数据
通过将.WebSelectionType = XlWebSelectionType.xlAllTables
更改为.WebSelectionType = XlWebSelectionType.xlEntirePage
我可以捕获表的“名称”。 它们实际上是每个表的父<section>
标记内的aria-title
值。 这很难看,但它确实会返回我正在寻找的字符串。
我最终将xlAllTables
和xlEntirePage
QueryTables保存为文本文件。 然后我将xlAllTables
文件拆分为每个表的单独块,然后在xlEntirePage
文本文件中搜索表示该表的“字符串”,然后复制前一行,其中包含标题。 然后我将表格文本保存为一个新文件,复制的标题作为文件名。 它非常hacky,但它做了我需要它做的事情。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.