C++ Recordset 行的缓慢获取

Question

我在获取 Recordset 中的行时遇到了问题，因为它真的很慢。

我们有一个虚拟的 ListCtrl，在“OnGetdispinfo”方法中检索和设置数据。

这非常快（本地主机上的 300k 行约 2 秒）但是如果连接速度很慢，则 GUI 变得无响应并且在作业完成之前完全无法使用。

因此，我尝试在不同的线程中执行 Sql 内容，并在获取所有数据后更新列表。 无响应的 GUI 问题由此得到解决，但获取所有数据所需的时间从 2 秒跃升至几分钟。 即使我除了循环遍历行之外什么都不做（只是在循环中调用 MoveNext() 直到到达 EOF），它仍然需要一分钟多的时间才能完成。

如何在不完全破坏此处性能的情况下解决冻结 GUI 的问题？ 我在下面包含了相关代码

m_pRecordset 是一个普通的 Recordset

老的：

void KundenListControlSQLCommand::OnGetdispinfo(NMHDR* pNMHDR, LRESULT* pResult)
{
    if (m_pRecordset->IsBOF())
    {
        *pResult = 0;
        return;
    }

    LV_DISPINFO* pDispInfo = (LV_DISPINFO*)pNMHDR;
    LV_ITEM* pItem = &(pDispInfo)->item;

    if (pItem->mask & LVIF_TEXT)
    {
        CString strData;

        m_pRecordset->SetAbsolutePosition(pItem->iItem + 1);
        if (getStatusRow() != pItem->iSubItem)
        {
            m_pRecordset->GetFieldValue(short(pItem->iSubItem), strData);
        }
        ::lstrcpy(pItem->pszText, strData);
        
    }

    if (pItem->mask & LVIF_IMAGE)
    {
        int const nIndex = this->GetParent()->SendMessage(OT_VLC_ONGETIMAGEINDEX, pItem->iItem, 0);
        if (0 != nIndex)
        {
            pItem->iImage = nIndex - 1;
        }
    }

    *pResult = 0;
}


void KundenListControlSQLCommand::loadAndDisplayData()
{
    ASSERT(!m_strSQLCommand.IsEmpty());

    CWaitCursor wc;

    try
    {
        if (!m_pDatabase->IsOpen())
        {
            CString strSQL = m_pDatabase->getDatabaseInfo().getConnectString();

            m_pDatabase->OpenEx(strSQL);
        }

        // RecordCount ermitteln
        m_nRecordCount = m_pRecordset->selectCount(_T("*"), m_strSQLCommand);

        if (m_pRecordset->IsOpen())
            m_pRecordset->Close();

        m_pRecordset->Open(Recordset::snapshot, m_strSQLCommand + m_strSortOrder,
            Recordset::executeDirect | Recordset::noDirtyFieldCheck |
            Recordset::readOnly | Recordset::useBookmarks);

        SetItemCountEx(m_nRecordCount);
    }
    catch (CDBException* e)
    {
        e->ReportError();
        e->Delete();
    }
}

新的：

void KundenListControlSQLCommand::loadAndDisplayData()
{
    ASSERT(!m_strSQLCommand.IsEmpty());

    CWaitCursor wc;

    try
    {
        if (!m_pDatabase->IsOpen())
        {
            CString strSQL = m_pDatabase->getDatabaseInfo().getConnectString();

            m_pDatabase->OpenEx(strSQL);
        }

        // RecordCount ermitteln
        m_nRecordCount = m_pRecordset->selectCount(_T("*"), m_strSQLCommand);

        if (m_pRecordset->IsOpen())
            m_pRecordset->Close();

        m_pRecordset->Open(Recordset::dynaset, m_strSQLCommand + m_strSortOrder,
            Recordset::executeDirect | Recordset::noDirtyFieldCheck |
            Recordset::readOnly | Recordset::useBookmarks);

            m_vResult.clear();
            m_vResult.reserve(m_nRecordCount);
            int nFieldCount = m_pRecordset->GetODBCFieldCount();
            CString strData;

            while (!m_pRecordset->IsEOF())
            {
                for (auto i = 0; i < nFieldCount; i++)
                {
                    m_pRecordset->GetFieldValue(short(i), strData);
                    m_vResult.push_back(std::move(strData));
                }

                if (m_bAbort)
                {
                    m_bAbort = false;
                    return;
                }
                m_pRecordset->MoveNext();
            }

            GetParent()->SendMessage(OT_VLC_ON_LIST_DONE, NULL, NULL);
    }
    catch (CDBException* e)
    {
        e->ReportError();
        e->Delete();
    }
}

void KundenListControlSQLCommand::OnGetdispinfo(NMHDR* pNMHDR, LRESULT* pResult)
{
        if (m_pRecordset->IsBOF())
        {
            *pResult = 0;
            return;
        }

        LV_DISPINFO* pDispInfo = (LV_DISPINFO*)pNMHDR;
        LV_ITEM* pItem = &(pDispInfo)->item;

        UINT nItem = (pItem->iItem * m_pRecordset->GetODBCFieldCount()) + pItem->iSubItem;
        if (pItem->mask & LVIF_TEXT && m_vResult.size() >= nItem)
        {
            ::lstrcpy(pItem->pszText, std::move(m_vResult.at(nItem)));
        }

        if (pItem->mask & LVIF_IMAGE)
        {
            int const nIndex = this->GetParent()->SendMessage(OT_VLC_ONGETIMAGEINDEX, pItem->iItem, 0);
            if (0 != nIndex)
            {
                pItem->iImage = nIndex - 1;
            }
        }

        *pResult = 0;
}``

Answer 1

我对ODBC了解不多，但怀疑有更好的方法来获取批量数据。

无论如何，您都会对向量进行大量不必要的复制。 两个简单的修复：

1. 在m_vResult.clear();之后 ，将您的m_vResult调整为记录数。
2. 而不是m_vResult.push_back(vResult); 做m_vResult.push_back(std::move(vResult)); ，因为在那之后你不需要你的vResult 。

Answer 2

正如我在您的代码中看到的那样，您读取数据并将它们放入向量中。 在这样的设置中，我认为您实际上并不需要dynaset记录集，根据文档，它是"A recordset with bi-directional scrolling" 。 它逐行获取数据，这可能是该过程变慢的原因。 此外， “其他用户对数据值所做的更改在 fetch 操作后可见” ，但我认为这在这种情况下并不重要。 它对于显示更多经常更新的“实时”数据非常有用。

相反，一个snapshot ，甚至是forwardOnly记录集就足够了，而且速度会更快。 您还可以尝试使用CRecordset::useMultiRowFetch选项。 文档说它更快。 它需要对您的代码进行一些更改（移动下一步等）。 看看这里： 记录集：批量获取记录 (ODBC) 。

另一种完全不同的实现方式是使用书签。 加载速度会快很多，但滚动速度有些慢，因为您必须在OnGetdispinfo() function 中获取数据。

最后一个提示，如果您使用的是 MS-SQL 服务器，请检查本机驱动程序，如果您还没有，i-net 上的许多人声称它要快得多。

Answer 3

另一个解决方案是做一个缓存列表，处理LVN_ODCACHEHINT通知（这个例子是CListView但你可以在你的CListCtrl上调整它：

// header.h

class CYourListView : public CListView
{
    // ...

    afx_msg void OnLvnOdcachehint(NMHDR* pNMHDR, LRESULT *pResult);
};

和实施：

// YourListView.cpp

    // ...
ON_NOTIFY_REFLECT(LVN_ODCACHEHINT, &CYourListView::OnLvnOdcachehint)
END_MESSAGE_MAP()

void CYourListView::OnLvnOdcachehint(NMHDR* pNMHDR, LRESULT* pResult)
{
    LPNMLVCACHEHINT pCacheHint = reinterpret_cast<LPNMLVCACHEHINT>(pNMHDR);

    const DWORD dwTo = pCacheHint->iTo;
    const DWORD dwFetched = m_vResult.size();

    if (dwTo >= dwFetched) // new rows must be fetched
    {
        const DWORD dwColCount = m_pRecordset->GetColumnCount();
        m_vResult.resize(dwTo + 1);
        for (DWORD dwRow = dwFetched; dwRow <= dwTo; ++dwRow)
        {
            CDBRecord* pRecord = new CDBRecord;
            pRecord->SetSize(dwColCount);
            for (DWORD dwCol = 1; dwCol <= dwColCount; dwCol++)
            {
                CDBValue* pDBValue = new CDBValue(m_pRecordset, dwCol);
                pRecord->SetAt(dwCol - 1, pDBValue);
            }
            m_vResult.emplace(m_vResult.begin() + dwRow, pRecord);
            m_pRecordset->MoveNext();
        }
    }

    *pResult = 0;
}

可能需要根据您的特定情况调整一些变量/值。