慢 PyQt5 QAbstractTableModel 用于 Pandas Model 与 qTableview

Question

我正在使用 PandasModel(QAbstractTableModel) 在 qtableView 中显示数据。 它在数据较少的情况下运行良好。 但是每当我尝试使用大数据时，它就会变得很慢。 对于 5000 行数据，它几乎需要 20-25 秒。在 mssql mgmt studio 中运行查询只需要几秒钟。 我没有得到我的代码做错的地方。

class PandasModel(QtCore.QAbstractTableModel): 
    def __init__(self, df = pd.DataFrame(), parent=None): 
        QtCore.QAbstractTableModel.__init__(self, parent=parent)
        self._df = df

    def headerData(self, section, orientation, role=QtCore.Qt.DisplayRole):

        if role != QtCore.Qt.DisplayRole:
            return QtCore.QVariant()

        if orientation == QtCore.Qt.Horizontal:
            try:
                return self._df.columns.tolist()[section]
            except (IndexError, ):
                return QtCore.QVariant()
        elif orientation == QtCore.Qt.Vertical:
            try:
                return self._df.index.tolist()[section]+1
            except (IndexError, ):
                return QtCore.QVariant()

    def data(self, index, role=QtCore.Qt.DisplayRole):

        if role != QtCore.Qt.DisplayRole:
            return QtCore.QVariant()

        if not index.isValid():
            return QtCore.QVariant()

        return QtCore.QVariant(str(self._df.iloc[index.row(), index.column()]))
        

    def setData(self, index, value, role):
        if not index.isValid():
            return False
        if role != QtCore.Qt.EditRole:
            return False
        row = index.row()
        if row < 0 or row >= len(self._data.values):
            return False
        column = index.column()
        if column < 0 or column >= self._data.columns.size:
            return False
        self._data.values[row][column] = value
        self.dataChanged.emit(index, index)
        return True
    
    def rowCount(self, parent=QtCore.QModelIndex()): 
        return len(self._df.index)

    def columnCount(self, parent=QtCore.QModelIndex()): 
        return len(self._df.columns)

    def sort(self, column, order):
        colname = self._df.columns.tolist()[column]
        self.layoutAboutToBeChanged.emit()
        self._df.sort_values(colname, ascending= order == QtCore.Qt.AscendingOrder, inplace=True)
        self._df.reset_index(inplace=True, drop=True)
        self.layoutChanged.emit()

我尝试了许多方法，例如 st the chunksize，但没有奏效。 请帮帮我

sql_conn = pyodbc.connect('DRIVER={ODBC Driver 17 for SQL Server};SERVER=' +
                          server+';DATABASE='+database+';UID='+username+';PWD=' + password)
cursor = sql_conn.cursor()

def loadTranForACC(AccountID):
    query_string="Select * from  user.dbo.Transaction(nolock) where accID =" + AccountID
    data=pd.read_sql_query(query_string, sql_conn)
    return data

Answer 1

由于您正在处理来自数据库的数据，我想指出 PyQt 具有QSqlTableModel和QSqlQueryModel来处理来自数据库的数据。

看着你的 model，对我来说，model 看起来不错，试着看看你的程序的哪一部分正在消耗时间。

您可以查看这些线程以获取有关这些的更多信息和详细信息：

对于大表，qtablewidget 变得很慢

pyqt qtablewidget 极慢

最终的解决方案是使用pagination ，一次只显示 500,1000 行，它将在几秒钟内运行。

您可以访问这些线程来实现分页： QT 论坛 | QTableWidget中的分页或PyQt中表格数据的分页显示