SQL查询查找相关项

Question

我们有一个使用电子表格的系统，但表格的标准搜索功能非常低，因此我的任务是尝试为用户创建更好的方法。

好的，这是当前数据库格式的一点背景：

Table1
------
FormID
FormName
Creator
CreateDate

Table2
------
FormID
FormControlName
ControlData

关系是1到多，一个表单上有很多控件。

我的任务是创建一个搜索，通过搜索表单名称（基于数据的更改）和属于该表单的每个表单控件来查找相关表单。

我已经设法使用C＃编码，但因为数据库中有大量记录，而且在我的Current解决方案中我正在检索所有内容并迭代它以查找相关项目，这是一个相当缓慢的解决方案。

我的代码：

private DataTable GetForms() {
    string FormName = ddForm.SelectedValue;
    string SearchText = tbSearch.Text;

    List<string> FormIDs = GetMatchingForms(FormName, SearchText);

    DataTable dtForms = new DataTable("Forms Table");

    dtForms.Columns.Add("Form Name");
    dtForms.Columns.Add("Initiator");
    dtForms.Columns.Add("Start Date").DataType = typeof(DateTime);
    dtForms.Columns.Add("FormLink");

    foreach (string FormID in FormIDs) {
        DataRow nRow = dtForms.NewRow();

        nRow[0] = GetData.GetString("SELECT [FormName] FROM [Table1] Where [FormID] = '" + FormID + "'", conString);

        string UserID = GetData.GetString("SELECT [Creator] FROM [Table1] Where [FormID] = '" + FormID + "'", conString);
        string UserName = GetData.GetString("Select [UserName] From [User] Where [UserID] = '" + UserID + "'", conString);
        nRow[1] = UserName;

        nRow[2] = GetData.GetString("SELECT [CreateDate] FROM [Table1] Where [FormID] = '" + FormID + "'", conString);
        nRow[3] = "~/Form.aspx?formid=" + FormID;

        dtForms.Rows.Add(nRow);
    }

    return dtForms;
}
private List<string> GetMatchingForms(string FormName, string SearchText) {
    //FormName can be = % to search all forms
    DataTable dtForms = GetData.GetDT("SELECT * FROM [Table1] Where [FormName] LIKE '%" + FormName + "%'", conString);

    List<string> FormList = new List<string>();

    foreach (DataRow row in dtForms.Rows) {
        string FormName = row["FormName"].ToString();
        string FormID = row["FormID"].ToString();

        bool Relevant = false;

        if (FormName.Contains(SearchText)) {
            Relevant = true;
        } else {
            DataTable dtFormControls = GetData.GetDT("SELECT * FROM [Table2] Where [FormID] = '" + FormID + "'", conString);

            foreach (DataRow cRow in dtFormControls.Rows) {
                string ControlData = cRow["ControlData"].ToString();

                if (ControlData.Contains(SearchText)) {
                    Relevant = true;
                    break;
                }
            }
        }

        if (Relevant) {
            FormList.Add(FormID);
        }
    }

    return FormList;
}

我想知道是否可以将上述代码的功能复制到SQL查询（或少量查询）中，以期尝试加速当前的解决方案。 我目前对SQL查询的了解不是最好的，我甚至无法开始考虑从这个问题的起点。

为了澄清，我们目前有300,000个表格和总计1040万个数据记录，该数据库最近已被重新编入索引，这似乎确实会对绩效产生积极影响。 我们计划相对较快地对此进行维护，但我们仍将保留当前存储的大量数据。

编辑：有问题的数据库是第三方软件的一部分，我们仅限于只读访问，我们无法进行数据库修改。

从记录数量中可以看出，计时问题非常重要，因为执行当前代码需要几分钟。

任何帮助将不胜感激，谢谢。

Answer 1

性能问题是因为您为列表中的每个字符串运行了四个查询（对于用户而言，表3和表1为1），这是一个很大的开销。 我建议使用以下其中一项（请记住我无法访问您的数据库，对于任何编码错误都很抱歉）

1）使用LinqToSql

如果您使用LinqToSql，那么您可以使用类似于以下内容的方式从查询的第一部分提取数据：

var myResults = (from t in context.Table1
                 join u in context.User on t.UserId equals u.UserId
                 where formIds.Contains (t.FormId)
                 select new { t.FormName, t.Creator, t.CreateDate }).ToList();

Contains方法允许您有效地将内存数据与数据库中的数据连接起来，从而无需为每个项目循环。

2）使用数据库查询

等效的SQL语句是：

select t.FormName, t.Creator, t.CreateDate
from Table1 t
inner join [User] u on t.UserID = u.UserId
where t.FormId in (<list of formIDs here>)

您可以创建一个SQL命令，构建此字符串，因为SQL注入问题而不建议使用该字符串，或者您可以创建参数化查询或存储过程，这在安全性方面要好得多。

以上所有内容仅适用于代码的第一部分，但可以轻松复制到第二部分。

Answer 2

可以在TSQL中轻松创建1到N的关系。 下面的示例程序为表单ID和控件ID添加了主键与外键关系。

这将返回您在一个记录集中所需的数据与之前进行的多个呼叫。

接下来的问题是控制数据是什么类型的数据？ 这就是你可能遇到问题的地方。

如果将其定义为varchar（max）或text，则必须执行全表扫描。 您不能使用常规索引<900字节。

索引或平衡树搜索是最差的N LOG（N）操作与作为N操作的表搜索相比。 这是算法的分析，数量级， http：//en.wikipedia.org/wiki/Big_O_notation，O （N LOG（N））与O（N）。

当N = 11 M时，您只需要查看最大1.04 M行。 这是假设二叉树。 SQL Server使用B +树。 http://sqlity.net/en/563/index-misconceptions-tsql-tuesday-026-second-chances/

如果控制数据字段是文本，则要应用全文索引。 请查看我的博客文章http://craftydba.com/?p=1421和/或有关如何设置一个的演示文稿。 您必须使用CONTAINS（）或FREETEXT（）函数进行搜索。

该索引可以在数据加载后立即构建，但与传统的LIKE子句相比，可以提供更高的速度。 这会将搜索负载（计算）推送到SQL服务器而不是客户端（Web服务器）。

我希望这可以帮助你，

如果您还有其他问题，请询问。

诚挚

约翰

--
-- Sample table 1
--

create table tempdb.dbo.forms
(
    FormID int identity(1,1) primary key clustered,
    FormName varchar(32),
    Creator varchar(32) DEFAULT (coalesce(suser_sname(),'?')),
    CreateDate smalldatetime DEFAULT (getdate()) 
);
go

-- Add data
insert into tempdb.dbo.forms (FormName) values ('Main');
go

-- Show the data
select * from tempdb.dbo.forms;
go


--
-- Sample table 2
--

create table tempdb.dbo.controls
(
ControlId int identity(1,1) primary key clustered,
FormID int,
FormControlName varchar(32),
ControlData varchar(32)
);
go

-- Add foreign key 2 forms table
ALTER TABLE tempdb.dbo.controls WITH CHECK 
ADD CONSTRAINT fk_tbl_forms FOREIGN KEY(FormId)
REFERENCES tempdb.dbo.forms (FormID)
go

-- Add data
insert into tempdb.dbo.controls (FormId, FormControlName, ControlData)
values 
(1, 'Drop Down', 'My drop down data'),
(1, 'Text Box', 'My text box');
go

-- Show the data
select * from tempdb.dbo.controls;
go


--
-- Use a join command (1 x N) relationship with where
--

-- Show data from both
select 
    f.FormID,
    f.FormName,
    f.Creator,
    f.CreateDate,
    c.ControlId,
    c.FormControlName,
    c.ControlData 
from 
    tempdb.dbo.forms as f inner join 
    tempdb.dbo.controls as c
on 
    f.FormID = c.FormID 
where 
    f.FormName like '%Main%' and
    c.ControlData like '%box%'
go