繁体   English   中英

程序如何加速? (很多缓慢的mysql查询)

[英]How speed up program? (Lot of slow mysql queries)

我的数据库有30万行,我需要按算法过滤一些行。

protected boolean validateMatch(DbMatch m) throws MatchException, NotSupportedSportException{

    // expensive part
    List<DbMatch> hh = sd.getMatches(DateService.beforeDay(m.getStart()), m.getHt(), m.getCountry(),m.getSportID());
    List<DbMatch> ah = sd.getMatches(DateService.beforeDay(m.getStart()), m.getAt(), m.getCountry(),m.getSportID());
    ....

我的休眠dao函数用于从Mysql加载数据,它是初始化数组大小的2倍。

public List<DbMatch> getMatches(Date before,String team, String country,int sportID) throws NotSupportedSportException{
    //Match_soccer where date between :start and :end
    Criteria criteria = session.createCriteria(DbMatch.class);
    criteria.add(Restrictions.le("start",before));
    criteria.add(Restrictions.disjunction()
            .add(Restrictions.eq("ht", team))
            .add(Restrictions.eq("at", team)));

    criteria.add(Restrictions.eq("country",country));
    criteria.add(Restrictions.eq("sportID",sportID));
    criteria.addOrder(Order.desc("start") );
    return criteria.list();
}

示例我如何尝试过滤数据

function List<DbMatch> filter(List<DbMatch> mSet){
   List<DbMatch> filtred = new ArrayList<>();
   for(DbMatch m:mSet){
      if(validateMatch(DbMatch m))filtred.add(m);
   }
}

(1)我尝试了不同的标准设置,并使用秒表计算了功能时间。 我的结果是当我使用filter(matches)匹配大小1000时,我的程序需要3分21 s 659 ms。

(2)我尝试删除criteria.addOrder(Order.desc("start")); 比在3分钟12秒811毫秒后过滤的程序。

(3)但是如果我删除criteria.addOrder(Order.desc("start")); 并添加criteria.setMaxResults(1); 结果是22 s 311毫秒。

使用最后一个配置,我可以按22,3 * 300 = 22300 s(〜6h)过滤所有300,000条记录,但是如果使用第一个功能,我应该等待(〜60 h)。

如果我要使用没有顺序和限制的条件,则必须确保我的表按数据库上的日期排序,因为获取最后一个匹配很重要。

所有数据都存储在matches表中。

表索引:


表,非唯一,键名,Seq_in_index,Column_name,排序规则,基数,子部分,压缩,空,Index_type,注释,Index_comment

匹配项,0,PRIMARY,1,中,A,220712 、、、、、 BTREE,
比赛,0,UK_kcenwf4m58fssuccpknl1v25v,1,beid,A,220712,,,,是,BTREE,,

更新

添加后ALTER TABLE matches ADD INDEX (sportID, country); 现在编程时间减少到15秒,可进行1000场比赛。 但是,如果我不使用order by并添加限制,则只需要等待4秒钟即可获得1000个数学运算。

如何应对这种情况以提高程序执行速度?

您的首要任务是弄清楚每个组件处理请求所花的时间。

找出由ORM生成的SQL查询,并在MySQL工作台中手动运行该查询,并查看所需的时间(未缓存)。 您也可以要求它解释索引的用法。

如果足够快,那么花费更长的时间就是您的Java代码,并且您需要优化算法。 您可以使用JConsole进一步深入研究。

如果您确定哪个组件花费的时间更长,可以在此处发表分析,我们会相应地提出建议。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM