扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
在 Web 应用程序中跨大型数据集分页记录似乎是一个简单的问题,但实际上很难扩展。两种主要的分页策略是偏移/限制和游标。
创新互联建站专业成都做网站、成都网站制作,集网站策划、网站设计、网站制作于一体,网站seo、网站优化、网站营销、软文推广等专业人才根据搜索规律编程设计,让网站在运行后,在搜索中有好的表现,专业设计制作为您带来效益的网站!让网站建设为您创造效益。
我们将首先看一下这两种方法,然后稍作修改,可以使偏移/限制非常高效。
偏移/限制分页
偏移/限制方法是迄今为止最常见的方法,它通过跳过一定数量的记录(页)并将结果限制为一页来工作。
例如,假设您的应用程序配置为每页显示 15 条记录。您的 SQL 将如下所示:
这是最常见的,因为它非常简单,易于推理,并且几乎每个框架都支持它。
除了易于实现之外,它还具有页面可直接寻址的优点。例如,如果您想直接导航到第 20 页,您可以这样做,因为该偏移量很容易计算。
但是有一个主要的缺点,它潜伏在数据库处理偏移量的方式中。偏移量告诉数据库放弃从查询中返回的前N个结果。不过数据库仍然要从磁盘上获取这些行。
如果你丢弃的是100条记录,这并不重要,但如果你丢弃的是100,000条记录,数据库就会为了丢弃这些结果而做大量的工作。
在实践中,这意味着第一个页面会快速加载,之后的每一个页面都会变得越来越慢,直到你达到一个点,网络请求可能会直接超时。
基于游标的分页
基于游标的分页弥补了偏移/限制的一些不足,同时引入了一些自己的不足。
基于游标的分页是通过存储一些关于最后呈现给用户的记录的状态,然后根据这个状态来进行下一次查询。
因此,它不是按顺序获取所有的记录并丢弃前N条,而是只获取最后一个位置N之后的记录。
如果按ID排序,SQL可能看起来像这样。
你可能已经看到了其中的好处。因为我们知道上次向用户展示的ID,我们知道下一个页面将以一个更高的ID开始。我们甚至不需要检查ID较低的行,因为我们百分之百肯定地知道那些行不需要被显示。
在上面的例子中,我特别说明了ID可能不是连续的,也就是说,可能有缺失的记录。这使得我们无法计算出哪些记录会出现在某一页面上,你必须跟踪之前那一页面上的最后一条记录是什么。
与偏移/限制分页不同,使用游标分页时,页面不能直接寻址,你只能导航到 "下一页 "或 "上一页"。
不过光标分页的好处是在任何数量的页面上都很迅速。它也很适合无限滚动,在这种情况下,页面首先不需要可以直接寻址。
Laravel文档中有一些关于偏移量和游标之间的权衡的好的背景。
cursor -vs-offset-pagination
考虑到所有这些,让我们来看看一个偏移/限制优化,可以使它的性能足以在成千上万的页面上使用。
使用递延join的Offset/Limit
递延连接(deferred join )是一种技术,它将对要求的列的访问推迟到应用了偏移量和限制之后。
使用这种技术,我们创建一个内部查询,可以用特定的索引进行优化,以获得最大的速度,然后将结果连接到同一个表,以获取完整的行。
它看起来像这样:
这种方法的好处可以根据你的数据集有很大的不同,但是这种方法允许数据库尽可能少地检查数据,以满足用户的意图。
查询中 "昂贵的 "select *部分只在与内部查询相匹配的15条记录上运行。所有数据的Select都被推迟了,因此被称为推迟join。
这种方法不太可能比传统的偏移/限制性能差,尽管它是可能的,所以一定要在你的数据上进行测试!
Laravel实现
我们如何把这一点带到我们最喜欢的网络框架,如Laravel和Rails?
让我们具体看看Laravel,因为我不知道Rails。
感谢Laravel的macroable特性,我们可以扩展Eloquent Query Builder来添加一个新的方法,叫做deferredPaginate。为了保持一致性,我们将模仿常规分页的签名。
我们将尝试做尽可能少的自定义工作,并将大部分工作留给 Laravel。
这是我们要做的:
这应该为我们提供 LaravelLengthAwarePaginator 和延迟连接的所有好处!
一个Github仓库
递延Join和覆盖索引
还没有完成...
使用递延Join的主要好处是减少了数据库必须检索然后丢弃的数据量。我们可以通过帮助数据库获得它需要的数据而更进一步,而无需获取底层行。
这样做的方法称为“覆盖索引covering index”,它是确保快速偏移/限制分页的最终解决方案。
覆盖索引是一个索引,在这个索引中,查询的所有需要的字段都包含在索引本身中。当一个查询的所有部分都能被一个索引 "覆盖 "时,数据库根本不需要读取该行,它可以从索引中获得它需要的一切。
请注意,覆盖索引并不是以任何特殊方式创建的。它只是指一个索引满足了一个查询所需要的一切的情况。一个查询上的覆盖索引很可能不是另一个查询上的覆盖索引。
在接下来的几个例子中,我们将使用这个基本的表,我把它填满了~1000万条记录。
让我们看一个仅select索引列的简单查询。在这种情况下,我们将从email表中进行select contacts。
在这种情况下,数据库根本不需要读取基础行。在MySQL中,我们可以通过运行一个解释并查看额外的列来验证这一点:
extra: using index告诉我们,MySQL能够只使用索引来满足整个查询,而不看基础行。
如果尝试select name from contacts limit 10, 我们将期望MySQL必须到该行去获取数据,因为名字name没有被索引。这正是发生的情况,由下面的解释显示。
extra不再显示 using index,所以我们没有使用覆盖索引。
假设你每页有15条记录,你的用户想查看第1001页,你的内部查询最终会是这样的。
select id from contacts order by id limit 15 OFFSET 150000
explain结果显示:
MySQL能够单看索引来执行这个查询。它不会简单地跳过前15万行,在使用offset是没有办法的,但它不需要读取15万行。(只有游标分页可以让你跳过所有的行)。
即使使用覆盖索引和延迟连接,当你到达后面的页面时,结果也会变慢,尽管与传统的偏移/限制相比,它应该是最小的。使用这些方法,你可以轻易地深入到数千页。
更好的覆盖索引
这里的很多好处取决于拥有良好的覆盖索引,所以让我们稍微讨论一下。一切都取决于您的数据和用户的使用模式,但是您可以采取一些措施来确保查询的最高命中率。
这将主要与 MySQL 对话,因为那是我有经验的地方。其他数据库中的情况可能会有所不同。
大多数开发人员习惯于为单列添加索引,但没有什么能阻止您向多列添加索引。事实上,如果您的目标是为昂贵的分页查询创建覆盖索引,您几乎肯定需要一个多列索引。
当你试图为分页优化一个索引时,一定要把按列排序放在最后。如果你的用户要按update_at排序,这应该是你复合索引中的最后一列。
看看下面这个包括三列的索引。
在MySQL中,复合索引是从左到右访问的,如果一个列缺失,或者在第一个范围条件之后,MySQL会停止使用一个索引。
MySQL 将能够在以下场景中使用该索引:
如果你跳过is_archived,MySQL将无法访问update_at,将不得不诉诸于没有该索引的排序,或者根本不使用该索引,所以要确保你有相应的计划。
主键始终存在
在MySQL的InnoDB中,所有的索引都附加了主键。这意味着(email)的索引实际上是(email,id)的索引,当涉及到覆盖索引和延迟连接时,这是相当重要的。
查询select email from contacts order by id完全被email上的一个索引所覆盖,因为InnoDB将id附加到了该索引上。
使用我们上面的综合例子,你可以看到这有什么好处。
因为复合索引涵盖了is_deleted, is_archived, updated_at, 和(通过InnoDB的功能)id,整个查询可以仅由索引来满足。
降序索引
大多数时候,用户都在寻找 "最新的 "项目,即最近更新或创建的项目,这可以通过按update_at DESC排序来满足。
如果你知道你的用户主要是以降序的方式对他们的结果进行排序,那么特别将你的索引设为降序索引可能是有意义的。
MySQL 8是第一个支持降序索引的MySQL版本。
如果你在explain的Extra部分看到向后索引扫描,你也许可以配置一个更好的索引。
前向索引扫描比后向扫描快~15%,所以你要按照你认为你的用户最常使用的顺序添加索引,并为少数使用情况承担惩罚。
太阳底下无新事
这种使用偏移/限制分页与延迟连接和覆盖索引的方法并不是银弹。
仅仅是递迟连接就可以让你的速度得到很好的提升,但是需要花一些额外的心思来设计正确的索引以获得最大的好处。
有一种观点认为,递延连接应该是框架中默认的偏移offset/限制limit方法,而任何时候覆盖索引的出现都只是一种奖励。我还没有在足够多的生产环境中测试过,所以还没有强烈主张这样做。
使用MySQL的递延Join连接实现高效分页 - Aaron
JSP页面,用来显示数据! 如果数据有多条,分页显示,每页显示10条,多页; 好处: 利于页面布局,且显示的效率高!
1.分页SQL语句 SELECT * FROM car LIMIT [(当前页-1)*每页显示的行数],[每页显示的行数]; ;
2.后台处理: dao/service/servlet/JSP
一个不带limit 一个带limit。以php+mysql为例首先,连接数据库,写一条sql语句把你要查询的信息总量查找出来sql = select count(*) from tb,$all_page ;设定每页显示条数, $display 。然后,当前页为$page ;在写一句sql = select * from tb limit $dispaly*($page - 1),$display;最后,在页面显示分页信息把当前页传回给分页处理页,一定要把相关的条件一起传回去,get 方式传值,否则查询条件改变查询信息就不正确。 网上有好多封装好的分页类。我也有一个很好用的分页类,如果请我吃肉就发给你一份哈。。\(^o^)/~ 追问: 这个$all_page用在哪儿,怎么将当前页传回给分页处理页。显示的时候那些“首页”“上一页”“下一页”“末页”是链接吗、链到什么地方,还是别的什么 回答: $all_page是查询总数,总是页数等于查询总数除以每页显示的信息。$num_page = ceil($all_page/$display); 用get方式把当前页传给分页处理页,就是a href = "连接到本页或着不写也就是当前页?page=当前页码"/a标签 别的我也想不起来,让我自己写分页,我只会最简单的那种,一般我都是调用一个现成的分页类。只需传个参数就Ok,连样式都不用写的。。。
分类: 电脑/网络 软件
问题描述:
我制作的是留言版,回复时得弄分页,但是不知道分页怎么弄,网上的代码没有注释,也看不懂。
请各位大哥大姐们一定要帮帮我,后面加上注释,谢谢!
注意:我不用JavaBean写,就用前台写。
解析:
作为参考:
%@ page contentType="text/;charset=8859_1" %
%
变量声明
java.sql.Connection sqlCon; 数据库连接对象
java.sql.Statement sqlStmt; SQL语句对象
java.sql.ResultSet sqlRst; 结果集对象
javang.String strCon; 数据库连接字符串
javang.String strSQL; SQL语句
int intPageSize; 一页显示的记录数
int intRowCount; 记录总数
int intPageCount; 总页数
int intPage; 待显示页码
javang.String strPage;
int i;
设置一页显示的记录数
intPageSize = 2;
取得待显示页码
strPage = request.getParameter("page");
if(strPage==null){表明在QueryString中没有page这一个参数,此时显示第一页数据
intPage = 1;
}
else{将字符串转换成整型
intPage = javang.Integer.parseInt(strPage);
if(intPage1) intPage = 1;
}
装载JDBC驱动程序
java.sql.DriverManager.registerDriver(new oracle.jdbc.driver.OracleDriver());
设置数据库连接字符串
strCon = "jdbc:oracle:thin:@linux:1521:ora4cweb";
连接数据库
sqlCon = java.sql.DriverManager.getConnection(strCon,"hzq","hzq");
创建一个可以滚动的只读的SQL语句对象
sqlStmt = sqlCon.createStatement(java.sql.ResultSet.TYPE_SCROLL_INSENSITIVE,java.sql.ResultSet.CONCUR_READ_ONLY);
准备SQL语句
strSQL = "select name,age from test";
执行SQL语句并获取结果集
sqlRst = sqlStmt.executeQuery(strSQL);
获取记录总数
sqlRstst();
intRowCount = sqlRst.getRow();
记算总页数
intPageCount = (intRowCount+intPageSize-1) / intPageSize;
调整待显示的页码
if(intPageintPageCount) intPage = intPageCount;
%
head
meta -equiv="Content-Type" content="text/; charset=gb2312"
titleJSP数据库操作例程 - 数据分页显示 - JDBC 2.0 - Oracle/title
/head
body
table border=1 cellspacing="0" cellpadding="0"
tr
th姓名/th
th年龄/th
/tr
%
if(intPageCount0){
将记录指针定位到待显示页的第一条记录上
sqlRst.absolute((intPage-1) * intPageSize + 1);
显示数据
i = 0;
while(iintPageSize !sqlRst.isAfterLast()){
%
tr
td%=sqlRst.getString(1)%/td
td%=sqlRst.getString(2)%/td
/tr
%
sqlRst.next();
i++;
}
}
%
/table
第%=intPage%页 共%=intPageCount%页 %if(intPageintPageCount){%a href="jdbc20-oracle.jsp?page=%=intPage+1%"下一页/a%}% %if(intPage1){%a href="jdbc20-oracle.jsp?page=%=intPage-1%"上一页/a%}%
/body
/
%
关闭结果集
sqlRst.close();
关闭SQL语句对象
sqlStmt.close();
关闭数据库
sqlCon.close();
%
可以试试先!
祝你好运!
----------------------------------
也可以用jsp+xml+来实现,下面给出一个saucer(思归)给的xml+的分页例子,不妨参考一下:
body
!--the following XML document is "stolen" from MSXML4 documentation--
xml id="xmldoc"
catalog
book id="bk101"
authorGambardella, Matthew/author
titleXML Developer's Guide/title
genreComputer/genre
price44.95/price
publish_date2000-10-01/publish_date
descriptionAn in-depth look at creating applications
with XML./description
/book
book id="bk102"
authorRalls, Kim/author
titleMidnight Rain/title
genreFantasy/genre
price5.95/price
publish_date2000-12-16/publish_date
descriptionA former architect battles corporate zombies,
an evil sorceress, and her own childhood to bee queen
of the world./description
/book
book id="bk103"
authorCorets, Eva/author
titleMaeve Ascendant/title
genreFantasy/genre
price5.95/price
publish_date2000-11-17/publish_date
descriptionAfter the collapse of a nanotechnology
society in England, the young survivors lay the
foundation for a new society./description
/book
book id="bk104"
authorCorets, Eva/author
titleOberon's Legacy/title
genreFantasy/genre
price5.95/price
publish_date2001-03-10/publish_date
descriptionIn post-apocalypse England, the mysterious
agent known only as Oberon helps to create a new life
for the inhabitants of London. Sequel to Maeve
Ascendant./description
/book
book id="bk105"
authorCorets, Eva/author
titleThe Sundered Grail/title
genreFantasy/genre
price5.95/price
publish_date2001-09-10/publish_date
descriptionThe o daughters of Maeve, half-sisters,
battle one another for control of England. Sequel to
Oberon's Legacy./description
/book
book id="bk106"
authorRandall, Cynthia/author
titleLover Birds/title
genreRomance/genre
price4.95/price
publish_date2000-09-02/publish_date
descriptionWhen Carla meets Paul at an ornithology
conference, tempers fly as feathers get ruffled./description
/book
book id="bk107"
authorThurman, Paula/author
titleSplish Splash/title
genreRomance/genre
price4.95/price
publish_date2000-11-02/publish_date
descriptionA deep sea diver finds true love enty
thousand leagues beneath the sea./description
/book
book id="bk108"
authorKnorr, Stefan/author
titleCreepy Crawlies/title
genreHorror/genre
price4.95/price
publish_date2000-12-06/publish_date
descriptionAn anthology of horror stories about roaches,
centipedes, scorpions and other insects./description
/book
/catalog
/xml
table id="mytable" datasrc="#xmldoc" border=1 DATAPAGESIZE="2"
theadthTitle/ththAuthor/ththGenre/ththPublish Date/ththPrice/th/thead
tbodytr
tdspan datafld="title"/span/td
tdspan datafld="author"/span/td
tdspan datafld="genre"/span/td
tdspan datafld="publish_date"/span/td
tdspan datafld="price"/span/td
/tr
/tbody
/table
input type=button value="previous page" onclick="mytable.previousPage()"
input type=button value="next page" onclick="mytable.nextPage()"
/body
/
------------------------------------
分页显示的模板程序
!--show_page.jsp--
%@ page import="javang.*" import="java.sql.*" import="java.util.*" contentType="text/;charset=GB2312"%
%@ page import="tax.*"%
jsp:useBean id="RegisterBean" class="tax.RegisterBean" scope="page"/
jsp:useBean id="itemlist" class="tax.itemlist" scope="page"/
%
int PageSize = 10;设置一页显示的记录数
int PageNum = 1; 初始化页码=1
int PageNumCount = (136+PageSize-1) / PageSize;记算总页数
计算要显示的页码
String strPageNum = request.getParameter("page");取得href提交的页码
if(strPageNum==null){ 表明在QueryString中没有page这一个参数,此时显示第一页数据
PageNum = 1;
}
else{
PageNum = javang.Integer.parseInt(strPageNum);将字符串转换成整型
if(PageNum1) PageNum = 1;
}
if(PageNumPageNumCount) PageNum = PageNumCount;调整待显示的页码
%
head
meta -equiv="Content-Type" content="text/; charset=gb2312"
titleJSP例程 - 数据分页显示 -JDK1.2 /title
/head
body
%
if(PageNumCount0){
out.println(PageNum);显示数据,此处只简单的显示页数
}
/*需要显示的数据,在此处显示
、、、
例如:
*/
显示一个简单的表格
%
table border=1 cellspacing="0" cellpadding="0"
tr
th总数/th
th页数/th
/tr
tr
th%=PageNumCount%/th
th%=PageNum%/th
/tr
/table
第%=PageNum%页 共%=PageNumCount%页
%if(PageNumPageNumCount){%a href="show_page.jsp?page=%=PageNum+1%"下一页/a%}%
%if(PageNum1){%a href="show_page?page=%=PageNum-1%"上一页/a%}%
/body
/
---------------------------------
一个bean,按照文档说的用。也希望你给出修改意见。
package mshtang;
/**
* pTitle: DataBaseQuery/p
* pDescription: 用于数据库翻页查询操作/p
* pCopyright: 厦门一方软件公司版权所有Copyright (c) 2002/p
* pCompany: 厦门一方软件公司/p
* @author 小唐蔡
* @version 1.0
*/
import java.sql.*;
import javax.servlet..*;
import java.util.*;
import mshtang.StringAction;
public class DataBaseQuery
{
private HttpServletRequest request;
private StringAction S;
private String sql;
private String userPara;
private String[][] resultArray;
private String[] columnNameArray;
private String[] columnTypeArray;
private int pageSize;
private int columnCount;
private int currentPageNum;
private int currentPageRecordNum;
private int totalPages;
private int pageStartRecord;
private int totalRecord;
private static boolean initSuccessful;
private String currentJSPPageName;
private String displayMessage;
public DataBaseQuery()
{
S = new StringAction();
sql = "";
pageSize = 10;
totalRecord = 0;
initSuccessful = false;
currentJSPPageName = "";
displayMessage = "";
columnNameArray = null;
columnTypeArray = null;
currentPageRecordNum = 0;
columnCount = 0;
}
/**功能:数据库初始化操作,其它操作的前提。
*
* @param conn:数据库连接;
* @param request:jsp页面request对象;
* @param querySQL:查询语句;
* @param pageSize:每页显示记录数;
* @param startPageNum:开始显示页码
*/
public void init(Connection conn, HttpServletRequest request, String querySQL, int pageSize, int startPageNum)
{
if(conn != null)
{
this.request = request;
this.sql = request.getParameter("querySQL");
this.userPara = request.getParameter("userPara");
if(sql == null || sql.equals(""))
{
sql = querySQL;
}
if(this.userPara == null)
{
this.userPara = "";
}
if(S.isContains(sql, "select;from", ";", true))
{
try
{
Statement st = conn.createStatement();
ResultSet rs = st.executeQuery(sql);
ResultSetMetaData r *** d = rs.getMetaData();
columnCount = r *** d.getColumnCount();
columnNameArray = new String[columnCount];
columnTypeArray = new String[columnCount];
String columnName;
String value;
while(rs.next())
{
totalRecord++;
if(totalRecord == 1)
{
for(int i = 0; i columnCount; i++)
{
columnNameArray[i] = r *** d.getColumnName(i + 1);
columnTypeArray[i] = r *** d.getColumnTypeName(i + 1);
}
}
}
rs.close();
在总记录数大于0的情况下进行下列操作
获取链接图象
if(totalRecord 0 pageSize 0 columnCount 0 startPageNum 0)
{
获取总页数
totalPages = totalRecord / pageSize;
int tempNum = totalRecord % pageSize;
if(tempNum != 0)
{
totalPages++;
}
获得当前页页码
String currentPage = request.getParameter("currentPageNum");
currentPageNum = (currentPage == null || currentPage.equals(""))? startPageNum:Integer.parseInt(currentPage);
currentPageNum = (currentPageNum totalPages)?totalPages:currentPageNum;
currentPageNum = (currentPageNum = 0)?1:currentPageNum;
获得当前页起始显示记录数
pageStartRecord = (currentPageNum - 1) * pageSize + 1;
pageStartRecord = (pageStartRecord = 0)?1:pageStartRecord;
pageStartRecord = (pageStartRecord totalRecord)?totalRecord:pageStartRecord;
获得当前页显示记录数
if(currentPageNum * pageSize totalRecord)
{
currentPageRecordNum = totalRecord - (currentPageNum - 1) * pageSize;
}
else
{
currentPageRecordNum = pageSize;
}
resultArray = new String[currentPageRecordNum][columnCount];
用于跳过前面不需显示的记录
int continueRowNum = 0;
用于跳过后面不再显示的记录
int breakRowNum = 0;
ResultSet rs2 = st.executeQuery(sql);
while(rs2.next())
{
跳过前面不需显示的记录
continueRowNum++;
if(continueRowNum pageStartRecord)
{
continue;
}
存取当前页需显示的记录到二维数组
for(int i = 0; i columnCount; i++)
{
value = rs2.getString(columnNameArray[i]);
value = (value == null)?"":value.trim();
resultArray[breakRowNum][i] = value;
}
跳过后面不再显示的记录
breakRowNum++;
if(breakRowNum = currentPageRecordNum)
{
break;
}
}
rs2.close();
}
st.close();
}
catch(SQLException e)
{
e.printStackTrace();
}
}
transferSQL(sql);
initSuccessful = true;
}
}
/**功能:数据库初始化操作,其它操作的前提,默认每页显示10条记录。
*
* @param conn:数据库连接;
* @param request:jsp页面request对象;
* @param querySQL:查询语句;
* @param startPageNum:开始显示页码
*/
public void init(Connection conn, HttpServletRequest request, String querySQL, int startPageNum)
{
init(conn, request, querySQL, 10, startPageNum);
}
/**功能:数据库初始化操作,其它操作的前提,默认从第一页开始显示。
*
* @param conn:数据库连接;
* @param request:jsp页面request对象;
* @param querySQL:查询语句;
* @param pageSize:每页显示记录数;
*/
public void init(Connection conn, HttpServletRequest request, int pageSize, String querySQL)
{
init(conn, request, querySQL, pageSize, 1);
}
/**功能:数据库初始化操作,其它操作的前提,默认从第一页开始显示,每页显示10条记录。
*
* @param conn:数据库连接;
* @param request:jsp页面request对象;
* @param querySQL:查询语句;
*/
public void init(Connection conn, HttpServletRequest request, String querySQL)
{
init(conn, request, querySQL, 10, 1);
}
/**功能:给出没有初始化的提醒信息,内部调用。
*
*/
private static void getMessage()
{
if(!initSuccessful)
{
System.out.println("没有完成初始化");
}
}
/**功能:得到查询结果的总记录数。
*
* @return
*/
public int getTotalRecord()
{
getMessage();
return totalRecord;
}
/**功能:得到当前页的页码
*
* @return
*/
public int getCurrentPageNum()
{
getMessage();
return currentPageNum;
}
/**功能:获得当前页记录数
*
* @return
*/
public int getCurrentPageRecord()
{
getMessage();
return currentPageRecordNum;
}
/**功能:获得总页数
*
* @return
*/
public int getTotalPages()
{
getMessage();
return totalPages;
}
/**获得调用该javaBean的jsp页面文件名,用于翻页操作,可以免去外界输入页面参数的错误,用于内部调用。
*
* @return:调用该javaBean的jsp页面文件名
*/
private String getCurrentJSPPageName()
{
getMessage();
if(request != null)
{
String tempPage = request.getRequestURI();
String[] tempArray = S.stringSplit(tempPage, "/");
if(tempArray != null tempArray.length 0)
{
currentJSPPageName = tempArray[tempArray.length - 1];
}
}
return currentJSPPageName;
}
/**功能:用于显示图片链接或字符串(上一页、下一页等链接)。用于翻页操作,内部调用
*
* @param imageSource:图片来源;
* @param i:翻页信息,1表示第一页,2表示上一页,3表示下一页,4表示尾页,
* @return:显示的链接图片或链接文字
*/
private void displayMessage(String imageSource, int i)
{
getMessage();
if(imageSource != null !imageSource.equals(""))
{
displayMessage = "img src=\"" + imageSource + "\" border=\"0\"";
}
else
{
switch(i)
{
case 1:
displayMessage = "font size=\"2\"[首页]/font";
break;
case 2:
displayMessage = "font size=\"2\"[上一页]/font";
break;
case 3:
displayMessage = "font size=\"2\"[下一页]/font";
break;
case 4:
displayMessage = "font size=\"2\"[尾页]/font";
}
}
}
/**功能:链接到相应页面,内部调用。
*
* @param imageSource:图片来源;
* @param i:翻页信息,1表示第一页,2表示上一页,3表示下一页,4表示尾页,
* @return:相应页面的链接
*/
private String getNavigation(String imageSource, int i)
{
displayMessage(imageSource, i);
int pageNum = 0;
switch(i)
{
case 1:
pageNum = 1;
break;
case 2:
pageNum = currentPageNum - 1;
break;
case 3:
pageNum = currentPageNum + 1;
break;
case 4:
pageNum = totalPages;
}
currentJSPPageName = "a columnName, true);
if(resultArray != null columnIndex != -1)
{
columnValue = resultArray[recordIndex][columnIndex];
}
}
return columnValue;
}
/**功能:方法重载。返回特定行特定列的值。
*
* @param recordIndex:行索引,从0开始;
* @param columnIndex:列索引,从1开始;
* @return
*/
public String g
Mysql的分页关键点在查询时的 limit $iStart,$iEnd;//起初值与总长度
举例:selece * from myTable1 order by id desc limit 0,10;
从0开始取前10条数据,取第二页的内容时,limit 10,10;即可
如有疑问去博客加好友,不清楚的再问我,有时间我再写几篇这样的文章
很多应用往往只展示最新或最热门的几条记录,但为了旧记录仍然可访问,所以就需要个分页的导航栏。然而,如何通过MySQL更好的实现分页,始终是比较令人头疼的问题。虽然没有拿来就能用的解决办法,但了解数据库的底层或多或少有助于优化分页查询。
我们先从一个常用但性能很差的查询来看一看。
SELECT *
FROM city
ORDER BY id DESC
LIMIT 0, 15
这个查询耗时0.00sec。So,这个查询有什么问题呢?实际上,这个查询语句和参数都没有问题,因为它用到了下面表的主键,而且只读取15条记录。
CREATE TABLE city (
id int(10) unsigned NOT NULL AUTO_INCREMENT,
city varchar(128) NOT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB;
真正的问题在于offset(分页偏移量)很大的时候,像下面这样:
SELECT *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
上面的查询在有2M行记录时需要0.22sec,通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行,但最后只需要15行。大的分页偏移量会增加使用的数据,MySQL会将大量最终不会使用的数据加载到内存中。就算我们假设大部分网站的用户只访问前几页数据,但少量的大的分页偏移量的请求也会对整个系统造成危害。Facebook意识到了这一点,但Facebook并没有为了每秒可以处理更多的请求而去优化数据库,而是将重心放在将请求响应时间的方差变小。
对于分页请求,还有一个信息也很重要,就是总共的记录数。我们可以通过下面的查询很容易的获取总的记录数。
SELECT COUNT(*)
FROM city;
然而,上面的SQL在采用InnoDB为存储引擎时需要耗费9.28sec。一个不正确的优化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能够在分页查询时事先准备好符合条件的记录数,随后只要执行一句 select FOUND_ROWS(); 就能获得总记录数。但是在大多数情况下,查询语句简短并不意味着性能的提高。不幸的是,这种分页查询方式在许多主流框架中都有用到,下面看看这个语句的查询性能。
SELECT SQL_CALC_FOUND_ROWS *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
这个语句耗时20.02sec,是上一个的两倍。事实证明使用 SQL_CALC_FOUND_ROWS 做分页是很糟糕的想法。
下面来看看到底如何优化。文章分为两部分,第一部分是如何获取记录的总数目,第二部分是获取真正的记录。
高效的计算行数
如果采用的引擎是MyISAM,可以直接执行COUNT(*)去获取行数即可。相似的,在堆表中也会将行数存储到表的元信息中。但如果引擎是InnoDB情况就会复杂一些,因为InnoDB不保存表的具体行数。
我们可以将行数缓存起来,然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时,执行下面的语句:
SELECT COUNT(*)
FROM city
USE INDEX(PRIMARY);
获取记录
下面进入这篇文章最重要的部分,获取分页要展示的记录。上面已经说过了,大的偏移量会影响性能,所以我们要重写查询语句。为了演示,我们创建一个新的表“news”,按照时事性排序(最新发布的在最前面),实现一个高性能的分页。为了简单,我们就假设最新发布的新闻的Id也是最大的。
CREATE TABLE news(
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,
title VARCHAR(128) NOT NULL
) ENGINE=InnoDB;
一个比较高效的方式是基于用户展示的最后一个新闻Id。查询下一页的语句如下,需要传入当前页面展示的最后一个Id。
SELECT *
FROM news WHERE id $last_id
ORDER BY id DESC
LIMIT $perpage
查询上一页的语句类似,只不过需要传入当前页的第一个Id,并且要逆序。
SELECT *
FROM news WHERE id $last_id
ORDER BY id ASC
LIMIT $perpage
上面的查询方式适合实现简易的分页,即不显示具体的页数导航,只显示“上一页”和“下一页”,例如博客中页脚显示“上一页”,“下一页”的按钮。但如果要实现真正的页面导航还是很难的,下面看看另一种方式。
SELECT id
FROM (
SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt
FROM news
JOIN (SELECT @cnt:= 0)T
WHERE id $last_id
ORDER BY id DESC
LIMIT $perpage * $buttons
)C
WHERE cnt = 0;
通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id。这种方法还有一个好处。假设,网站上正在发布一片新的文章,那么所有文章的位置都会往后移一位,所以如果用户在发布文章时换页,那么他会看见一篇文章两次。如果固定了每个按钮的offset Id,这个问题就迎刃而解了。Mark Callaghan发表过一篇类似的博客,利用了组合索引和两个位置变量,但是基本思想是一致的。
如果表中的记录很少被删除、修改,还可以将记录对应的页码存储到表中,并在该列上创建合适的索引。采用这种方式,当新增一个记录的时候,需要执行下面的查询重新生成对应的页号。
SET p:= 0;
UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;
当然,也可以新增一个专用于分页的表,可以用个后台程序来维护。
UPDATE pagination T
JOIN (
SELECT id, CEIL((p:= p + 1) / $perpage) page
FROM news
ORDER BY id
)C
ON C.id = T.id
SET T.page = C.page;
现在想获取任意一页的元素就很简单了:
SELECT *
FROM news A
JOIN pagination B ON A.id=B.ID
WHERE page=$offset;
还有另外一种与上种方法比较相似的方法来做分页,这种方式比较试用于数据集相对小,并且没有可用的索引的情况下—比如处理搜索结果时。在一个普通的服务器上执行下面的查询,当有2M条记录时,要耗费2sec左右。这种方式比较简单,创建一个用来存储所有Id的临时表即可(这也是最耗费性能的地方)。
CREATE TEMPORARY TABLE _tmp (KEY SORT(random))
SELECT id, FLOOR(RAND() * 0x8000000) random
FROM city;
ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;
接下来就可以向下面一样执行分页查询了。
SELECT *
FROM _tmp
WHERE OFFSET = $offset
ORDER BY OFFSET
LIMIT $perpage;
简单来说,对于分页的优化就是。。。避免数据量大时扫描过多的记录。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流