十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
如果时间格式在mysql是datatime型,名字叫add_time
成都创新互联公司专注于灌南网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供灌南营销型网站建设,灌南网站制作、灌南网页设计、灌南网站官网定制、小程序定制开发服务,打造灌南网络公司原创品牌,更为您提供灌南网站排名全网营销落地服务。
AND
LEFT(`add_time`,10) = '2012-03-28'
在统计数据的需求中很容易出现按照天来统计数据的场景,有时某一列的维度在那天并没有产生数据,但是又没有一列是可以确保每天都是有数据的,由于mysql中并没有fulljoin这样的关联方式,在这种情况下关联查询就有些费劲,解决的办法也是多种多样,毕竟条条大路通罗马嘛,其他的就不说了,这里介绍一种相对方便的方法。
产生一个足够长的时间列,这个列要能够包含想要统计的所有日期。这个思路的实现很泛,可以创建一个日期的临时表,然后将想要查的日期插入,抛开创建表比较麻烦之外,一般在职能比较完善的公司,生产环境创建表或者修改数据是需要交给专门的DBA去操作的,各种流程。。。相对这个较简单的一种方式就是创建存储过程,然后产生时间列,这也是一种解决办法。
我的思路是先定义一个时间变量并初始化,然后和某个数据足够多的表关联查询获取时间列,这个表一般选取某张要查的表即可,数据条数只要超过需要查询的条数即可,足够即可,太多就是浪费,降低查询效率。
比如说我要查询2018-01-10到2018-01-20每天的数据,那么就可以写成
其中,cdate是我定义的一个时间变量,初始化的值是2018-01-09,因为在外面那部分执行之后值已经加1了,已经不是2018-01-10了;data_t是我关联产生记录的实体表,这个表只有一个要求,就是能帮我们产生足够的时间列条数,后面的limit 15是帮助我产生15条时间记录,可以换成其他条件;生成的t0其实就是15条全为2018-01-09的记录,外面的查询在每扫描一条t0的记录就会加1天,这样就会产生连续的时间列;WHERE后面是最终查询的截止条件,换成其他的也可以。
关联其他表举例:
查询从2018-01-10到当前日期每天的统计数据
通过上面的例子我想大部分人应该可以灵活变化了,比如查询多少天内每天的统计数据,某几个月内每月的统计数据等等,通过修改上面给的例子里面的sql完全可以做到,可以说这种思路就是个‘万能模板’,希望本文能够帮到大家。
所谓按天,不过是日期精确到天而已。
错误的按日期分区例子
最直观的方法,就是直接用年月日这种日期格式来进行常规的分区:
mysql create table rms (d date)
- partition by range (d)
- (partition p0 values less than ('1995-01-01'),
- partition p1 VALUES LESS THAN ('2010-01-01'));
上面的例子中,就是直接用"Y-m-d"的格式来对一个table进行分区,可惜想当然往往不能奏效,会得到一个错误信息:
ERROR 1064 (42000): VALUES value must be of same type as partition function near '),
partition p1 VALUES LESS THAN ('2010-01-01'))' at line 3
上述分区方式没有成功,而且明显的不经济,老练的DBA会用整型数值来进行分区:
mysql CREATE TABLE part_date1
- ( c1 int default NULL,
- c2 varchar(30) default NULL,
- c3 date default NULL) engine=myisam
- partition by range (cast(date_format(c3,'%Y%m%d') as signed))
- (PARTITION p0 VALUES LESS THAN (19950101),
- PARTITION p1 VALUES LESS THAN (19960101) ,
- PARTITION p2 VALUES LESS THAN (19970101) ,
- PARTITION p3 VALUES LESS THAN (19980101) ,
- PARTITION p4 VALUES LESS THAN (19990101) ,
- PARTITION p5 VALUES LESS THAN (20000101) ,
- PARTITION p6 VALUES LESS THAN (20010101) ,
- PARTITION p7 VALUES LESS THAN (20020101) ,
- PARTITION p8 VALUES LESS THAN (20030101) ,
- PARTITION p9 VALUES LESS THAN (20040101) ,
- PARTITION p10 VALUES LESS THAN (20100101),
- PARTITION p11 VALUES LESS THAN MAXVALUE );
Query OK, 0 rows affected (0.01 sec)
搞定?接着往下分析
mysql explain partitions
- select count(*) from part_date1 where
- c3 '1995-01-01' and c3 '1995-12-31'\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: part_date1
partitions: p0,p1,p2,p3,p4,p5,p6,p7,p8,p9,p10,p11
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 8100000
Extra: Using where
1 row in set (0.00 sec)
万恶的mysql居然对上面的sql使用全表扫描,而不是按照我们的日期分区分块查询。原文中解释到MYSQL的优化器并不认这种日期形式的分区,花了大量的篇幅来引诱俺走上歧路,过分。
正确的日期分区例子
mysql优化器支持以下两种内置的日期函数进行分区:
TO_DAYS()
YEAR()
看个例子:
mysql CREATE TABLE part_date3
- ( c1 int default NULL,
- c2 varchar(30) default NULL,
- c3 date default NULL) engine=myisam
- partition by range (to_days(c3))
- (PARTITION p0 VALUES LESS THAN (to_days('1995-01-01')),
- PARTITION p1 VALUES LESS THAN (to_days('1996-01-01')) ,
- PARTITION p2 VALUES LESS THAN (to_days('1997-01-01')) ,
- PARTITION p3 VALUES LESS THAN (to_days('1998-01-01')) ,
- PARTITION p4 VALUES LESS THAN (to_days('1999-01-01')) ,
- PARTITION p5 VALUES LESS THAN (to_days('2000-01-01')) ,
- PARTITION p6 VALUES LESS THAN (to_days('2001-01-01')) ,
- PARTITION p7 VALUES LESS THAN (to_days('2002-01-01')) ,
- PARTITION p8 VALUES LESS THAN (to_days('2003-01-01')) ,
- PARTITION p9 VALUES LESS THAN (to_days('2004-01-01')) ,
- PARTITION p10 VALUES LESS THAN (to_days('2010-01-01')),
- PARTITION p11 VALUES LESS THAN MAXVALUE );
Query OK, 0 rows affected (0.00 sec)
以to_days()函数分区成功,我们分析一下看看:
mysql explain partitions
- select count(*) from part_date3 where
- c3 date '1995-01-01' and c3 date '1995-12-31'\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: part_date3
partitions: p1
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 808431
Extra: Using where
1 row in set (0.00 sec)
可以看到,mysql优化器这次不负众望,仅仅在p1分区进行查询。在这种情况下查询,真的能够带来提升查询效率么?下面分别对这次建立的part_date3和之前分区失败的part_date1做一个查询对比:
mysql select count(*) from part_date3 where
- c3 date '1995-01-01' and c3 date '1995-12-31';
+----------+
| count(*) |
+----------+
| 805114 |
+----------+
1 row in set (4.11 sec)
mysql select count(*) from part_date1 where
- c3 date '1995-01-01' and c3 date '1995-12-31';
+----------+
| count(*) |
+----------+
| 805114 |
+----------+
1 row in set (40.33 sec)
可以看到,分区正确的话query花费时间为4秒,而分区错误则花费时间40秒(相当于没有分区),效率有90%的提升!所以我们千万要正确的使用分区功能,分区后务必用explain验证,这样才能获得真正的性能提升。
注意:
在mysql5.1中建立分区表的语句中,只能包含下列函数:
ABS()
CEILING() and FLOOR() (在使用这2个函数的建立分区表的前提是使用函数的分区键是INT类型),例如
mysql CREATE TABLE t (c FLOAT) PARTITION BY LIST( FLOOR(c) )( - PARTITION p0 VALUES IN (1,3,5), - PARTITION p1 VALUES IN (2,4,6) - );; ERROR 1491 (HY000): The PARTITION function returns the wrong type mysql CREATE TABLE t (c int) PARTITION BY LIST( FLOOR(c) )( - PARTITION p0 VALUES IN (1,3,5), - PARTITION p1 VALUES IN (2,4,6) - ); Query OK, 0 rows affected (0.01 sec)
DAY()
DAYOFMONTH()
DAYOFWEEK()
DAYOFYEAR()
DATEDIFF()
EXTRACT()
HOUR()
MICROSECOND()
MINUTE()
MOD()
MONTH()
QUARTER()
SECOND()
TIME_TO_SEC()
TO_DAYS()
WEEKDAY()
YEAR()
YEARWEEK()