Mysql百万量级数据如何高效导入Redis

MySQL百万量级数据如何高效导入redis，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

在五莲等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供做网站、网站建设 网站设计制作按需定制网站,公司网站建设,企业网站建设,成都品牌网站建设,成都全网营销推广,成都外贸网站制作,五莲网站建设费用合理。

传统命令的缺点

数据导入Redis热身

采用nc命令导入数据

采用pipe模式导入数据

由上图，可以看到pipe命令的返回结果，txt文件中有多少行命令，返回的replies数就是多少， errors表示其中执行错误的命令条数。

redis协议学习

协议的格式为：

*<参数数量>  \r
$<参数 
1 的字节数量>  \r
<参数 
1 的数据> \r
...
$<参数 N 的字节数量> \r
<参数 N 的数据> \r\n

HSET  id  book1  book_description1

*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r

格式化一下：

*4\r
$4\r
HSET\r
$2\r
idvvvv\r
$5\r
book1\r
$17\r
book_description1\r\n

将输入数据源换成mysql

实际案例--从Mysql导入百万级数据到Redis

首先造数据

DELIMITER $$
USE `cb_mon`$$

DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN

       DECLARE i INT DEFAULT 
1;
       WHILE i<= 
1000000
           DO
           INSERT INTO 
t_book(id,number,NAME,descrition)
           VALUES (i, CONCAT("00000",i) , 
CONCAT('book',i)
           , 
CONCAT('book_description',i));
           SET i=i+1;
       END WHILE ;
       COMMIT;
   END$$

DELIMITER ;
调用存储过程

CALL test_insert();

按协议构造查询语句

SELECT
 CONCAT(
   "*4\r\n",
   "$",
   LENGTH(redis_cmd),
   "\r\n",
   redis_cmd,
   "\r\n",
   "$",
   LENGTH(redis_key),
   "\r\n",
   redis_key,
   "\r\n",
   "$",
   LENGTH(hkey),
   "\r\n",
   hkey,
   "\r\n",
   "$",
   LENGTH(hval),
   "\r\n",
   hval,
   "\r"
 )
FROM
 (SELECT
   "HSET" AS redis_cmd,
   id AS redis_key,
   NAME AS hkey,
   descrition AS hval
 FROM
   cb_mon.t_book
 ) AS t limit 1000000

并将内容保存至redis.sql 文件中。

编写脚本使用pipe模式导入redis

编写shell脚本。由于我在主机上是通过docker安装的redis和mysql，以下脚本供参考：

#!/bin/bash
starttime=`date +'%Y-%m-%d %H:%M:%S'`

docker exec -i 
899fe01d4dbc mysql --default-character-set=utf8
--skip-column-names --raw < ./redis.sql
| docker exec -i 
4c90ef506acd redis-cli --pipe

endtime=`date +'%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date="$starttime" +%s);
end_seconds=$(date --date="$endtime" +%s);

echo 
"脚本执行耗时："$((end_seconds-start_seconds))"s"

lost connection to mysql server during query

总结了如下几点：

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联行业资讯频道，感谢您对创新互联的支持。