间效率加快大数据存入Redis,提升效率百倍(大数据存入redis超时)

  随着数据量的增加,把大量数据存储在Redis中已经成为一种必然,其中最常用的就是把数据一次性批量插入到Redis中。但是,由于Redis本身是单线程的,如果一个插入操作的数据量过大,会导致内存占用过多,存入数据的效率也会大大降低。

创新互联专业为企业提供姑苏网站建设、姑苏做网站、姑苏网站设计、姑苏网站制作等企业网站建设、网页设计与制作、姑苏企业网站模板建站服务,十余年姑苏做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。

  针对这个问题,我们可以充分利用Java多线程编程的特性,来大大提升把大数据存储到Redis的效率,如下代码所示:

“`java

public static void mn(string[] args) {

long start = System.currentTimeMillis();

//定义要存储的大量数据

List datalist = getBigDataList();

//定义线程数量

int threadCount = 8;

ExecutorService executorService = Executors.newFixedThreadPool(threadCount);

for (int i = 0; i

int begin = (datalist.size() / threadCount) * i;

int end = (datalist.size() / threadCount) * (i + 1);

if (i == (threadCount-1)) {

end = datalist.size();

}

List tmpList = datalist.subList(begin, end);

executorService.submit(new DataInsertRedisTask(tmpList));

}

long end = System.currentTimeMillis();

System.out.println(“耗时: “+(end-start));

executorService.shutdown();

}

//多线程任务,将数据存储到Redis

class DataInsertRedisTask implements Runnable {

List tmpList;

public DataInsertRedisTask (List tmpList) {

this.tmpList = tmpList;

}

@Override

public void run() {

// 批量把大量数据写入Redis

for(String item : tmpList){

jedis.lpush(“bigDataList”, item);

}

}

}

  上述代码中,通过设置线程数量,将大量数据拆分成若干个小数据分段,分别交由多个线程来进行批量插入,从而大大提升了把大数据存入Redis的效率,实测百倍效率提升的效果。因此,在合理利用多线程,配合Redis的使用时,可以实现较高的效率提升。

香港服务器选创新互联,2H2G首月10元开通。
创新互联(www.cdcxhl.com)互联网服务提供商,拥有超过10年的服务器租用、服务器托管、云服务器、虚拟主机、网站系统开发经验。专业提供云主机、虚拟主机、域名注册、VPS主机、云服务器、香港云服务器、免备案服务器等。

名称栏目:间效率加快大数据存入Redis,提升效率百倍(大数据存入redis超时)
文章源于:http://www.mswzjz.cn/qtweb/news24/139674.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能,是专注品牌与效果的网络营销公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 贝锐智能