Springboot整合百度开源分布式ID生成器UIDGenerator

SpringBoot整合百度开源分布式ID生成器UIDGenerator

作者：FastCoder 2021-07-14 07:17:37

开发

前端

分布式 UidGenerator是Java实现的, 基于Snowflake算法的唯一ID生成器。UidGenerator以组件形式工作在应用项目中, 支持自定义workerId位数和初始化策略, 从而适用于docker等虚拟化环境下实例自动重启、漂移等场景。

江川网站制作公司哪家好，找创新互联！从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作，到程序开发，运营维护。创新互联从2013年成立到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选创新互联。

环境：sprinboot2.3.12.RELEASE + uid-generator1.0.0

简介

UidGenerator是Java实现的, 基于Snowflake算法的唯一ID生成器。UidGenerator以组件形式工作在应用项目中, 支持自定义workerId位数和初始化策略, 从而适用于docker等虚拟化环境下实例自动重启、漂移等场景。 在实现上, UidGenerator通过借用未来时间来解决sequence天然存在的并发限制; 采用RingBuffer来缓存已生成的UID, 并行化UID的生产和消费, 同时对CacheLine补齐，避免了由RingBuffer带来的硬件级「伪共享」问题. 最终单机QPS可达600万。

依赖版本：Java8及以上版本, MySQL(内置WorkerID分配器, 启动阶段通过DB进行分配; 如自定义实现, 则DB非必选依赖)

Snowflake算法

Snowflake算法描述：指定机器 & 同一时刻 & 某一并发序列，是唯一的。据此可生成一个64 bits的唯一ID(long)。默认采用上图字节分配方式：

  • sign(1bit) 固定1bit符号标识，即生成的UID为正数。
  • delta seconds (28 bits) 当前时间，相对于时间基点"2016-05-20"的增量值，单位：秒，最多可支持约8.7年
  • worker id (22 bits) 机器id，最多可支持约420w次机器启动。内置实现为在启动时由数据库分配，默认分配策略为用后即弃，后续可提供复用策略。
  • sequence (13 bits) 每秒下的并发序列，13 bits可支持每秒8192个并发。

以上参数均可通过Spring进行自定义

CachedUidGenerator

RingBuffer环形数组，数组每个元素成为一个slot。RingBuffer容量，默认为Snowflake算法中sequence最大值，且为2^N。可通过boostPower配置进行扩容，以提高RingBuffer 读写吞吐量。

Tail指针、Cursor指针用于环形数组上读写slot：

  • Tail指针 表示Producer生产的最大序号(此序号从0开始，持续递增)。Tail不能超过Cursor，即生产者不能覆盖未消费的slot。当Tail已赶上curosr，此时可通过rejectedPutBufferHandler指定PutRejectPolicy
  • Cursor指针 表示Consumer消费到的最小序号(序号序列与Producer序列相同)。Cursor不能超过Tail，即不能消费未生产的slot。当Cursor已赶上tail，此时可通过rejectedTakeBufferHandler指定TakeRejectPolicy

 CachedUidGenerator采用了双RingBuffer，Uid-RingBuffer用于存储Uid、Flag-RingBuffer用于存储Uid状态(是否可填充、是否可消费)

由于数组元素在内存中是连续分配的，可最大程度利用CPU cache以提升性能。但同时会带来「伪共享」FalseSharing问题，为此在Tail、Cursor指针、Flag-RingBuffer中采用了CacheLine 补齐方式。

RingBuffer填充时机

  • 初始化预填充 RingBuffer初始化时，预先填充满整个RingBuffer.
  • 即时填充 Take消费时，即时检查剩余可用slot量(tail - cursor)，如小于设定阈值，则补全空闲slots。阈值可通过paddingFactor来进行配置，请参考Quick Start中CachedUidGenerator配置
  • 周期填充 通过Schedule线程，定时补全空闲slots。可通过scheduleInterval配置，以应用定时填充功能，并指定Schedule时间间隔

以上为百度的官方介绍，接下来我们将其整合到Springboot项目中

UIDGenerator下载

在下面地址下载uid-generator

UIDGenerator环境配置

创建表

  
 
 
 
    
   
  
  
  
  1. DROP TABLE IF EXISTS WORKER_NODE;
    2. 
   
  
  
  
  2. CREATE TABLE WORKER_NODE
    3. 
   
  
  
  
  3. (
    4. 
   
  
  
  
  4.   ID BIGINT NOT NULL AUTO_INCREMENT COMMENT 'auto increment id',
    5. 
   
  
  
  
  5.   HOST_NAME VARCHAR(64) NOT NULL COMMENT 'host name',
    6. 
   
  
  
  
  6.   PORT VARCHAR(64) NOT NULL COMMENT 'port',
    7. 
   
  
  
  
  7.   TYPE INT NOT NULL COMMENT 'node type: ACTUAL or CONTAINER',
    8. 
   
  
  
  
  8.   LAUNCH_DATE DATE NOT NULL COMMENT 'launch date',
    9. 
   
  
  
  
  9.   MODIFIED TIMESTAMP NOT NULL COMMENT 'modified time',
    10. 
   
  
  
  
  10.   CREATED TIMESTAMP NOT NULL COMMENT 'created time',
    11. 
   
  
  
  
  11.   PRIMARY KEY(ID)
    12. 
   
  
  
  
  12. )COMMENT='DB WorkerID Assigner for UID Generator',ENGINE = INNODB;
    13.

 将其项目中的mapper.xml文件copy到自己项目中，对应的WorkerNodeEntity，WorkerNodeDAO，

DisposableWorkerIdAssigner都copy到自己的项目中。

DisposableWorkerIdAssigner主要是修改注入的dao，因为这里我们需要修改默认的dao相关的配置。

项目配置

依赖

  
 
 
 
    
   
  
  
  
    2. 
   
  
  
  
  2.   mysql
    3. 
   
  
  
  
  3.   mysql-connector-java
    4. 
   
  
  
  
  4.   runtime
    5. 
   
  
  
  
  5. 
   
  
  
  
    7. 
   
  
  
  
  7.   org.mybatis.spring.boot
    8. 
   
  
  
  
  8.   mybatis-spring-boot-starter
    9. 
   
  
  
  
  9.   2.1.4
    10. 
   
  
  
  
  10. 
   
  
  
  
    12. 
   
  
  
  
  12.   com.github.pagehelper
    13. 
   
  
  
  
  13.   pagehelper-spring-boot-starter
    14. 
   
  
  
  
  14.   1.3.0
    15. 
   
  
  
  
  15.

mybatis配置

  
 
 
 
    
   
  
  
  
  1. pagehelper:
    2. 
   
  
  
  
  2.   helperDialect: mysql
    3. 
   
  
  
  
  3.   reasonable: true
    4. 
   
  
  
  
  4.   pageSizeZero: true
    5. 
   
  
  
  
  5.   offsetAsPageNum: true
    6. 
   
  
  
  
  6.   rowBoundsWithCount: true
    7. 
   
  
  
  
  7. ---
    8. 
   
  
  
  
  8. mybatis:
    9. 
   
  
  
  
  9.   type-aliases-package: com.pack.domain
    10. 
   
  
  
  
  10.   mapper-locations:
    11. 
   
  
  
  
  11.   - classpath:/mappers/*.xml
    12. 
   
  
  
  
  12.   configuration:
    13. 
   
  
  
  
  13.     lazy-loading-enabled: false
    14. 
   
  
  
  
  14.     aggressive-lazy-loading: false 
    15.

 mapper文件中的namespace及对应domain修改为自己路径下的。

配置UIDGenerator

  
 
 
 
    
   
  
  
  
  1. @Configuration
    2. 
   
  
  
  
  2. public class UIDConfig {
    3. 
   
  
  
  
  3.     
    4. 
   
  
  
  
  4.     @Bean
    5. 
   
  
  
  
  5.     public DefaultUidGenerator defaultUidGenerator(DisposableWorkerIdAssigner disposableWorkerIdAssigner) {
    6. 
   
  
  
  
  6.         DefaultUidGenerator defaultUidGenerator = new DefaultUidGenerator() ;
    7. 
   
  
  
  
  7.         defaultUidGenerator.setWorkerIdAssigner(disposableWorkerIdAssigner) ;
    8. 
   
  
  
  
  8.         defaultUidGenerator.setTimeBits(29) ;
    9. 
   
  
  
  
  9.         defaultUidGenerator.setWorkerBits(21) ;
    10. 
   
  
  
  
  10.         defaultUidGenerator.setSeqBits(13) ;
    11. 
   
  
  
  
  11.         defaultUidGenerator.setEpochStr("2021-01-01") ;
    12. 
   
  
  
  
  12.         return defaultUidGenerator ;
    13. 
   
  
  
  
  13.     }
    14. 
   
  
  
  
  14. 
   
  
  
  
  15. }
    16.

 注意这里的

DisposableWorkerIdAssigner是copy到自己项目中的，不是百度提供的。

  
 
 
 
    
   
  
  
  
  1. @Component
    2. 
   
  
  
  
  2. public class DisposableWorkerIdAssigner implements WorkerIdAssigner {
    3. 
   
  
  
  
  3.   @Resource
    4. 
   
  
  
  
  4.   private WorkerNodeMapper workerNodeDAO;
    5. 
   
  
  
  
  5.   // other code
    6. 
   
  
  
  
  6. }
    7.

 到此所有的都配置完成了。

测试

  
 
 
 
    
   
  
  
  
  1. @Resource
    2. 
   
  
  
  
  2. private DefaultUidGenerator uidGenerator ;
    3. 
   
  
  
  
  3.     
    4. 
   
  
  
  
  4. @Test
    5. 
   
  
  
  
  5. public void testGeneratorId() {
    6. 
   
  
  
  
  6.   for (int i = 0; i < 10; i++) {
    7. 
   
  
  
  
  7.     System.out.println(uidGenerator.getUID()) ;
    8. 
   
  
  
  
  8.   }
    9. 
   
  
  
  
  9. }
    10.

完毕!!!

网页名称：Springboot整合百度开源分布式ID生成器UIDGenerator
转载注明：http://www.mswzjz.cn/qtweb/news26/235176.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 贝锐智能

贝锐智能技术为您推荐以下文章

动态网站知识

同城分类信息

眉山服务器租用　　 　定制网站建设　　 　专业网站设计　　 　网站维护报价　　 　中国电信成都枢纽中心　　 　手机软件开发　　 　成都花箱　　 　眉山主机托管　　 　成都办公窗帘　　 　成都服务器运维　　 　富顺网站建设　　 　企业官网建设　　 　重庆网站建设公司　　 　东电技服　　 　德阳柴油发电机组　　 　成都集团网站建设　　 　重庆网站建设　　 　成都网络公司　　 　网站空间　　 　成都茶叶销售