banner
半米牙

半米牙的笔记

分享技术、记录生活
email

各種主鍵生成方法介紹以及生成優缺點對比

一個系統各個表中必須要存在一列來存放唯一主鍵 ID,並且如果這個系統是分佈式的,有多個分佈數據庫還需要保證每個數據庫中的 id 不能重複,這就要求需要唯一 ID 的特性:

  1. 整個系統 ID 唯一
  2. ID 是數字類型,而且是趨勢遞增的
  3. ID 簡短,查詢效率快

生成 ID 的方式有多種,大廠肯定用的沒這麼簡單,但是咱們小系統用一下還是綽綽有餘的,下面逐一介紹。

UUID#

這個是最大眾的方案,直接用工具類方法生成一個 uuid。

優點:

  1. 代碼實現簡單。
  2. 本機生成,沒有性能問題
  3. 因為是全球唯一的 ID,所以遷移數據容易

缺點:

  1. 每次生成的 ID 是無序的,無法保證趨勢遞增
  2. UUID 的字符串存儲,查詢效率慢
  3. 存儲空間大
  4. ID 本身無業務含義,不可讀

應用場景:

  1. 類似生成 token 令牌的場景
  2. 不適用一些要求有趨勢遞增的 ID 場景

MySQL 主鍵自增#

這個方法也是很普遍用到的,設置簡單,利用了 mysql 的主鍵自增 auto_increment,默認每次 ID 加 1。

優點:

  1. 數字化,id 遞增
  2. 查詢效率高
  3. 具有一定的業務可讀

缺點:

  1. 存在單點問題,如果 mysql 掛了,就沒法生成 iD 了
  2. 數據庫壓力大,高並發抗不住

MySQL 多實例主鍵自增#

uuid1

每台的初始值分別為 1,2,3...N,步長為 N(這個案例步長為 4)

優點:解決了單點問題

缺點:一旦把步長定好後,就無法擴容;而且單個數據庫的壓力大,數據庫自身性能無法滿足高並發

應用場景:數據不需要擴容的場景

雪花 snowflake 算法#

雪花算法生成 64 位的二進制正整數,然後轉換成 10 進制的數。64 位二進制數由如下部分組成:

uuid2

  • 1 位標識符:始終是 0
  • 41 位時間戳:41 位時間截不是存儲當前時間的時間截,而是存儲時間截的差值(當前時間截 - 開始時間截 ) 得到的值,這裡的開始時間截,一般是我們的 id 生成器開始使用的時間,由我們程序來指定的
  • 10 位機器標識碼:可以部署在 1024 個節點,如果機器分機房(IDC)部署,這 10 位可以由 5 位機房 ID + 5 位機器 ID 組成
  • 12 位序列:毫秒內的計數,12 位的計數順序號支持每個節點每毫秒 (同一機器,同一時間截) 產生 4096 個 ID 序號

實現方式 Java 版:

/**
 * Twitter_Snowflake<br>
 * SnowFlake的結構如下(每部分用-分開):<br>
 * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 <br>
 * 1位標識,由於long基本類型在Java中是帶符號的,最高位是符號位,正數是0,負數是1,所以id一般是正數,最高位是0<br>
 * 41位時間截(毫秒級),注意,41位時間截不是存儲當前時間的時間截,而是存儲時間截的差值(當前時間截 - 開始時間截)
 * 得到的值),這裡的開始時間截,一般是我們的id生成器開始使用的時間,由我們程序來指定的(如下下面程序IdWorker類的startTime屬性)。41位的時間截,可以使用69年,年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69<br>
 * 10位的數據機器位,可以部署在1024個節點,包括5位datacenterId和5位workerId<br>
 * 12位序列,毫秒內的計數,12位的計數順序號支持每個節點每毫秒(同一機器,同一時間截)產生4096個ID序號<br>
 * 加起來剛好64位,為一個Long型。<br>
 * SnowFlake的優點是,整體上按照時間自增排序,並且整個分佈式系統內不會產生ID碰撞(由數據中心ID和機器ID作區分),並且效率較高,經測試,SnowFlake每秒能夠產生26萬ID左右。
 */
public class SnowflakeIdWorker {

	// ==============================Fields===========================================
	/** 開始時間截 (2015-01-01) */
	private final long twepoch = 1420041600000L;

	/** 機器id所占的位數 */
	private final long workerIdBits = 5L;

	/** 數據標識id所占的位數 */
	private final long datacenterIdBits = 5L;

	/** 支持的最大機器id,結果是31 (這個移位算法可以很快的計算出幾位二進制數所能表示的最大十進制數) */
	private final long maxWorkerId = -1L ^ (-1L << workerIdBits);

	/** 支持的最大數據標識id,結果是31 */
	private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);

	/** 序列在id中占的位數 */
	private final long sequenceBits = 12L;

	/** 機器ID向左移12位 */
	private final long workerIdShift = sequenceBits;

	/** 數據標識id向左移17位(12+5) */
	private final long datacenterIdShift = sequenceBits + workerIdBits;

	/** 時間截向左移22位(5+5+12) */
	private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;

	/** 生成序列的掩碼,這裡為4095 (0b111111111111=0xfff=4095) */
	private final long sequenceMask = -1L ^ (-1L << sequenceBits);

	/** 工作機器ID(0~31) */
	private long workerId;

	/** 數據中心ID(0~31) */
	private long datacenterId;

	/** 毫秒內序列(0~4095) */
	private long sequence = 0L;

	/** 上次生成ID的時間截 */
	private long lastTimestamp = -1L;

	//==============================Constructors=====================================
	/**
	 * 構造函數
	 * @param workerId 工作ID (0~31)
	 * @param datacenterId 數據中心ID (0~31)
	 */
	public SnowflakeIdWorker(long workerId, long datacenterId) {
		if (workerId > maxWorkerId || workerId < 0) {
			throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
		}
		if (datacenterId > maxDatacenterId || datacenterId < 0) {
			throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
		}
		this.workerId = workerId;
		this.datacenterId = datacenterId;
	}

	// ==============================Methods==========================================
	/**
	 * 獲得下一個ID (該方法是線程安全的)
	 * @return SnowflakeId
	 */
	public synchronized long nextId() {
		long timestamp = timeGen();

		//如果當前時間小於上一次ID生成的時間戳,說明系統時鐘回退過這個時候應當拋出異常
		if (timestamp < lastTimestamp) {
			throw new RuntimeException(
					String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
		}

		//如果是同一時間生成的,則進行毫秒內序列
		if (lastTimestamp == timestamp) {
			sequence = (sequence + 1) & sequenceMask;
			//毫秒內序列溢出
			if (sequence == 0) {
				//阻塞到下個毫秒,獲得新的時間戳
				timestamp = tilNextMillis(lastTimestamp);
			}
		}
		//時間戳改變,毫秒內序列重置
		else {
			sequence = 0L;
		}

		//上次生成ID的時間截
		lastTimestamp = timestamp;

		//移位並通過或運算拼到一起組成64位的ID
		return ((timestamp - twepoch) << timestampLeftShift) //
				| (datacenterId << datacenterIdShift) //
				| (workerId << workerIdShift) //
				| sequence;
	}

	/**
	 * 阻塞到下個毫秒,直到獲得新的時間戳
	 * @param lastTimestamp 上次生成ID的時間截
	 * @return 當前時間戳
	 */
	protected long tilNextMillis(long lastTimestamp) {
		long timestamp = timeGen();
		while (timestamp <= lastTimestamp) {
			timestamp = timeGen();
		}
		return timestamp;
	}

	/**
	 * 返回以毫秒為單位的當前時間
	 * @return 當前時間(毫秒)
	 */
	protected long timeGen() {
		return System.currentTimeMillis();
	}

	//==============================Test=============================================
	/** 測試 */
	public static void main(String[] args) {
		SnowflakeIdWorker idWorker = new SnowflakeIdWorker(0, 0);
		for (int i = 0; i < 1000; i++) {
			long id = idWorker.nextId();
			System.out.println(Long.toBinaryString(id));
			System.out.println(id);
		}
	}
}

優點:

  1. 此方案每秒能夠產生 409.6 萬個 ID,性能快
  2. 時間戳在高位,自增序列在低位,整個 ID 是趨勢遞增的,按照時間有序遞增
  3. 靈活度高,可以根據業務需求,調整 bit 位的劃分,滿足不同的需求

缺點:

  1. 依賴機器的時鐘,如果服務器時鐘回撥,會導致重複 ID 生成

在分佈式場景中,服務器時鐘回撥會經常遇到,一般存在 10ms 之間的回撥;小夥伴們就說這點 10ms,很短可以不考慮吧。但此算法就是建立在毫秒級別的生成方案,一旦回撥,就很有可能存在重複 ID。

Redis 生成方案#

利用 redis 的 incr 原子性操作自增,一般算法為:年份 + 當天距當年第多少天 + 天數 + 小時 + redis 自增

優點:有序遞增,可讀性強

缺點:佔用帶寬,每次要向 redis 進行請求

參考#

  1. 老顧聊技術 - 你想了解一線大廠的分佈式唯一 ID 生成方案嗎?
  2. 永夜微光 - Twitter 的分佈式自增 ID 算法 snowflake (Java 版)
載入中......
此文章數據所有權由區塊鏈加密技術和智能合約保障僅歸創作者所有。