Phân kỳ Kullback–Leibler

Phân kỳ Kullback–Leibler (viết tắt KL, còn gọi là khoảng cách Kullback–Leibler, entropy tương đối, hoặc phân kỳ I, tiếng Anh: Kullback–Leibler divergence) là một phương pháp tính khoảng cách trong thống kê. Nó đo lường mức độ khác biệt của một phân phối xác suất xấp xỉ, ký hiệu là $Q$, so với một phân phối xác suất được xem là đúng, ký hiệu là $P$. Phân kỳ này được ký hiệu là $D_{\text{KL}}(P\parallel Q)$ và được định nghĩa, trong trường hợp rời rạc là:$$D_{\text{KL}}(P\parallel Q)=\sum _{x\in 𝒳}P(x)\log \frac{P(x)}{Q(x)}$$trong đó $𝒳$ là tập hợp tất cả các giá trị có thể xảy ra, $P(x)$ và $Q(x)$ lần lượt là xác suất của giá trị $x$ theo hai phân phối trên.

Một cách diễn giải đơn giản của $D_{\text{KL}}(P\parallel Q)$ là số bit dư thừa trung bình cần dùng để mã hóa dữ liệu lấy từ $P$, nếu ta dùng một phương pháp mã hóa được tối ưu cho $Q$ thay vì cho chính $P$. Mặc dù phân kỳ Kullback–Leibler có thể đo lường mức độ khác biệt giữa hai phân phối và do đó có thể xem là một dạng khoảng cách, nó không phải là một không gian metric theo nghĩa toán học chặt chẽ do không có sự đối xứng giữa hai phân phối và không thỏa mãn bất đẳng thức tam giác.

Phân kỳ Kullback–Leibler luôn là một số thực không âm, và bằng 0 khi và chỉ khi hai phân phối là giống hệt nhau. Nó có nhiều ứng dụng cả về lý thuyết như mô tả entropy tương đối trong các hệ thống thông tin hay lượng thông tin thu được khi so sánh các mô hình thống kê suy luận, lẫn thực tiễn trong thống kê ứng dụng, cơ học chất lưu, khoa học thần kinh, tin sinh học và học máy

Lịch sử

Ý tưởng gốc về phân kỳ Kullback–Leibler xuất phát từ một quan sát trong lý thuyết mã hóa. Khi mã hóa một tin nhắn bằng các bit 0 và 1, những thông tin càng thường xuyên được gửi đi thì nên được gán mã càng ngắn để tiết kiệm số bit trung bình phải gửi đi, tương tự như mã hóa Huffman. Cụ thể hơn, nếu một giá trị $x_i$ được gán một đoạn mã dài ${\ell }_i$ bit, thì đoạn mã đó ứng với việc ta ngầm giả định giá trị $x_i$ có xác suất xảy ra là $q(x_i)=2^{-{\ell }_i}$—giá trị càng có xác suất cao (theo giả định này) thì mã càng ngắn, và ngược lại. Đây chính là nội dung của định lý Kraft–McMillan.

Từ đó, nếu ta dùng một cách mã hóa được thiết kế tối ưu cho một phân phối xác suất $Q$, nhưng dữ liệu thực tế lại tuân theo một phân phối $P$ khác, thì số bit trung bình cần gửi đi sẽ nhiều hơn mức tối ưu thực sự (tức mức tối ưu nếu ta biết trước và mã hóa theo đúng $P$). Phân kỳ Kullback–Leibler chính là con số đo phần chênh lệch dư ra đó: số bit trung bình bị lãng phí khi dùng mã tối ưu cho $Q$ thay vì cho $P$.

Solomon Kullback và Richard Leibler giới thiệu khái niệm phân kỳ Kullback–Leibler trong bài báo năm 1951, gọi nó là "lượng thông tin trung bình để phân biệt" giữa hai giả thuyết $H_1$ và $H_2$, khi lấy mẫu từ độ đo xác suất ${\mu }_1$. Hai ông ký hiệu đại lượng này là $I(1:2)$, và định nghĩa "phân kỳ" giữa hai độ đo xác suất ${\mu }_1$ và ${\mu }_2$ là tổng đối xứng hóa $J(1,2)=I(1:2)+I(2:1)$. Tuy nhiên, đại lượng đối xứng hóa này thực ra đã được Harold Jeffreys định nghĩa và sử dụng từ năm 1948, trước bài báo của Kullback và Leibler ba năm.

Trong cuốn sách xuất bản năm 1959, Kullback tiếp tục gọi dạng đối xứng hóa là "phân kỳ" (divergence), còn theo một chiều thì được gọi là "phân kỳ có hướng" (directed divergence) giữa hai phân phối. Bản thân Kullback lại thích gọi đại lượng này là "thông tin phân biệt" (discrimination information) hơn. Sở dĩ dùng từ "phân kỳ" thay vì "khoảng cách" (distance) là vì dạng đối xứng hóa vẫn không thỏa mãn bất đẳng thức tam giác.

Theo thời gian, cách dùng thuật ngữ đã thay đổi. Đại lượng bất đối xứng ban đầu, tức "phân kỳ có hướng", nay được gọi là phân kỳ Kullback–Leibler, còn đại lượng đối xứng hóa $J(1,2)$ được gọi là phân kỳ Jeffreys để ghi nhận công trình trước đó của Harold Jeffreys.

Định nghĩa

Trường hợp rời rạc

Với hai phân phối xác suất rời rạc $P$ và $Q$ xác định trên cùng một không gian mẫu $𝒳$, phân kỳ Kullback–Leibler từ $Q$ đến $P$ được định nghĩa là:$$D_{\text{KL}}(P\parallel Q)=\sum _{x\in 𝒳}P(x)\log \frac{P(x)}{Q(x)}$$Công thức này tương đương với$$D_{\text{KL}}(P\parallel Q)=(-\sum _{x\in 𝒳}P(x)\log Q(x))-(-\sum _{x\in 𝒳}P(x)\log P(x))$$Nói cách khác, đây là kỳ vọng của hiệu số logarit giữa hai xác suất $P$ và $Q$, trong đó kỳ vọng được tính theo phân phối $P$.

Công thức trên chỉ có nghĩa khi, với mọi $x$, $Q(x)=0$ kéo theo $P(x)=0$ (tính chất này gọi là liên tục tuyệt đối). Nếu điều kiện đó không được thỏa mãn, người ta thường quy ước $D_{\text{KL}}(P\parallel Q)=+\mathrm{\infty }$. Khi $P(x)=0$, số hạng tương ứng trong tổng được quy ước bằng 0, vì $\underset{x\to 0^{+}}{lim}x\log (x)=0$.

Trường hợp liên tục

Với hai phân phối $P$ và $Q$ của một biến ngẫu nhiên liên tục, phân kỳ Kullback–Leibler được định nghĩa bằng tích phân:$$D_{\text{KL}}(P\parallel Q)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(x)\log \frac{p(x)}{q(x)}dx$$trong đó $p$ và $q$ là các hàm mật độ xác suất của $P$ và $Q$.

Tổng quát hơn, nếu $P$ và $Q$ là hai độ đo xác suất trên một không gian đo được $𝒳$, và $P$ liên tục tuyệt đối theo $Q$, thì phân kỳ Kullback–Leibler từ $Q$ đến $P$ được định nghĩa là$$D_{\text{KL}}(P\parallel Q)={\int }_{x\in 𝒳}\log \frac{dP(x)}{dQ(x)}dP(x)$$trong đó $\frac{dP(x)}{dQ(x)}$ là đạo hàm Radon–Nikodym của $P$ theo $Q$. Trong thực hành, người ta thường chọn một độ đo chung $\mu$ (ví dụ độ đo đếm cho phân phối rời rạc, hoặc độ đo Lebesgue cho phân phối liên tục) sao cho cả $P$ và $Q$ đều có mật độ $p$ và $q$ theo $\mu$; khi đó$$D_{\text{KL}}(P\parallel Q)={\int }_{x\in 𝒳}p(x)\log \frac{p(x)}{q(x)}d\mu (x)$$Logarit trong các công thức trên thường lấy cơ số 2 nếu muốn đo thông tin theo đơn vị bit, hoặc cơ số $e$ nếu muốn đo theo đơn vị nat. Phần lớn các tính chất của phân kỳ Kullback–Leibler không phụ thuộc vào việc chọn cơ số logarit nào.

Về cách gọi tên: $D_{\text{KL}}(P\parallel Q)$ đôi khi được gọi là "phân kỳ giữa $P$ và $Q$", nhưng cách gọi này không phản ánh đúng tính bất đối xứng của đại lượng. Cách gọi chính xác hơn là "phân kỳ của $P$ so với $Q$" hoặc "phân kỳ từ $Q$ đến $P$". Cách gọi thứ hai phản ánh đúng trật tự trong suy luận Bayes, khi ta xuất phát từ một phân phối tiên nghiệm $Q$ và cập nhật thành phân phối hậu nghiệm $P$.

Ví dụ cơ bản

Xét hai phân phối trên tập $𝒳=\{0,1,2\}$. Phân phối $P$ là một phân phối nhị thức với $N=2$ và $p=\mathrm{0,4}$; phân phối $Q$ là phân phối đều rời rạc, mỗi giá trị có xác suất $1/3$.

$x$	0	1	2
$P(x)$	9/25	12/25	4/25
$Q(x)$	1/3	1/3	1/3

Dùng logarit tự nhiên (đơn vị nat), entropy tương đối theo hai chiều được tính như sau:$$D_{\text{KL}}(P\parallel Q)=\frac{9}{25}\ln \frac{9/25}{1/3}+\frac{12}{25}\ln \frac{12/25}{1/3}+\frac{4}{25}\ln \frac{4/25}{1/3}\approx \mathrm{0,0853}$$$$D_{\text{KL}}(Q\parallel P)=\frac{1}{3}\ln \frac{1/3}{9/25}+\frac{1}{3}\ln \frac{1/3}{12/25}+\frac{1}{3}\ln \frac{1/3}{4/25}\approx \mathrm{0,0975}$$Kết quả này minh họa rõ tính bất đối xứng: $D_{\text{KL}}(P\parallel Q)\ne D_{\text{KL}}(Q\parallel P)$.

Các cách diễn giải

Thống kê

Trong thống kê, bổ đề Neyman–Pearson chỉ ra rằng cách tốt nhất để phân biệt hai phân phối $P$ và $Q$ dựa trên một quan sát $Y$ (lấy mẫu từ một trong hai phân phối) là thông qua logarit của là thông qua logarit của tỷ lệ giữa hàm hợp lý (likelihood function) của hai phân phối: $\log P(Y)-\log Q(Y)$. Phân kỳ Kullback–Leibler chính là giá trị kỳ vọng của đại lượng này khi $Y$ thực sự được lấy mẫu từ $P$. Kullback đã đề xuất cách diễn giải này.

Mã hóa

Trong lý thuyết mã hóa, $D_{\text{KL}}(P\parallel Q)$ có thể được xây dựng bằng cách đo số bit dư ra, tính theo kỳ vọng, cần thiết để mã hóa các mẫu lấy từ $P$ bằng một phương pháp mã hóa được tối ưu cho $Q$, thay vì phương pháp tối ưu cho chính $P$.

Suy luận

Trong học máy, $D_{\text{KL}}(P\parallel Q)$ thường được gọi là lượng thông tin thu được (information gain) nếu dùng $P$ thay cho $Q$, phân phối đang được sử dụng. Theo cách tương tự với lý thuyết thông tin, nó cũng được gọi là phân kỳ Kullback–Leibler của $P$ so với $Q$.

Diễn đạt theo ngôn ngữ của suy luận Bayes, $D_{\text{KL}}(P\parallel Q)$ đo lượng thông tin thu được khi cập nhật niềm tin từ phân phối tiên nghiệm $Q$ sang phân phối hậu nghiệm $P$. Nói cách khác, đó là lượng thông tin bị mất khi dùng $Q$ để xấp xỉ $P$.

Hình học thông tin

Trong các ứng dụng của hình học thông tin (information geometry), $P$ thường đại diện cho phân phối "thực" của dữ liệu, còn $Q$ đại diện cho một lý thuyết, mô hình, hoặc xấp xỉ của $P$. Để tìm một phân phối $Q$ gần $P$ nhất, ta có thể cực tiểu hóa phân kỳ Kullback–Leibler, phép tính này gọi là phép chiếu thông tin (information projection).

Mặc dù là một khoảng cách thống kê, phân kỳ Kullback–Leibler không phải là một metric, mà là một phân kỳ. Trong khi metric có tính đối xứng và tổng quát hóa khoảng cách tuyến tính, đồng thời thỏa mãn bất đẳng thức tam giác; thì phân kỳ có tính bất đối xứng và tổng quát hóa khoảng cách bình phương, trong một số trường hợp thỏa mãn một dạng tổng quát hóa của định lý Pythagoras. Nhìn chung $D_{\text{KL}}(P\parallel Q)\ne D_{\text{KL}}(Q\parallel P)$, và tính bất đối xứng này là một phần quan trọng trong cấu trúc hình học của phân kỳ.

Tài chính (lý thuyết trò chơi)

Xét trên góc nhìn của một nhà đầu tư tìm cách tối đa hóa tốc độ tăng trưởng tài sản trong một trò chơi công bằng với các kết quả loại trừ lẫn nhau (tổng xác suất các kết quả có thể xảy ra bằng 1). Tỷ suất sinh lời kỳ vọng của nhà đầu tư này bằng đúng phân kỳ Kullback–Leibler giữa xác suất mà nhà đầu tư tin tưởng và tỷ lệ chính thức. Đây là một trường hợp đặc biệt của mối liên hệ tổng quát hơn giữa lợi nhuận tài chính và các độ đo phân kỳ.

Trong lĩnh vực tài chính, các rủi ro cũng có thể liên hệ với phân kỳ Kullback–Leibler thông qua hình học thông tin: góc nhìn của nhà đầu tư, quan điểm chung của thị trường, và các kịch bản rủi ro tạo thành các tam giác trên một đa tạp phân phối xác suất, và hình dạng của các tam giác này quyết định các loại rủi ro tài chính then chốt.

Tính chất

Phân kỳ Kullback–Leibler có một số tính chất toán học quan trọng sau:

Không âm

Phân kỳ Kullback–Leibler chỉ có thể mang giá trị dương hoặc đúng bằng 0,$$D_{\text{KL}}(P\parallel Q)\ge 0$$kết quả này được gọi là bất đẳng thức Gibbs, và $D_{\text{KL}}(P\parallel Q)=0$ khi và chỉ khi $P=Q$. Do đó, entropy $H(P)$ là giá trị nhỏ nhất có thể của cross-entropy $H(P,Q)$, tức số bit trung bình cần thiết khi dùng mã dựa trên $Q$ thay vì $P$. Phân kỳ Kullback–Leibler chính là số bit dư ra, tính theo kỳ vọng, phải truyền thêm để xác định một giá trị $x$ lấy từ $X$, nếu dùng mã ứng với phân phối $Q$ thay vì phân phối "thực" $P$.

Không có cận trên tổng quát

Nhìn chung, phân kỳ Kullback–Leibler không có cận trên (upper bound). Tuy nhiên, nếu $P$ và $Q$ là hai phân phối xác suất rời rạc được xây dựng bằng cách phân chia cùng một đại lượng rời rạc, thì có thể tính được giá trị lớn nhất của $D_{\text{KL}}(P\parallel Q)$.

Tính cộng đối với các phân phối độc lập

Phân kỳ Kullback–Leibler có tính cộng (tức $f(x+y)=f(x)+f(y)$) đối với các biến ngẫu nhiên độc lập, tương tự như entropy Shannon.

Nếu $P_1,P_2$ là hai phân phối độc lập, với $P(dx,dy)=P_1(dx)P_2(dy)$, và tương tự $Q(dx,dy)=Q_1(dx)Q_2(dy)$ với $Q_1,Q_2$ cũng độc lập, thì$$D_{\text{KL}}(P\parallel Q)=D_{\text{KL}}(P_1\parallel Q_1)+D_{\text{KL}}(P_2\parallel Q_2)$$

Lồi

Phân kỳ Kullback–Leibler $D_{\text{KL}}(P\parallel Q)$ là hàm lồi theo cặp độ đo xác suất $(P,Q)$. Cụ thể, nếu $(P_1,Q_1)$ và $(P_2,Q_2)$ là hai cặp độ đo xác suất, thì với mọi $0\le \lambda \le 1$:$$D_{\text{KL}}(\lambda P_1+(1-\lambda )P_2\parallel \lambda Q_1+(1-\lambda )Q_2)\le \lambda D_{\text{KL}}(P_1\parallel Q_1)+(1-\lambda )D_{\text{KL}}(P_2\parallel Q_2)$$

Ví dụ

Phân phối chuẩn đa biến

Giả sử ta có hai phân phối chuẩn đa biến, với vector giá trị kỳ vọng ${\mu }_0,{\mu }_1$ và ma trận hiệp phương sai không suy biến ${\Sigma }_0,{\Sigma }_1$. Nếu hai phân phối có cùng số chiều $k$, phân kỳ Kullback–Leibler giữa chúng là:$$D_{\text{KL}}({𝒩}_0\parallel {𝒩}_1)=\frac{1}{2}[\mathrm{tr}({\Sigma }_1^{-1}{\Sigma }_0)-k+({\mu }_1-{\mu }_0{)}^{𝖳}{\Sigma }_1^{-1}({\mu }_1-{\mu }_0)+\ln \frac{det{\Sigma }_1}{det{\Sigma }_0}]$$trong đó $\mathrm{tr}(\cdot )$ là vết ma trận (tổng các phần tử trên đường chéo chính), $det(\cdot )$ là định thức ma trận.

Một trường hợp đặc biệt là phân kỳ Kullback–Leibler giữa một phân phối chuẩn đa biến đường chéo (tức có ma trận hiệp phương sai là ma trận đường chéo, nghĩa là các biến này độc lập về thống kê với nhau) và một phân phối chuẩn tắc $N(0,1)$:$$D_{\text{KL}}(𝒩(({\mu }_1,\dots ,{\mu }_k{)}^{𝖳},\mathrm{diag}({\sigma }_1^2,\dots ,{\sigma }_k^2))\parallel 𝒩(\mathrm{𝟎},𝐈))=\frac{1}{2}\sum _{i=1}^k[{\sigma }_i^2+{\mu }_i^2-1-\ln ({\sigma }_i^2)]$$Công thức này chính là số hạng phân kỳ Kullback–Leibler xuất hiện trong hàm mất mát của bộ mã hóa tự động biến phân (VAE), khi phân phối hậu nghiệm xấp xỉ được giả định là chuẩn đường chéo.

Với hai phân phối chuẩn một biến $p$ và $q$, công thức trên rút gọn thành$$D_{\text{KL}}(p\parallel q)=\log \frac{{\sigma }_1}{{\sigma }_0}+\frac{{\sigma }_0^2+({\mu }_0-{\mu }_1{)}^2}{2{\sigma }_1^2}-\frac{1}{2}$$

Phân phối đều

Xét hai phân phối đều, với giá của $p=[A,B]$ nằm trọn trong giá của $q=[C,D]$ (tức $C\le A<B\le D$). Khi đó lượng thông tin thu được là:$$D_{\text{KL}}(p\parallel q)=\log \frac{D-C}{B-A}$$Nói một cách trực quan, lượng thông tin thu được khi thu hẹp một phân phối đều xuống còn $1/k$ độ rộng ban đầu chứa ${\log }_{2}k$ bit. Điều này khớp với cách hiểu về bit trong khoa học máy tính: cần ${\log }_{2}k$ bit để xác định một phần tử trong một dãy có $k$ giá trị.

Họ mũ

Họ mũ là các phân phối có công thức:

$$p_X(x\mid \theta )=h(x)\exp ({\theta }^{𝖳}T(x)-A(\theta ))$$

trong đó $h(x)$ là độ đo tham chiếu, $T(x)$ là thống kê đủ, $\theta$ là tham số tự nhiên (canonical parameter), và $A(\theta )$ là hàm log-phân hoạch (log-partition function). Các phân phối thuộc họ mũ bao gồm phân phối chuẩn, phân phối mũ, phân phối Bernoulli, phân phối Poisson, phân phối hình học, vân vân.

Phân kỳ Kullback–Leibler giữa hai phân phối $p(x\mid {\theta }_1)$ và $p(x\mid {\theta }_2)$ cùng họ mũ có giá trị:$$D_{\text{KL}}({\theta }_1\parallel {\theta }_2)=({\theta }_1-{\theta }_2{)}^{𝖳}{\mu }_1-A({\theta }_1)+A({\theta }_2)$$trong đó ${\mu }_1=E_{{\theta }_1}[T(X)]=\mathrm{\nabla }A({\theta }_1)$ là tham số kỳ vọng của $p(x\mid {\theta }_1)$.

Ví dụ, với phân phối Poisson có kỳ vọng $\lambda$: thống kê đủ là $T(x)=x$, tham số tự nhiên là $\theta =\log \lambda$, và hàm log-phân hoạch là $A(\theta )=e^{\theta }$. Từ đó, phân kỳ giữa hai phân phối Poisson với kỳ vọng ${\lambda }_1$ và ${\lambda }_2$ là$$D_{\text{KL}}({\lambda }_1\parallel {\lambda }_2)={\lambda }_1\log \frac{{\lambda }_1}{{\lambda }_2}-{\lambda }_1+{\lambda }_2$$Tương tự, với phân phối chuẩn phương sai 1 $N(\mu ,1)$: thống kê đủ là $T(x)=x$, tham số tự nhiên là $\theta =\mu$, và hàm log-phân hoạch là $A(\theta )={\mu }^2/2$. Phân kỳ giữa hai phân phối $N({\mu }_1,1)$ và $N({\mu }_2,1)$ là$$D_{\text{KL}}({\mu }_1\parallel {\mu }_2)=\frac{({\mu }_2-{\mu }_1{)}^2}{2}$$

Ứng dụng

Suy luận biến phân

Một kết quả quan trọng, do Donsker và Varadhan chứng minh, được gọi là công thức đối ngẫu Donsker–Varadhan. Với $P$ là một độ đo xác suất và $h$ là một biến ngẫu nhiên khả tích, công thức này phát biểu rằng, xét trên mọi phân phối $Q$ liên tục tuyệt đối theo $P$, giá trị lớn nhất có thể đạt được của biểu thức $E_Q[h]-D_{\text{KL}}(Q\parallel P)$ đúng bằng $\log E_P[\exp h]$:

$$\log E_P[\exp h]=\underset{Q\ll P}{sup}\{E_Q[h]-D_{\text{KL}}(Q\parallel P)\}$$

Ý nghĩa của công thức này là biến một đại lượng khó tính trực tiếp (vế trái) thành một bài toán tối ưu hóa (vế phải), trong đó phân kỳ Kullback–Leibler đóng vai trò như một hạng phạt cho việc chọn $Q$ khác xa $P$.

Đây chính là nền tảng toán học của cận dưới bằng chứng (evidence lower bound, ELBO) được dùng trong suy luận biến phân và trong huấn luyện bộ mã hóa tự động biến phân (VAE): thay vì tính trực tiếp phân phối hậu nghiệm thực sự (thường không khả thi), người ta tìm một phân phối xấp xỉ $Q$ sao cho cực đại hóa vế phải của công thức trên, tức cực tiểu hóa đồng thời phân kỳ Kullback–Leibler giữa $Q$ và phân phối hậu nghiệm thực.

Cập nhật Bayes

Trong thống kê Bayes, phân kỳ Kullback–Leibler có thể dùng để đo lượng thông tin thu được khi chuyển từ phân phối tiên nghiệm sang phân phối hậu nghiệm. Nếu một dữ liệu mới $Y=y$ được quan sát, phân phối hậu nghiệm cho $X$ được cập nhật từ $p(x)$ thành $p(x\mid y)$ theo định lý Bayes. Lượng thông tin thu được từ việc quan sát $Y=y$ chính là phân kỳ Kullback–Leibler giữa hai phân phối đó:

$$D_{\text{KL}}(p(x\mid y)\parallel p(x))=\sum _{x}p(x\mid y)\log \frac{p(x\mid y)}{p(x)}$$

Một điểm cần lưu ý là lượng thông tin thu được không tuân theo bất đẳng thức tam giác: nếu có thêm một dữ liệu thứ hai $Y_2=y_2$, lượng thông tin thu được tính gộp từ cả hai lần cập nhật có thể lớn hơn hoặc nhỏ hơn tổng lượng thông tin thu được từ từng lần cập nhật riêng lẻ.

Trong thiết kế thực nghiệm Bayes, một mục tiêu thường gặp là thiết kế thí nghiệm sao cho cực đại hóa phân kỳ Kullback–Leibler kỳ vọng giữa tiên nghiệm và hậu nghiệm. Khi phân phối hậu nghiệm được xấp xỉ là phân phối chuẩn, thiết kế cực đại hóa đại lượng này được gọi là thiết kế tối ưu Bayes-D.

Chọn mô hình thống kê

Phân kỳ Kullback–Leibler giữa một mô hình thống kê và giá trị trên thực tế được dùng để đo lường mức độ mô hình còn phải "học thêm" bao nhiêu so với dữ liệu thực. Ứng dụng này là nền tảng cho việc chọn mô hình thống kê thông qua tiêu chuẩn thông tin Akaike (AIC) thông qua mối liên hệ giữa giá trị kỳ vọng của phân kỳ Kullback–Leibler và hàm hợp lý cực đại (log-likelihood) của mô hình, từ đó xây dựng một tiêu chuẩn ước lượng được từ dữ liệu quan sát để so sánh và chọn giữa các mô hình khác nhau.

Nhiệt động lực học

Trong nhiệt động lực học, phân kỳ Kullback–Leibler giữa phân phối trạng thái thực tế và phân phối trạng thái ở điều kiện môi trường xung quanh đo lượng công khả dụng của một hệ khi cân bằng với môi trường, trong đó công khả dụng bằng nhiệt độ môi trường nhân với phân kỳ Kullback–Leibler giữa hai phân phối đó. Đây là lý do phân kỳ Kullback–Leibler còn được dùng để đặt giới hạn cho các quá trình chuyển đổi nhiệt, ví dụ trong điều hòa không khí dùng lửa hoặc thiết bị chuyển nước sôi thành nước đá không cần điện.

Lý thuyết thông tin lượng tử

Với hai ma trận mật độ (density matrix) $P$ và $Q$ trên một không gian Hilbert, phân kỳ Kullback–Leibler lượng tử (còn gọi là entropy tương đối lượng tử Umegaki) từ $Q$ đến $P$ được định nghĩa là $D_{\text{KL}}(P\parallel Q)=\mathrm{Tr}(P(\log P-\log Q))$. Trong khoa học thông tin lượng tử, giá trị nhỏ nhất của $D_{\text{KL}}(P\parallel Q)$ trên mọi trạng thái $Q$ khả phân (separable) có thể dùng làm một độ đo mức độ vướng víu lượng tử của trạng thái $P$.

Liên hệ với các đại lượng và độ đo khác

Độ đo Fisher information

Phân kỳ Kullback–Leibler có liên hệ trực tiếp với độ đo thông tin Fisher (Fisher information). Giả sử hai phân phối $P$ và $Q$ đều được tham số hóa bởi một tham số $\theta$, và xét hai giá trị tham số gần nhau $\theta$ và ${\theta }_0$. Vì phân kỳ Kullback–Leibler đạt giá trị nhỏ nhất tuyệt đối bằng 0 tại $\theta ={\theta }_0$, khai triển Taylor bậc hai quanh điểm này có giá trị là:

$$D_{\text{KL}}(P(\theta )\parallel P({\theta }_0))=\frac{1}{2}\Delta {\theta }_j\Delta {\theta }_k{g}_{jk}({\theta }_0)+\cdots$$

trong đó $\Delta {\theta }_j=(\theta -{\theta }_0{)}_j$ là độ lệch nhỏ giữa hai tham số, và ma trận Hessian $g_{jk}({\theta }_0)$ của phân kỳ tại ${\theta }_0$ chính là độ đo thông tin Fisher. Nói cách khác, ở lân cận rất gần điểm mà hai phân phối trùng nhau, phân kỳ Kullback–Leibler xấp xỉ bằng một dạng toàn phương xác định bởi thông tin Fisher, giúp nó được dùng làm gradient tự nhiên (natural gradient) trong các thuật toán tối ưu hóa dựa trên hình học thông tin.

Tự thông tin

Tự thông tin (self-information, hay lượng tin của một sự kiện) có thể xem như một trường hợp đặc biệt của phân kỳ Kullback–Leibler: đó là phân kỳ giữa phân phối thực tế $P(i)$ và một Kronecker delta biểu diễn sự chắc chắn tuyệt đối rằng $i=m$ đã xảy ra, tức số bit dư ra phải truyền thêm để xác định $i$, nếu bên nhận chỉ có phân phối xác suất $P(i)$ mà không biết trước kết quả thực sự là $i=m$.

Thông tin tương hỗ

Thông tin tương hỗ (mutual information) giữa hai biến ngẫu nhiên $X$ và $Y$ chính là phân kỳ Kullback–Leibler giữa phân phối đồng thời $P_{X,Y}$ và tích của hai phân phối biên $P_X\cdot P_Y$:

$$I(X;Y)=D_{\text{KL}}(P_{X,Y}\parallel P_X\cdot P_Y)$$

Đây là số bit dư ra tính theo kỳ vọng phải truyền thêm vào để xác định giá trị của cả $X$ và $Y$ xem chúng đã được mã hóa theo hai phân phối biên riêng lẻ hay dựa theo phân phối đồng thời.

Entropy Shannon

Entropy Shannon của một biến ngẫu nhiên $X$ nhận $N$ giá trị có khả năng như nhau, trừ đi phân kỳ Kullback–Leibler giữa phân phối đều $P_U(X)$ và phân phối thực $P(X)$, bằng đúng số bit trung bình cần truyền để xác định $X$ từ $N$ khả năng đó:

$$H(X)=\log N-D_{\text{KL}}(P(X)\parallel P_U(X))$$

Nói cách khác, phân kỳ Kullback–Leibler đo số bit trung bình tiết kiệm được nếu mã hóa theo đúng phân phối thực $P(X)$ thay vì theo phân phối đều.

Entropy có điều kiện

Entropy có điều kiện liên hệ với phân kỳ Kullback–Leibler theo công thức:

$$H(X\mid Y)=H(X)-I(X;Y)=\log N-D_{\text{KL}}(P(X,Y)\parallel P_U(X)P(Y))$$

tức số bit cần truyền để xác định $X$ từ $N$ khả năng đồng xác suất, trừ đi phân kỳ Kullback–Leibler giữa phân phối đồng thời thực $P(X,Y)$ và tích của phân phối đều $P_U(X)$ với phân phối biên $P(Y)$.

Entropy chéo

Entropy chéo giữa hai phân phối $p$ và $q$ đo số bit trung bình cần dùng để xác định một sự kiện, nếu dùng phương pháp mã hóa được tối ưu cho $q$ thay vì cho phân phối thực $p$. Cross-entropy liên hệ với phân kỳ Kullback–Leibler qua công thức

$$H(p,q)=H(p)+D_{\text{KL}}(p\parallel q)$$

Phân kỳ Kullback–Leibler chính là số bit dư ra, ngoài mức tối thiểu $H(p)$, phải trả thêm vì dùng $q$ thay vì $p$ để xây dựng phương pháp mã hóa. Công thức này chính là cơ sở của hàm mất mát entropy chéo phổ biến trong huấn luyện mạng neuron cho bài toán phân loại.

Sự thay đổi thông tin và MAUVE

Sự thay đổi thông tin (variation of information) là một độ đo thông tin khác, về cơ bản là một dạng đối xứng hóa của entropy có điều kiện, và là một metric thực sự (thỏa mãn bất đẳng thức tam giác) trên tập hợp các cách phân hoạch một không gian xác suất rời rạc, khác với phân kỳ Kullback–Leibler.

Một ứng dụng hiện đại của phân kỳ Kullback–Leibler là chỉ số MAUVE, dùng để đo khoảng cách thống kê giữa hai phân phối văn bản, ví dụ giữa văn bản do một mô hình ngôn ngữ tạo ra và văn bản do con người viết. MAUVE được tính bằng cách lấy phân kỳ Kullback–Leibler giữa hai phân phối trong một không gian embedding đã lượng tử hóa của một mô hình nền tảng (foundation model). Vì phân kỳ Kullback–Leibler tiến đến vô cực khi hai phân phối văn bản không có cùng giá—trường hợp thường gặp trong sinh văn bản mở—MAUVE khắc phục vấn đề này bằng cách đo phân kỳ giữa mỗi phân phối với một phân phối hỗn hợp của cả hai, thay vì đo trực tiếp giữa hai phân phối gốc.

Một hướng khắc phục khác cho cùng vấn đề này là các biến thể dùng toán tử hiệp phương sai nhân trong không gian Hilbert tái tạo nhân, gọi là phân kỳ Kullback–Leibler nhân (kernel KL divergence), một phiên bản chính quy hóa đảm bảo phân kỳ luôn hữu hạn với mọi cặp phân phối.

Khoảng cách biến phân toàn phần

Khoảng cách biến phân toàn phần (total variation distance) $\delta (P,Q)$ liên hệ với phân kỳ Kullback–Leibler qua bất đẳng thức Pinsker:

$$\delta (P,Q)\le \sqrt{\frac{1}{2}{D}_{\text{KL}}(P\parallel Q)}$$

Bất đẳng thức Pinsker trở nên vô nghĩa (không cung cấp thông tin gì) khi $D_{\text{KL}}(P\parallel Q)>2$, vì khoảng cách biến phân toàn phần luôn nhỏ hơn hoặc bằng 1. Trong trường hợp đó, có thể dùng một cận khác chặt hơn, do Bretagnolle và Huber đề xuất:

$$\delta (P,Q)\le \sqrt{1-e^{-D_{\text{KL}}(P\parallel Q)}}$$

Phân kỳ Rényi

Họ phân kỳ Rényi tổng quát hóa phân kỳ Kullback–Leibler bằng cách thêm một tham số bậc $\alpha$; phân kỳ Kullback–Leibler chính là phân kỳ Rényi bậc $\alpha =1$. Tùy vào giá trị của $\alpha$, người ta có thể suy ra nhiều bất đẳng thức khác nhau liên quan đến phân kỳ Kullback–Leibler.

Ngoài ra, phân kỳ Kullback–Leibler còn liên hệ với một số độ đo khoảng cách xác suất khác như khoảng cách Hellinger và khoảng cách của người vận chuyển đất (earth mover's distance).

Phân kỳ đối xứng hóa

Như đã đề cập, Kullback và Leibler cũng xét đến dạng đối xứng hóa $D_{\text{KL}}(P\parallel Q)+D_{\text{KL}}(Q\parallel P)$, ngày nay được gọi là phân kỳ Jeffreys. Đại lượng này đôi khi được dùng để lựa chọn đặc trưng (feature selection) trong các bài toán phân loại thống kê. Trong ngành ngân hàng và tài chính, đại lượng này còn được gọi là chỉ số ổn định dân số (Population Stability Index, PSI), dùng để đánh giá sự dịch chuyển phân phối của các đặc trưng mô hình theo thời gian.

Một dạng tổng quát hơn là $\lambda$-phân kỳ:

$$D_{\lambda }(P\parallel Q)=\lambda D_{\text{KL}}(P\parallel \lambda P+(1-\lambda )Q)+(1-\lambda )D_{\text{KL}}(Q\parallel \lambda P+(1-\lambda )Q)$$

Khi $\lambda =\mathrm{0,5}$, ta thu được phân kỳ Jensen–Shannon:

$$D_{\text{JS}}=\frac{1}{2}{D}_{\text{KL}}(P\parallel M)+\frac{1}{2}{D}_{\text{KL}}(Q\parallel M)$$

trong đó $M=\frac{1}{2}(P+Q)$ là trung bình của hai phân phối. Phân kỳ Jensen–Shannon có thể diễn giải như dung lượng của một kênh thông tin nhiễu với hai đầu vào cho ra hai phân phối đầu ra $P$ và $Q$, và được dùng rộng rãi trong huấn luyện mạng đối nghịch tạo sinh (GAN).

Liên kết ngoài

• Information Theoretical Estimators Toolbox
• Ruby gem for calculating Kullback–Leibler divergence
• Jon Shlens' tutorial on Kullback–Leibler divergence and likelihood theory
• Matlab code for calculating Kullback–Leibler divergence for discrete distributions Lưu trữ ngày 29 tháng 9 năm 2007 tại Wayback Machine
• Sergio Verdú, Relative Entropy, Conference on Neural Information Processing Systems 2009. One-hour video lecture.
• A modern summary of info-theoretic divergence measures