In teoria della probabilità e in teoria dell'informazione, la divergenza di Kullback–Leibler è una misura non simmetrica della differenza tra due distribuzioni di probabilità P e Q. Specificamente, la divergenza di Kullback–Leibler di Q da P, indicata con DKL, è la misura dell'informazione persa quando Q è usata per approssimare P: KL misura il numero atteso di bit extra richiesti per la Codifica di Huffman di campioni P quando si utilizza un codice basato su Q, piuttosto che utilizzare un codice basato su P. Tipicamente P rappresenta la "vera" distribuzione di dati, osservazioni, o una distribuzione teorica calcolata con precisione. Wikipedia