| Many of the other quantities of information theory can be interpreted as applications of the Kullback-Leibler divergence to specific cases. | Многие другие величины информационной теории могут быть интерпретированы как применение расстояния Кульбака - Лейблера к частным случаям. |
| If the actual message probabilities are q(i) and Kullback-Leibler divergence DKL(q||p) is minimized by the code with l(i), then the optimal Huffman code for that set of messages will be equivalent to that code. | Если фактические вероятности сообщения - q(i) и расстояние Кульбака - Лейблера DKL(q||p) минимизирует код с l(i), затем оптимальный код Хаффмана для этого множества сообщений будет эквивалентен к этому коду. |
| The Kullback-Leibler divergence remains well-defined for continuous distributions, and furthermore is invariant under parameter transformations. | Расстояние Кульбака - Лейблера остается строго определенным для непрерывных распределений, и кроме того инвариантно относительно замены переменных. |
| When the error function to be used is Kullback-Leibler divergence, NMF is identical to the Probabilistic latent semantic analysis, a popular document clustering method. | Если в качестве функции ошибки используется расстояние Кульбака - Лейблера, НМР идентично вероятностному латентно-семантическому анализу, популярному методу кластеризации документов. |
| Arthur Hobson proved that the Kullback-Leibler divergence is the only measure of difference between probability distributions that satisfies some desired properties, which are the canonical extension to those appearing in a commonly used characterization of entropy. | Артур Хобсон доказал, что расстояние Кульбака - Лейблера - это единственная мера разницы между вероятностными распределениями, которая удовлетворяют некоторым желательным свойствам, являющимся каноническими расширениями для появляющихся в часто используемых характеризациях энтропии. |
| When NMF is obtained by minimizing the Kullback-Leibler divergence, it is in fact equivalent to another instance of multinomial PCA, probabilistic latent semantic analysis, trained by maximum likelihood estimation. | Если НМР получено путём минимизации расстояния Кульбака - Лейблера, это, фактически, эквивалентно другому экземпляру мультиномильной МГК, вероятностному латентно-семантическому анализу, настроенному с помощью оценки максимального правдоподобия. |
| The Kullback-Leibler divergence is a special case of a broader class of divergences called f-divergences as well as the class of Bregman divergences. | Расстояние Кульбака - Лейблера - это частный случай более общего класса расхождений, которые называются f-расхождения, а также частный случай класса расхождений Брегмана. |
| Use of a logarithmic score function for example, leads to the expected utility taking the form of the Kullback-Leibler divergence. | Использование логарифмического правила подсчёта, например, приводит к ожидаемой полезности, принимающей форму расхождение Кульбака - Лейблера. |
| The two broadest definitions of independence for ICA are Minimization of mutual information Maximization of non-Gaussianity The Minimization-of-Mutual information (MMI) family of ICA algorithms uses measures like Kullback-Leibler Divergence and maximum entropy. | Два наиболее широких определения независимости АНК: Минимизация взаимной информации Максимизация негауссовости Семейство алгоритмов АНК с минимизацией взаимной информации (англ. Minimization-of-Mutual information, MMI) использует такие меры, как расхождение Кульбака - Лейблера и максимальная энтропия. |