| The Kullback-Leibler divergence is additive for independent distributions in much the same way as Shannon entropy. | РКЛ аддитивна для независимых распределений во многом таким же образом, как энтропия Шеннона. |
| Note that the above equation is flawed - as the temperature approaches zero, the entropy approaches negative infinity, in contradiction to the third law of thermodynamics. | Заметим, что приведенное выше уравнение ошибочно, так как по мере приближения температуры к нулю энтропия приближается к отрицательной бесконечности, что противоречит третьему закону термодинамики. |
| The entropy of a system is the measure of its unpredictability. This is used during the generation of random numbers. | Энтропия системы - мера её непредсказуемости. Это понятие используется в алгоритмах генерации псевдослучайных чисел. |
| The cross entropy between two probability distributions measures the average number of bits needed to identify an event from a set of possibilities, if a coding scheme is used based on a given probability distribution q, rather than the "true" distribution pp. | Перекрестная энтропия между двумя вероятностными распределениями измеряет среднее число битов, необходимых для определения события из множества возможных, если использована схема кодирования, основанная на данном распределении вероятности Q {\displaystyle Q}, а не «истинного» распределения P {\displaystyle P}. |
| And it's basically just saying that entropy is the number of ways we can rearrange the constituents of a system so that you don't notice, so that macroscopically it looks the same. | По сути формула говорит нам, что энтропия - это число способов перемещения элементов в системе так, чтобы это не было заметно, чтобы макроскопически она выглядела бы так же. |