The Kullback-Leibler divergence is additive for independent distributions in much the same way as Shannon entropy. |
РКЛ аддитивна для независимых распределений во многом таким же образом, как энтропия Шеннона. |
However, work by Richard C. Tolman in 1934 showed that these early attempts failed because of the cyclic problem: according to the Second Law of Thermodynamics, entropy can only increase. |
Однако работа Ричарда Толмана (Richard C. Tolman), вышедшая в 1934, показала несостоятельность модели по причине проблемы энтропии: согласно Второму закону термодинамики, энтропия может только возрастать. |
Entropy means that everything in the world - everything - is in a state of decline and decay - the arch. |
Энтропия означает, что всё в мире, абсолютно всё, постоянно ветшает и разрушается, представьте себе дугу. |
The entropy would drain the energy from my heart. |
Энтропия выжмет энергию из моего сердца |
So it's not that entropy must always increase - you can get fluctuations into lower entropy, more organized situations. |
Так что энтропия не должна всегда увеличиваться - могут быть флуктуации в более низкую энтропию, в более организованные ситуации. |