Wykorzystanie entropii Shannona i jej uogólnień do badania rozkładu prawdopodobieństwa zmiennej losowej dyskretnej

O entropii można mówić wszędzie tam, gdzie istnieje potrzeba rozpoznania i zmierzenia nieokreśloności badanych rozkładów zmiennych losowych. Potrzeba zmierzenia stopnia koncentracji występuje w badaniu wielu systemów, procesów czy zjawisk, w szczególności w badaniu zjawisk społeczno-ekonomicznych. Właśnie dlatego w badaniu tychże zjawisk coraz częściej wykorzystuje się miary zdefiniowane na gruncie teorii informacji. W artykule zaprezentowano pojęcia i własności entropii zmiennej losowej dyskretnej. Wykorzystano entropię Shannona wraz z jej uogólnieniami (entropią Rényiego i Tsallisa) do badania własności rozkładów prawdopodobieństw dyskretnych zmiennych losowych. Wskazano ponadto na liczne związki miar koncentracji dyskretnego rozkładu prawdopodobieństwa z entropią. W artykule zaproponowano miarę umożliwiającą ocenę stopnia koncentracji dyskretnego rozkładu prawdopodobieństwa będącą funkcją entropii Rényiego.

Everywhere where there is need for identification and measurement of indeterminacy of the distributions studied we can talk about entropy. The need to measure the degree of diversity occurs in studies on numerous systems, processes and phenomena, in particular in studies on socioeconomic phenomena. That is why in studies on those phenomena the measures or models defined on grounds of the information theory are used increasingly often. The paper presents categorization of notions and characteristics of the entropy of a discrete random variable. In addition to Shannon’s entropy, the Rényi’s and Tsallis entropies were applied for studies on the properties of distributions in case of probabilities of the random variables. The notion of entropy stemming from thermodynamics found application in many fields of sciences. Shannon’s entropy was defined on the grounds of the information theory, the Rényi’s entropy is the result of generalization of the Kolmogorov-Nagumo average while the Tsallis entropy is a certain function of Rényi’s entropy. The present paper unifies these approaches by presenting one general model of concentration measure that applies Rényi’s entropy.