Professor Ryszard Zielińskis contribution to Monte Carlo methods and random number generators. Uniform asymptotics in statistics

Omawiamy dwa ważne wycinki działalności naukowej Ryszarda Zielińskiego. Po pierwsze, są to prace związane z metodami Monte Carlo. Wiele z nich dotyczyła stochastycznych metod optymalizacji. Ryszard Zieliński badał algorytmy typu stochastycznej aproksymacji i poszukiwań losowych. Interesował się zagadnieniami optymalizacji globalnej. Podkreślamy wątek traktowania zadań obliczeniowych w sposób właściwy dla statystyki matematycznej. Wspominamy również o relacji algorytmów typu „symulowanego wyżarzania” z wcześniejszymi wynikami Zielińskiego. Odrębny rozdział stanowią prace na temat generatorów losowych. Ryszard Zieliński zaproponował i badał generator wytwarzający nieokresowy ciąg liczb pseudo-losowych.Inny nurt badań Ryszarda Zielińskiego dotyczy jednostajnych twierdzeń granicznych w statystyce. Motywacja jest związana z podkreślaną przez Zielińskiego metodologią statystyki jako nauki dedukcyjnej rozwijanej na potrzeby zastosowań. Zieliński badał, w których modelachstatystycznych Prawo Wielkich Liczb i Centralne Twierdzenie Graniczne zachodzi jednostajnie względem rozważanej rodziny rozkładów prawdopodobieństwa. Rozstrzygnął pytanie o jednostajną zgodność kwantyli próbkowych. Wykazał, jak można osiągnąć jednostajną zgod-ność wygładzonej dystrybuanty empirycznej, dowodząc odpowiednik nierówności Dvoretzky’ego-Kiefera-Wolfowitza.

The aim of the paper is to summarize contributions of Ryszard Zieliński to two important areas of research. First, we discuss his work related to Monte Carlo methods. Ryszard Zieliński was particularly interested in Monte Carlo optimization. About 10 of his papers concerned stochastic algorithms for seeking extrema. He examined methods related to stochastic approximation, random search and global optimization. We stress that Zielinski often considered computational problems from a statistical perspective. In several articles he explicitly indicated that optimization can be reformulated as a statistical estimation problem. We also discuss relation between the family of Simulated Annealing algorithms on the one hand and some procedures examined earlier by Ryszard Zieliński on the other. Another topic belonging to Monte Carlo methods, in which Ryszard Zieliński has achieved interesting results, is construction of random number generators and examination of their statistical properties. Zieliński proposed an aperiodic generator based on Weil sequences and showed how it can be efficiently implemented. Later he constructed an algorithm which uses several such generators and produces pseudo-random sequences with better statistical properties.The second area of Zieliński’s work discussed here is related to uniform limit theorems of mathematical statistics. We stress the methodological motivation behind the research in this direction. In Zieliński’s view, asymptotic results should hold uniformly with respect to the family of probability distributions under consideration. In his opinion, this requirement comes from the very nature of statistical models and the needs of practical applications. Zieliński examined uniform versions the Weak Law of Large Numbers, Strong Law of Large Numbers and Central Limit Theorem in several statistical models. Some results were rather unexpected. He also gave a necessary and sufficient condition for uniform consistency of sample quantiles. Two papers of Ryszard Zieliński were devoted to uniform consistency of smoothed versions of empirical cumulative distribution function. In one of them he proved a version of Dvoretzky-Kiefer-Wolfowitz inequality.