Risk-based monitoring of water pollutants

Анализ и контроль степени загрязнения природной, сточной и другой воды опирается на методы выборочного контроля. При этом, если обоснование объема измерений, необходимых для оценивания контролируемых показателей с заданной точностью или принятия решений о соответствии/несоответствии воды установленной предельно допустимой концентрации (ПДК) с заданной достоверностью достаточно хорошо известны, то вопрос о частоте проведения измерений остается открытым. Решение задачи обоснования частоты измерений, приведенное в данной работе, важно потому, что водный поток является существенно нестационарным от сезона к сезону, в течение месяца и даже в течение недель и дней вследствие природных и техногенных причин. В статье впервые предлагается возможный подход к выбору частоты измерений, основанный на математическом аппарате спектрального анализа. Приведена иллюстрация данного подхода, представляющая собой рабочую методику решения поставленной задачи. Приведенный расчетный пример при наличии необходимой измерительной информации может быть обобщен на проведение анализа изменений загрязняющих воду веществ различной природы (в примере дан расчет частоты измерений, позволяющих корректно выявить еженедельные изменения; аналогично может быть выполнен расчет для случая сезонных изменений). Выбор интервала дискредитации не является самоцелью - он необходим для решения общей задачи оценки соответствия концентрации загрязняющих веществ ПДК. Поэтому материал статьи дополнен задачей обоснования классификации воды при принятии решения об ее соответствии/несоответствии установленным требованиям с учетом степени влияния факта превышения ПДК, возникающего, например, вследствие погрешности измерений оцениваемых значений концентрации.The quality control of natural water, wastewater and other water is mainly based on the methods of sampling. In this case, the justifications for the measurements volume required for evaluating the monitored indicators with a given accuracy or for making the decisions about compliance / non-compliance of water according to the established maximum permissible concentration (MPC) with a given reliability are well known. However, the question about the frequency of these measurements remains open. The solution to the frequency of measurement problem given in this study is an important one because the water flow is greatly unsteady from season to season, during the month, and even in the weeks and days as a result of natural and man-made causes. This article first proposed a possible approach to the choice of frequency measurement based on the mathematical formalism of spectral analysis. An illustration of this approach as a working method of solving the above-mentioned problem is given. This calculated example along with the necessary measuring data can be generalized to analyze the changes in water pollutants of various nature (in the example, the calculation of the frequency of measurement allowed correctly identifying the weekly changes; similarly, it can be calculated for the case of the seasonal changes). Selecting the discredit interval is not an end in itself - it is necessary for solving the general problem of conformity assessment of MPC pollutants concentration. Therefore, the article is supplemented by justifying the classification of water while making a decision on its compliance to the requirements and taking into the account the degree of influence of exceeding the maximum permissible concentration, for example, due to the measurement error of estimated values ​​of concentration

УПРОЩЕННЫЙ МЕТОД АНАЛИЗА, КОНТРОЛЯ И ПРОГНОЗА ВЫСОКОГО ЗАГРЯЗНЕНИЯ ВОДЫ ОТДЕЛЬНЫМИ КОМПОНЕНТАМИ

Assessing the risks and predicting the increased pollution of natural water bodies is especially important in the industrial regions where the instability of the monitored indicators is most significant. This article proposes methods of this activity with the use of non-parametric and more accurate parametric methods of hydro-monitoring data analysis. The results of using these methods for the Ural region have been obtained, and it has been shown that the analytical description of the "tail" parts of the probability distribution in the studied water quality indicators with the use of the Pareto distribution allows to identify the appropriate indicators for the limited volume samples and to give the projected estimates in the unobserved parts of the distributions. It has been noted that the risk of significant water pollution exists even if the situation is relatively favorable according to the hydro-monitoring. In this regard, a methodology of estimating the upper limit of the confidence interval covering the value of the monitored index with the acceptable reliability has been proposed. Practical examples show the effectiveness of this method. The special significance of the application of the proposed approaches to the predicting aspect is due to the possibility of assessing the small risks of the appearance of extreme unit values of the investigated random variables.Keywords: probability of considerable water contamination, prediction, the «tail» of the probability distribution function, ranking the highest concentrations, upper fiducial limit, the theory of order statistics.DOI: http://dx.doi.org/10.15826/analitika.2017.21.2.008 O.M. Rosental’1, L.N. Aleksandrovskaya2, A.V. Kirillin2 1Institute of Water Problems of RAS, Gubkin ul., 3, Moscow, 119991, Russian Federation 2Moscow aviation Institute, Volokolamskoe shosse, 4, Moscow, 125993, Russian FederationОценка риска и прогноз повышенного загрязнения природных вод особенно важны в промышленных регионах, где нестабильность контролируемых показателей наиболее высока. Поскольку риск является вероятностной характеристикой степени загрязнения воды отдельными компонентами, для решения этой задачи необходимо привлечение статистических методов. В статье предложена практическая методика такой оценки с использованием непараметрических, основанных на теории порядковых статистик, и более точных параметрических методов статистического анализа данных гидромониторинга, требующих аналитического описания функции распределения концентрации загрязняющих веществ. Результаты использования методики апробированы для уральского региона, для чего обосновано и показано, что аналитическое описание «хвостовых» частей функций распределения вероятностей при больших значениях исследуемых показателей качества воды распределением Парето позволяет по выборкам ограниченного объема определять соответствующие показатели в ненаблюдаемых частях распределений, т.е. давать прогнозные оценки. Отмечено, что риск высокого загрязнения воды существует, даже если ситуация по данным гидромониторинга относительно благополучна. В связи с этим предложена методика оценки доверительного интервала, покрывающего значения контролируемого показателя с заданной доверительной вероятностью, в том числе наиболее важной его верхней доверительной границы. На практических демонстрационных примерах показана эффективность разработанной методики. Особая значимость применения предложенных подходов к прогнозной задаче обусловлена возможностью оценивания малых рисков появления экстремальных единичных значений исследуемых случайных величин.Ключевые слова: вероятность высокого загрязнения воды, прогноз, «хвост» функции распределения вероятностей, ранжирование наибольших значений концентрации, верхняя граница доверительного интервала, теория порядковых статистикDOI: http://dx.doi.org/10.15826/analitika.2017.21.2.00

БАЙЕСОВСКИЙ ПОДХОД К ПОВЫШЕНИЮ ДОСТОВЕРНОСТИ КОНТРОЛЯ КАЧЕСТВА ВОД

Increased variability and, at the same time, a reduced frequency of selective measurements of controlled indicators of natural waters increase the probability of erroneous evaluation of their quality. The task is to increase the reliability of such an assessment by analyzing arrays of new data in conjunction with data accumulated in previous periods. To do this, a Bayesian approach was modified using the uniformity measure of the combined data. It is shown that in the latter case the combined estimate shifts from the Bayesian one to the maximum likelihood estimate from the newly obtained experimental data, thus "forgetting" the obsolete data. At the same time, the 90% confidence interval, in which the true values of the monitored indicators are concluded, is narrowed, which increases the reliability of the probabilistic assessment of water quality. The proposed approach is illustrated by the example of a universal nonparametric method for estimating the probability of the concentration of a certain pollutant in compliance with the requirements as the most common indicator of water quality. The example is brought to specific numerical values, allowing both to compare the classical and modified Bayesian approach, and to give recommendations on the rational use of the latter. The proposed approach can find wide application in the problems of analysis of statistical quality indicators in various subject areas with a shortage of experimental data.Keywords: water quality control, probabilistic estimation, Bayesian approach, mixture of distributions, maximum likelihood function DOI: http://dx.doi.org/10.15826/analitika.2018.22.3.001(Russian)O.M. Rozental’1, L.N. Aleksandrovskaya2, A.V. Kirillin21Institute of water problems of RAS, ul. Gubkina, 3, Moscow, 125993, Russian Federation 2Moscow Aviation Institute (MAI), Volokolamskoe shosse, 4, Moscow, 125080, Russian FederationПовышенная изменчивость и одновременно – пониженная частота выборочных измерений контролируемых показателей природных вод повышают вероятность ошибочной оценки их качества. В работе решается задача повышения достоверности такой оценки путем анализа массивов новых данных совместно с данными, накопленными в предыдущие периоды. Для этого  была применена модификация байесовского подхода с использованием показателя степени однородности объединяемых данных. Показано, что в последнем случае объединенная оценка смещается по сравнению с байесовской в сторону оценки максимального правдоподобия по вновь полученным экспериментальным данным, «забывая» таким образом устаревшие данные. При этом 90-процентный доверительный интервал, в котором заключены истинные значения контролируемых показателей, сужается, что повышает достоверность вероятностной оценки качества воды. Предложенный подход проиллюстрирован на примере универсального непараметрического метода оценки вероятности соответствия концентрации некоторого загрязняющего вещества предъявляемым требованиям, как наиболее общего показателя качества воды. Пример доведен до конкретных числовых значений, позволяющих как провести сравнение классического и модифицированного байесовского подхода, так и выдать рекомендации по рациональному использованию последнего. Предложенный подход может найти широкое применение в задачах анализа статистических показателей качества в различных предметных областях при дефиците экспериментальных данных.Ключевые слова: контроль качества вод, вероятностная оценка, байесовский подход, смесь распределений, функция максимального правдоподобияDOI: http://dx.doi.org/10.15826/analitika.2018.22.3.00

Simplified method of analysis, control and forecast of high water pollution by separate components

Assessing the risks and predicting the increased pollution of natural water bodies is especially important in the industrial regions where the instability of the monitored indicators is most significant. This article proposes methods of this activity with the use of non-parametric and more accurate parametric methods of hydro-monitoring data analysis. The results of using these methods for the Ural region have been obtained, and it has been shown that the analytical description of the “tail” parts of the probability distribution in the studied water quality indicators with the use of the Pareto distribution allows to identify the appropriate indicators for the limited volume samples and to give the projected estimates in the unobserved parts of the distributions. It has been noted that the risk of significant water pollution exists even if the situation is relatively favorable according to the hydro-monitoring. In this regard, a methodology of estimating the upper limit of the confidence interval covering the value of the monitored index with the acceptable reliability has been proposed. Practical examples show the effectiveness of this method. The special significance of the application of the proposed approaches to the predicting aspect is due to the possibility of assessing the small risks of the appearance of extreme unit values of the investigated random variables.Оценка риска и прогноз повышенного загрязнения природных вод особенно важны в промышленных регионах, где нестабильность контролируемых показателей наиболее высока. Поскольку риск является вероятностной характеристикой степени загрязнения воды отдельными компонентами, для решения этой задачи необходимо привлечение статистических методов. В статье предложена практическая методика такой оценки с использованием непараметрических, основанных на теории порядковых статистик, и более точных параметрических методов статистического анализа данных гидромониторинга, требующих аналитического описания функции распределения концентрации загрязняющих веществ. Результаты использования методики апробированы для уральского региона, для чего обосновано и показано, что аналитическое описание «хвостовых» частей функций распределения вероятностей при больших значениях исследуемых показателей качества воды распределением Парето позволяет по выборкам ограниченного объема определять соответствующие показатели в ненаблюдаемых частях распределений, т.е. давать прогнозные оценки. Отмечено, что риск высокого загрязнения воды существует, даже если ситуация по данным гидромониторинга относительно благополучна. В связи с этим предложена методика оценки доверительного интервала, покрывающего значения контролируемого показателя с заданной доверительной вероятностью, в том числе наиболее важной его верхней доверительной границы. На практических демонстрационных примерах показана эффективность разработанной методики. Особая значимость применения предложенных подходов к прогнозной задаче обусловлена возможностью оценивания малых рисков появления экстремальных единичных значений исследуемых случайных величин

Bayesian approach to improve the reliability of control of water quality

Increased variability and, at the same time, a reduced frequency of selective measurements of controlled indicators of natural waters increase the probability of erroneous evaluation of their quality. The task is to increase the reliability of such an assessment by analyzing arrays of new data in conjunction with data accumulated in previous periods. To do this, a Bayesian approach was modified using the uniformity measure of the combined data. It is shown that in the latter case the combined estimate shifts from the Bayesian one to the maximum likelihood estimate from the newly obtained experimental data, thus "forgetting" the obsolete data. At the same time, the 90% confidence interval, in which the true values of the monitored indicators are concluded, is narrowed, which increases the reliability of the probabilistic assessment of water quality. The proposed approach is illustrated by the example of a universal nonparametric method for estimating the probability of the concentration of a certain pollutant in compliance with the requirements as the most common indicator of water quality. The example is brought to specific numerical values, allowing both to compare the classical and modified Bayesian approach, and to give recommendations on the rational use of the latter. The proposed approach can find wide application in the problems of analysis of statistical quality indicators in various subject areas with a shortage of experimental data.Повышенная изменчивость и одновременно - пониженная частота выборочных измерений контролируемых показателей природных вод повышают вероятность ошибочной оценки их качества. В работе решается задача повышения достоверности такой оценки путем анализа массивов новых данных совместно с данными, накопленными в предыдущие периоды. Для этого была применена модификация байесовского подхода с использованием показателя степени однородности объединяемых данных. Показано, что в последнем случае объединенная оценка смещается по сравнению с байесовской в сторону оценки максимального правдоподобия по вновь полученным экспериментальным данным, «забывая» таким образом устаревшие данные. При этом 90-процентный доверительный интервал, в котором заключены истинные значения контролируемых показателей, сужается, что повышает достоверность вероятностной оценки качества воды. Предложенный подход проиллюстрирован на примере универсального непараметрического метода оценки вероятности соответствия концентрации некоторого загрязняющего вещества предъявляемым требованиям, как наиболее общего показателя качества воды. Пример доведен до конкретных числовых значений, позволяющих как провести сравнение классического и модифицированного байесовского подхода, так и выдать рекомендации по рациональному использованию последнего. Предложенный подход может найти широкое применение в задачах анализа статистических показателей качества в различных предметных областях при дефиците экспериментальных данных