Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа

Предложен подход к оценке полезности диагностических методов (тестов) с использованием теории статистических решений. Доказаны формальные математические условия, при которых ожидаемые средние потери теста гарантированно меньше, чем потери классификатора, оперирующего только априорными распределениями классов. Эти условия позволили усилить традиционный ROC-анализ путем выделения соответствующей области ROC-кривой, в которой тест заведомо полезен.An approach to the estimation of the usefulness of diagnostic methods (tests) with the use of the statistical decisions theory is suggested. The formal mathematical terms are proved under which the expected average costs of the test are assured less the than costs of a classifier which operates only by a priori distributions of classes. These terms allowed the strengthening of a traditional ROC-analysis by a selection of the proper area of ROC-curve in which a test is a priori useful.Запропоновано підхід до оцінки корисності діагностичних методів (тестів) з застосуванням теорії статистичних рішень. Доведено формальні математичні умови, за яких очікувані середні втрати тесту гарантовано менші за втрати класифікатора, що оперує лише апріорними розподілами класів. Ці умови дозволили посилити традиційний ROC-аналіз шляхом виділення відповідної області ROC-кривої, в якій тест заздалегідь корисний

What ROC Curves Can't Do (and Cost Curves Can)

This paper shows that ROC curves, as a method of visualizing classifier performance, are inadequate for the needs of Artificial Intelligence researchers in several significant respects, and demonstrates that a different way of visualizing performance - the cost curves introduced by Drummond and Holte at KDD'2000 - overcomes these deficiencies.Le pr\ue9sent document montre qu'en tant que m\ue9thode de visualisation de la performance des classificateurs, les courbes ROC ne conviennent pas aux besoins des chercheurs en intelligence artificielle sur plusieurs plans importants et montre que la m\ue9thode de courbe de co\ufbt, une m\ue9thode diff\ue9rente de visualisation de la performance introduite par Drummond et Holte, comble les lacunes constat\ue9es.NRC publication: Ye