В статье предложен метод расчета агрегированного критерия оценки качества моделей регрессии на основе комплексного учета множества показателей. Для определения весовых коэффициентов значимости отдельных критериев применен экспертный подход с использованием метода парных сравнений по шкале Саати. Предложенный подход позволяет преодолеть недостатки применения отдельных традиционных критериев оценки качества моделей, которые не всегда обеспечивают адекватную оценку пригодности модели для практического использования. Метод может быть использован как основа для автоматической процедуры синтеза регрессионных моделей в задачах предиктивного анализа характеристик технических систем, а также в задачах ситуационного моделирования и диагностики состояния оборудования. Показана возможность применения агрегированного критерия качества модели как индикативного показателя для выявления событий (смены ситуации, неисправностей оборудования).