Что именно называют прогнозом
В работе с временным рядом обычно предсказывают будущее значение: например, объём продаж следующего месяца. Для пространственных данных можно предсказывать неизвестную характеристику нового объекта по известным признакам. В таком случае слово «прогноз» не обязательно означает движение в будущее.2
Логика прогнозной модели связывает известные характеристики объекта с оценкой неизвестного результата. Например, сведения о площади и местоположении жилья используются для оценки его цены. Оценённые по одной выборке связи затем применяют к другому объекту. Вывод зависит от того, подходит ли ему исходная модель.1, 2
Разные задачи требуют разных результатов
При анализе данных решают разные задачи. В регрессии предсказывается числовой результат. В бинарной классификации результат относится к одному из двух классов, например «сдал» и «не сдал». Кластеризация группирует похожие объекты по характеристикам без заранее заданного значения зависимой переменной. Поэтому выделение групп стран и прогноз конкретного показателя страны — не одна и та же задача.1
Где возникает ложная уверенность
Статистическая связь подменяет причину
Связь двух показателей совместима с разными механизмами. Первый может влиять на второй, второй на первый, они могут воздействовать друг на друга или изменяться под действием общего фактора. Даже полезная для предсказания связь не отвечает автоматически на вопрос, что произойдёт при намеренном изменении одного показателя.1
Модель запоминает прошлую выборку
При переобучении модель хорошо воспроизводит случайные особенности обучающих наблюдений, но плохо предсказывает новые. Избыточная гибкость позволяет подстроиться под шум вместо устойчивой закономерности. Поэтому качество проверяют на данных, не использованных при настройке. Для прогноза будущего естественная проверка использует более ранние периоды для обучения, а последующие — для оценки результата.3
Ошибка нового прогноза — разность фактического и предсказанного значения. Её не следует подменять остатком, рассчитанным на тех же наблюдениях, по которым подбиралась модель. Сравнивать методы нужно на одной понятной задаче и сопоставимом горизонте.3
Одна цифра скрывает неопределённость
Точечный прогноз удобен для расчётов, но не сообщает, насколько возможный результат может от него отличаться. В статистической модели эту неопределённость описывают, в частности, интервалом прогноза. Его интерпретация опирается на предпосылки метода. Применение модели к объектам, сильно отличающимся от исходной выборки, требует дополнительной осторожности.2
Перед использованием результата полезно проверить измерение показателя, соответствие выборки задаче и наличие информации, которая будет реально доступна в момент прогноза. Содержательное знание экономики здесь работает вместе со статистическим методом, а не заменяется им.1, 3