Временной ряд – это последовательность данных, измеренных в
равные промежутки времени. Анализ важен для прогнозирования!
Что это: последовательность наблюдений, индексированных
временем. Это может быть всё: от курса акций до температуры.
Зачем анализировать: прогнозирование, выявление трендов,
сезонности, аномалий. Примеры: прогнозирование продаж, запасов.
Типы временных рядов:
- Одномерные: один показатель во времени (например, продажи).
- Многомерные: несколько показателей (например, цена/объем).
Основные задачи анализа:
- Прогнозирование: предсказание будущих значений.
- Классификация: отнесение ряда к определенной категории.
- Обнаружение аномалий: выявление необычных событий.
Статистика: по данным исследований, компании, использующие
прогнозирование временных рядов, увеличивают прибыль на 15-20%.
Ключевые слова: временные ряды, прогнозирование,
анализ, Pandas, Python, тренды, сезонность, аномалии.
Что такое временные ряды и зачем их анализировать
Временной ряд – это последовательность данных, собранных и
записанных через равные промежутки времени. Это могут быть
ежедневные продажи, ежемесячные показатели трафика веб-сайта
или ежегодные значения ВВП страны. Анализ временных рядов
позволяет выявлять закономерности, тренды и сезонность, что
необходимо для прогнозирования будущих значений.
Зачем это нужно? Представьте, что вы хотите предсказать
объем продаж вашего интернет-магазина на следующий месяц.
Анализ прошлых данных о продажах позволит вам учесть сезонные
колебания (например, рост продаж перед праздниками) и общие
тренды (например, увеличение популярности определенных товаров).
Примеры: прогнозирование курса валют, анализ
показателей фондового рынка, предсказание спроса на
электроэнергию, мониторинг климатических изменений.
Использование моделей, таких как ARIMA, позволяет учитывать
автокорреляцию во временных рядах, что повышает точность
прогнозов. Исследования показывают, что компании, активно
использующие анализ временных рядов, на 15-25% более
успешны в планировании и управлении ресурсами.
Подготовка данных временных рядов в Pandas
Первый шаг – загрузка данных в Pandas. Важно правильно
указать формат даты и сделать индекс временным.
Импорт и преобразование данных в Pandas DataFrame
Начнем с импорта данных в Pandas. Это может быть CSV-файл,
Excel-таблица или данные из базы данных. Важно, чтобы столбец
с датами был корректно распознан Pandas. Используйте
`pd.read_csv` или `pd.read_excel`, указав `parse_dates=[колонка
с датами]` и `index_col=[колонка с датами]`.
Пример кода:
import pandas as pd
df = pd.read_csv('data.csv', parse_dates=['Date'],
index_col=['Date'])
Убедитесь, что индекс DataFrame имеет тип `DatetimeIndex`. Если
нет, преобразуйте его: `df.index = pd.to_datetime(df.index)`.
Правильно настроенный индекс позволит легко манипулировать
временными рядами и использовать их в моделях. По статистике,
корректная подготовка данных увеличивает точность прогнозов на
20-30%.
Обработка пропущенных значений и выбросов
Пропущенные значения и выбросы – враги анализа временных рядов.
Их необходимо обработать, чтобы не исказить результаты
прогнозирования.
Пропущенные значения:
- Удаление: `df.dropna` – подходит, если пропусков немного.
- Заполнение:
- Средним/медианой: `df.fillna(df.mean)`
- Интерполяция: `df.interpolate(method=’linear’)` –
восстанавливает значения на основе соседних точек. - Временной ряд: `df.fillna(method=’ffill’)` (forward fill) или
`df.fillna(method=’bfill’)` (backward fill).
Выбросы:
- Удаление: если уверены, что это ошибки.
- Сглаживание:
- Скользящее среднее: `df.rolling(window=3).mean`
- Экспоненциальное сглаживание (ETS): позволяет снизить влияние
выбросов.
- Замена на граничные значения: например, значения,
превышающие 3 стандартных отклонения от среднего.
Статистика: корректная обработка пропусков и выбросов может
увеличить точность модели на 10-15%, согласно исследованиям.
Преобразование данных для стационарности (дифференцирование, логарифмирование)
Преобразование данных для стационарности (дифференцирование,
логарифмирование)
Многие модели временных рядов, включая ARIMA, требуют
стационарности данных. Стационарный ряд имеет постоянные
статистические свойства во времени (среднее, дисперсия).
Нестационарность проявляется в:
- Тренде (изменение среднего уровня).
- Сезонности (периодические колебания).
- Изменении дисперсии во времени.
Методы преобразования:
- Дифференцирование: вычисление разностей между
последовательными значениями. `df[‘diff’] = df[‘value’].diff`.
Повторное дифференцирование может потребоваться. - Логарифмирование: используется для стабилизации дисперсии.
`df[‘log’] = np.log(df[‘value’])`. - Сезонное дифференцирование: вычисление разностей через
определенный период (например, год).
`df[‘seasonal_diff’] = df[‘value’].diff(periods=12)`.
Проверьте стационарность после преобразования с помощью теста
Дики-Фуллера (ADF тест). P-value
Визуализация временных рядов с помощью Python
Основные графики временных рядов (линейный график, гистограмма,
ящик с усами)
Визуализация помогает понять структуру данных. Строим графики,
смотрим на тренды и сезонность.
Основные графики временных рядов (линейный график, гистограмма, ящик с усами)
Основные графики временных рядов (линейный график, гистограмма,
ящик с усами)
Визуализация — ключевой этап анализа временных рядов. Она
позволяет обнаружить тренды, сезонность, выбросы и другие
характерные особенности данных.
-
Линейный график: показывает изменение значений ряда во
времени. Полезен для выявления общих трендов и сезонных
колебаний. Код: `df[‘value’].plot` -
Гистограмма: показывает распределение значений ряда. Помогает
оценить, является ли распределение нормальным, и выявить
аномальные значения. Код: `df[‘value’].hist` -
Ящик с усами (Boxplot): показывает медиану, квартили и
выбросы. Особенно полезен для сравнения распределений значений в
разные периоды времени. Код: `df.boxplot`
Использование этих графиков позволяет получить первичное
представление о данных и принять решения о дальнейших этапах
анализа (например, о необходимости преобразования данных для
достижения стационарности). Статистика: Визуальный анализ
временных рядов позволяет на 10-15% быстрее выявлять
потенциальные проблемы с данными.
Анализ сезонности и трендов с использованием графиков разложения временного ряда
Анализ сезонности и трендов с использованием графиков
разложения временного ряда
Разложение временного ряда позволяет разделить его на три
компоненты: тренд, сезонность и остатки (шум). Это помогает
лучше понять структуру данных и выбрать подходящую модель для
прогнозирования.
Разложение временного ряда:
- Аддитивная модель: предполагает, что компоненты
складываются. Подходит, если сезонные колебания постоянны. - Мультипликативная модель: предполагает, что компоненты
умножаются. Подходит, если сезонные колебания увеличиваются со
временем.
Реализация в Python (используя `statsmodels`):
from statsmodels.tsa.seasonal import seasonal_decompose
decomposition = seasonal_decompose(df['value'], model='additive',
period=12) # period - сезонность
decomposition.plot
plt.show
Анализируя графики тренда, сезонности и остатков, можно оценить
важность каждой компоненты и принять решение о необходимости
использования сезонных моделей (например, SARIMA). Статистика:
Использование графиков разложения повышает точность выбора
модели на 15-20%, согласно исследованиям.
Автокорреляционная и частично-автокорреляционная функции (ACF и PACF)
Автокорреляционная и частично-автокорреляционная функции (ACF и
PACF)
ACF (Autocorrelation Function) и PACF (Partial Autocorrelation
Function) – важнейшие инструменты для определения порядка модели
ARIMA (p, d, q). Они показывают, как значения временного ряда
связаны друг с другом на разных лагах (сдвигах во времени).
ACF: измеряет корреляцию между временным рядом и его
запаздывающими значениями. Показывает, как долго сохраняется
влияние прошлых значений на текущее.
PACF: измеряет корреляцию между временным рядом и его
запаздывающими значениями, исключая влияние промежуточных лагов.
Позволяет определить, какие лаги оказывают прямое влияние на
текущее значение.
Интерпретация:
- AR(p): PACF имеет значимый пик на лаге p и быстро убывает
после него. - MA(q): ACF имеет значимый пик на лаге q и быстро убывает
после него.
Реализация в Python (используя `statsmodels`):
from statsmodels.graphics.tsaplots import plot_acf, plot_pacf
plot_acf(df['value'], lags=20)
plot_pacf(df['value'], lags=20)
plt.show
Анализ ACF и PACF позволяет правильно выбрать параметры p и q для
модели ARIMA, что значительно повышает точность прогнозов.
Статистика: Правильный выбор параметров ARIMA на основе ACF и
PACF увеличивает точность модели на 20-30%.
ARIMA моделирование: теория и практика
Основы ARIMA: авторегрессия (AR), интегрирование (I), скользящее
среднее (MA)
ARIMA – мощный инструмент. Понимаем, что такое AR, I, MA, чтобы
модель работала эффективно.
Основы ARIMA: авторегрессия (AR), интегрирование (I), скользящее среднее (MA)
Основы ARIMA: авторегрессия (AR), интегрирование (I), скользящее
среднее (MA)
ARIMA (Autoregressive Integrated Moving Average) – это мощный
класс моделей, используемых для прогнозирования временных рядов.
Понимание трех основных компонентов (AR, I, MA) необходимо для
эффективного применения модели.
-
Авторегрессия (AR): использует прошлые значения ряда для
предсказания текущего значения. Порядок AR (p) определяет, сколько
запаздывающих значений используется. -
Интегрирование (I): представляет собой количество
дифференцирований, необходимых для достижения стационарности ряда.
Порядок I (d) указывает, сколько раз нужно вычислить разности
между значениями. -
Скользящее среднее (MA): использует прошлые ошибки
прогнозирования для улучшения текущего прогноза. Порядок MA (q)
определяет, сколько запаздывающих ошибок используется.
Пример: ARIMA(1, 1, 1) означает, что модель использует одно
запаздывающее значение, одно дифференцирование и одну запаздывающую
ошибку.
Важность понимания компонентов: правильный выбор параметров
p, d и q позволяет построить наиболее точную модель для
конкретного временного ряда. Статистика: Экспертное знание
компонентов ARIMA повышает точность прогнозирования на 10-15% по
сравнению с автоматическим выбором параметров.
Выбор порядка модели ARIMA (p, d, q) на основе ACF и PACF
Выбор порядка модели ARIMA (p, d, q) на основе ACF и PACF
Выбор правильных значений параметров p, d и q для модели ARIMA
критически важен для достижения высокой точности прогнозирования.
ACF (Autocorrelation Function) и PACF (Partial Autocorrelation
Function) графики предоставляют ценную информацию для этого выбора.
-
d (порядок интегрирования): определяется количеством
дифференцирований, необходимых для достижения стационарности ряда.
Если ряд стационарен изначально, d = 0. -
p (порядок авторегрессии): определяется по PACF графику.
Ищем первый лаг, после которого значения PACF становятся
незначимыми (пересекают границу доверительного интервала). -
q (порядок скользящего среднего): определяется по ACF
графику. Ищем первый лаг, после которого значения ACF становятся
незначимыми (пересекают границу доверительного интервала).
Пример: Если PACF имеет значимый пик только на лаге 1, а ACF
убывает постепенно, то можно предположить, что p = 1, q = 0.
Важно: ACF и PACF могут быть сложными для интерпретации,
особенно для сложных временных рядов. Рекомендуется
использовать несколько методов для выбора параметров, включая
информационные критерии (AIC, BIC) и кросс-валидацию. Статистика:
Экспертный анализ ACF/PACF в сочетании с автоматическими методами
увеличивает точность прогнозов на 5-10%.
Оценка и интерпретация параметров модели ARIMA
После выбора порядка модели ARIMA (p, d, q), необходимо оценить
параметры модели и интерпретировать их значения. Оценка
параметров заключается в нахождении значений коэффициентов AR и MA,
которые минимизируют ошибку прогнозирования. объявление
Оценка параметров: обычно выполняется с использованием
метода максимального правдоподобия (MLE).
Интерпретация параметров:
- Коэффициенты AR: показывают, как прошлые значения ряда
влияют на текущее значение. Положительный коэффициент указывает
на положительную корреляцию, отрицательный – на отрицательную.
Чем больше абсолютное значение коэффициента, тем сильнее влияние. - Коэффициенты MA: показывают, как прошлые ошибки
прогнозирования влияют на текущее значение. Интерпретация
аналогична коэффициентам AR. - Константа: представляет собой среднее значение ряда после
удаления тренда и сезонности.
Важно: Значимость параметров оценивается с помощью p-value.
Параметры с p-value > 0.05 считаются незначимыми и могут быть
исключены из модели. Анализ остатков модели также важен для
оценки ее адекватности. Статистика: Правильная интерпретация
параметров модели и анализ остатков повышают уверенность в
адекватности модели на 15-20%.
Реализация ARIMA модели в Python
`statsmodels` – мощный инструмент. Покажем, как построить ARIMA
модель, используя эту библиотеку.
Использование библиотеки `statsmodels` для построения ARIMA модели
Использование библиотеки `statsmodels` для построения ARIMA
модели
Библиотека `statsmodels` предоставляет удобные инструменты для
построения и анализа ARIMA моделей в Python. Она включает в себя
классы для оценки параметров модели, прогнозирования и анализа
остатков.
Шаги построения ARIMA модели:
- Импорт класса ARIMA:
`from statsmodels.tsa.arima.model import ARIMA` - Создание объекта модели:
`model = ARIMA(df[‘value’], order=(p, d, q))` где p, d, q –
выбранные порядки модели. - Обучение модели: `model_fit = model.fit`
- Получение прогнозов:
`predictions = model_fit.predict(start=len(df),
end=len(df)+n_steps)` где n_steps – количество шагов вперед для
прогнозирования.
Пример кода:
from statsmodels.tsa.arima.model import ARIMA
model = ARIMA(df['value'], order=(1, 1, 1))
model_fit = model.fit
predictions = model_fit.predict(start=len(df), end=len(df)+10)
Важно: После обучения модели необходимо провести анализ
остатков, чтобы убедиться в ее адекватности. Остатки должны быть
случайными, неавтокоррелированными и иметь нормальное
распределение. Статистика: Использование `statsmodels` для
построения ARIMA моделей позволяет сократить время разработки на
20-30% по сравнению с ручной реализацией алгоритмов.
Оценка качества модели: информационные критерии (AIC, BIC) и остаточный анализ
Оценка качества модели: информационные критерии (AIC, BIC) и
остаточный анализ
После построения ARIMA модели необходимо оценить ее качество. Для
этого используются информационные критерии (AIC, BIC) и анализ
остатков.
Информационные критерии:
- AIC (Akaike Information Criterion): оценивает
относительное качество модели, учитывая ее сложность. Меньшее
значение AIC указывает на лучшую модель. - BIC (Bayesian Information Criterion): аналогичен AIC, но
более строго штрафует за сложность модели. Меньшее значение BIC
указывает на лучшую модель.
Анализ остатков:
- График остатков: должен быть случайным и не содержать
каких-либо закономерностей. - Гистограмма остатков: должна быть похожа на нормальное
распределение. - ACF и PACF остатков: не должны иметь значимых пиков, что
указывает на отсутствие автокорреляции. - Тест Льюнга-Бокса: проверяет гипотезу об отсутствии
автокорреляции в остатках. P-value > 0.05 указывает на отсутствие
автокорреляции.
Важно: Если остатки не удовлетворяют требованиям, необходимо
пересмотреть параметры модели или использовать другую модель.
Статистика: Использование информационных критериев и анализа
остатков позволяет повысить точность прогнозов на 10-15%.
Прогнозирование с использованием обученной ARIMA модели
После того, как ARIMA модель обучена и проверена на адекватность,
ее можно использовать для прогнозирования будущих значений
временного ряда.
Шаги прогнозирования:
- Получение прогнозов:
`predictions = model_fit.predict(start=len(df),
end=len(df)+n_steps)` где n_steps – горизонт прогнозирования
(количество шагов вперед). - Преобразование прогнозов (если необходимо): если данные
были преобразованы (например, логарифмированы или
дифференцированы), необходимо выполнить обратное преобразование
для получения прогнозов в исходном масштабе. - Визуализация прогнозов: построить график, на котором
отображены исторические данные и прогнозы, чтобы оценить
визуально качество прогнозов.
Пример кода (обратное преобразование):
# Обратное преобразование логарифма
predictions = np.exp(predictions)
Важно: Прогнозы ARIMA модели являются точечными оценками.
Рекомендуется также рассчитывать доверительные интервалы для
прогнозов, чтобы оценить неопределенность. Статистика:
Использование обученной ARIMA модели для прогнозирования позволяет
принимать более обоснованные решения и улучшить планирование на
10-15%.
Оптимизация параметров ARIMA моделей
Использование функции `auto_arima` для автоматического выбора
параметров
Ручной подбор параметров – долго. `auto_arima` автоматизирует
процесс, подбирая оптимальные p, d, q.
Использование функции `auto_arima` для автоматического выбора
параметров
Функция `auto_arima` из библиотеки `pmdarima` автоматизирует процесс
выбора оптимальных параметров (p, d, q) для модели ARIMA. Она
перебирает различные комбинации параметров и выбирает ту, которая
минимизирует информационный критерий (AIC или BIC).
Преимущества `auto_arima`:
- Экономия времени и усилий при подборе параметров.
- Возможность найти параметры, которые трудно обнаружить вручную.
Шаги использования `auto_arima`:
- Установка `pmdarima`: `pip install pmdarima`
- Импорт функции `auto_arima`:
`from pmdarima import auto_arima` - Поиск оптимальных параметров:
`model = auto_arima(df[‘value’], seasonal=False, trace=True)`
где `seasonal=False` указывает, что сезонность не учитывается,
`trace=True` выводит информацию о процессе поиска. - Обучение модели: `model.fit(df[‘value’])`
Важно: `auto_arima` не всегда находит глобально оптимальные
параметры. Рекомендуется проверять результаты `auto_arima` с
использованием других методов, таких как анализ ACF/PACF и
кросс-валидация. Статистика: Использование `auto_arima` может
улучшить точность модели на 5-10% по сравнению с ручным выбором
параметров.
Поиск оптимальных параметров с использованием скользящего окна и
перекрестной проверки
Для надежной оценки качества модели ARIMA и выбора оптимальных
параметров рекомендуется использовать скользящее окно и
перекрестную проверку (кросс-валидацию).
Скользящее окно:
- Разбиваем временной ряд на несколько последовательных отрезков
(окон). - Обучаем модель на каждом окне и проверяем ее качество на
следующем окне. - Оцениваем среднюю ошибку прогнозирования по всем окнам.
Перекрестная проверка:
- Разбиваем временной ряд на несколько непересекающихся отрезков.
- Обучаем модель на всех отрезках, кроме одного, и проверяем ее
качество на оставшемся отрезке. - Повторяем процесс, используя каждый отрезок для проверки.
- Оцениваем среднюю ошибку прогнозирования по всем итерациям.
Пример кода (скользящее окно):
from sklearn.metrics import mean_squared_error
window_size = 30
for i in range(window_size, len(df)):
train = df['value'][i-window_size:i]
test = df['value'][i:i+1]
model = ARIMA(train, order=(1, 1, 1))
model_fit = model.fit
predictions = model_fit.predict(start=len(train),
end=len(train))
error = mean_squared_error(test, predictions)
print('MSE: %f' % error)
Важно: При выборе параметров ARIMA следует выбирать те,
которые обеспечивают минимальную ошибку прогнозирования при
использовании скользящего окна или перекрестной проверки.
Статистика: Использование скользящего окна и перекрестной проверки
позволяет получить более надежную оценку качества модели и
повысить точность прогнозов на 5-10%.
Поиск оптимальных параметров с использованием скользящего окна и
перекрестной проверки
Для надежной оценки качества модели ARIMA и выбора оптимальных
параметров рекомендуется использовать скользящее окно и
перекрестную проверку (кросс-валидацию).
Скользящее окно:
- Разбиваем временной ряд на несколько последовательных отрезков
(окон). - Обучаем модель на каждом окне и проверяем ее качество на
следующем окне. - Оцениваем среднюю ошибку прогнозирования по всем окнам.
Перекрестная проверка:
- Разбиваем временной ряд на несколько непересекающихся отрезков.
- Обучаем модель на всех отрезках, кроме одного, и проверяем ее
качество на оставшемся отрезке. - Повторяем процесс, используя каждый отрезок для проверки.
- Оцениваем среднюю ошибку прогнозирования по всем итерациям.
Пример кода (скользящее окно):
from sklearn.metrics import mean_squared_error
window_size = 30
for i in range(window_size, len(df)):
train = df['value'][i-window_size:i]
test = df['value'][i:i+1]
model = ARIMA(train, order=(1, 1, 1))
model_fit = model.fit
predictions = model_fit.predict(start=len(train),
end=len(train))
error = mean_squared_error(test, predictions)
print('MSE: %f' % error)
Важно: При выборе параметров ARIMA следует выбирать те,
которые обеспечивают минимальную ошибку прогнозирования при
использовании скользящего окна или перекрестной проверки.
Статистика: Использование скользящего окна и перекрестной проверки
позволяет получить более надежную оценку качества модели и
повысить точность прогнозов на 5-10%.
