Как я могу оценить стандартную ошибку преобразованных параметров регрессии в R с помощью метода дельты? | R FAQ

Цель этой страницы - представить оценку стандартных ошибок с помощью дельта-метода. Примеры включают ручной расчет стандартных ошибок с помощью дельта-метода, а затем подтверждение с помощью функции deltamethod, чтобы читатель мог понять вычисления и знать, как использовать deltamethod.

На этой странице используются следующие пакеты. Убедитесь, что вы можете загрузить их, прежде чем пытаться запустить примеры на этой странице. Для использования функции deltamethod нам понадобится пакет msm. Если у вас не установлен пакет, запустите: install.packages («packagename»), или, если вы видите, что версия устарела, запустите: update.packages ().

Информация о версии:Код для этой страницы был протестирован в R версии 3.1.1 (2014-07-10) Дата: 2014-08-01 С: pequod 0.0-3; мсм 1,4; phia 0,1-5; эффекты 3.0-0; цветовое пространство 1,2-4; RColorBrewer 1.0-5; xtable 1.7-3; машина 2.0-20; зарубежный 0,8-61; Hmisc 3.14-4; Формула 1.1-2; выживаемость 2.37-7; решетка 0,20-29; MGCV 1,8-1; nlme 3.1-117; png 0.1-7; gridExtra 0.9.1; reshape2 1.4; ggplot2 1.0.0; vcd 1.3-1; rjson 0.2.14; RSQLite 0.11.4; DBI 0,2-7; вязальщица 1.6

Предпосылки для дельта-метода

Часто в дополнение к параметрам отчетности, подходящим для модели, нам необходимо сообщить о некотором преобразовании этих параметров. Преобразование может генерировать точечные оценки наших желаемых значений, но стандартные ошибки этих точечных оценок не так легко вычислить. Однако их можно хорошо аппроксимировать с помощью дельта-метода. Дельта-метод аппроксимирует стандартные ошибки преобразований случайной величины с использованием аппроксимации Тейлора первого порядка. Коэффициенты регрессии сами по себе являются случайными величинами, поэтому мы можем использовать дельта-метод для аппроксимации стандартных ошибок их преобразований. Хотя дельта-метод часто подходит для использования с большими выборками, эта страница ни в коем случае не является одобрением использования дельта-метода по сравнению с другими методами для оценки стандартных ошибок, таких как начальная загрузка.

По сути, дельта-метод включает вычисление дисперсии приближения функции ряда Тейлора. Таким образом, мы сначала получаем приближение функции ряда Тейлора, используя первые два члена разложения Тейлора функции преобразования относительно среднего значения случайной величины. Пусть \ (G \) - функция преобразования, а \ (\ mu_X \) - средний вектор случайных величин (X = (x1, x2,…)). Тогда первые два члена разложения Тейлора являются приближением для \ (G (X) \),

$$ G (X) \ приблизительно G (\ mu_X) + \ nabla G (\ mu_X) ^ T (X- \ mu_X) $$

где \ (\ nabla G (\ mu_X) \) - градиент \ (G (X) \) в \ (X = \ mu_X \), или вектор частных производных \ (G (X) \) в точка \ (\ mu_X \). Затем мы можем взять дисперсию этого приближения, чтобы оценить дисперсию \ (G (X) \) и, таким образом, стандартную ошибку преобразованного параметра. Для случайной величины \ (X \) с известной матрицей дисперсии-ковариации \ (Cov (X) \) дисперсия преобразования \ (X \), \ (G (X) \) аппроксимируется следующим образом:

$$ Var (G (X)) \ приблизительно \ nabla G (\ mu_X) ^ T Cov (X) \ nabla G (\ mu_X) $$.

Пример 1: Скорректированный прогноз

Скорректированные предсказания или скорректированные средние значения - это предсказанные значения отклика, вычисленные для набора ковариантных значений. Например, мы можем получить прогнозируемое значение «среднего» респондента, вычислив прогнозируемое значение как среднее значение всех ковариат. Скорректированные прогнозы являются функциями коэффициентов регрессии, поэтому мы можем использовать дельта-метод для аппроксимации их стандартных ошибок.

Мы хотели бы вычислить стандартную ошибку скорректированного прогноза y при среднем значении x, 5,5, из линейной регрессии y по x:

Прогнозируемое значение y при x = 5,5 просто: $ y = b_0 + 5.5b_1 $. Мы можем рассматривать y как функцию коэффициентов регрессии или \ (G (B) \):

$$ G (B) = b_0 + 5.5 b_1 $$

Таким образом, нам нужно получить вектор частных производных G (B) и ковариационную матрицу B. Частные производные в этом случае очень легко вычислить вручную: \ (\ frac = 1 \) и \ (\ frac = 5,5 \).

Мы можем легко получить ковариационную матрицу B, используя vcov на объекте модели.

Наконец, мы можем аппроксимировать стандартную ошибку, используя приведенную выше формулу.

Оказывается, функция прогнозирования с se.fit = T вычисляет стандартные ошибки дельта-метода, поэтому мы можем сравнить наши расчеты с расчетами на основе pred.

Похоже, наши ручные расчеты хороши!

Теперь, когда мы понимаем, как вручную вычислять стандартные ошибки дельта-метода, мы готовы использовать функцию deltamethod в пакете msm. Функция deltamethod ожидает как минимум 3 аргумента. Первый аргумент - это формула, представляющая функцию, в которой все переменные должны быть помечены как x1, x2 и т. Д. Второй аргумент - это средние значения переменных. Напомним, что \ (G (B) \) является функцией коэффициентов регрессии, средними значениями которых являются сами коэффициенты. \ (G (B) \) не является функцией предикторов напрямую. Третий аргумент - это ковариационная матрица коэффициентов. По умолчанию deltamethod будет возвращать стандартные ошибки \ (G (B) \), хотя вместо этого можно запросить ковариацию \ (G (B) \) через четвертый аргумент.

Обратите внимание, что в этом примере, поскольку \ (G (B) \) является линейной функцией, дельта-метод не является точным методом и не приближением.

Пример 2: отношение шансов

Пример 1 был несколько тривиальным, учитывая, что функция прогнозирования вычисляет стандартные ошибки дельта-метода для скорректированных прогнозов. Действительно, если вам нужны только стандартные ошибки для скорректированных прогнозов либо по шкале линейного предиктора, либо по шкале переменной отклика, вы можете использовать прогноз и пропустить ручные вычисления. Однако другие преобразования коэффициентов регрессии, которые не могут быть легко обработаны для прогнозирования, часто полезны для отчета. Одна из таких трансформаций выражает коэффициенты логистической регрессии как отношения шансов. Поскольку отношения шансов представляют собой простые нелинейные преобразования коэффициентов регрессии, мы можем использовать дельта-метод для получения их стандартных ошибок.

В следующем примере мы моделируем вероятность зачисления в программу для отличников (не зачисленных по сравнению с зачисленными), прогнозируемую по полу, математике и чтению. Здесь мы читаем данные и используем коэффициент, чтобы объявить уровни наград таким образом, чтобы была смоделирована вероятность «зачисления» (R будет моделировать вероятность последнего уровня фактора). Мы запустим нашу логистическую регрессию, используя glm с family = binomial.

В выходных данных выше коэффициенты регрессии выражены в логарифмической шкале шансов (линейный предиктор). Чтобы выразить их как отношения шансов, мы просто возведем в степень коэффициенты. Давайте посмотрим на математический коэффициент, выраженный как отношение шансов:

Таким образом, для каждого увеличения по математике мы ожидаем увеличения на 14% шансов быть зачисленным в программу с отличием.

Мы можем использовать ту же процедуру, что и раньше, для вычисления стандартной ошибки дельта-метода. Сначала мы определяем функцию преобразования, здесь простое возведение коэффициента в степень по математике:

Градиент снова очень легко получить вручную - производная от \ (\ exp (X) \) равна \ (\ exp (X) \) - поэтому \ (\ nabla G (B) = \ exp (b_2) \) :

Поскольку наше преобразование включает только коэффициент для математики, нам не нужна вся ковариационная матрица всех параметров регрессии. Нам нужна только дисперсия математического коэффициента:

Наконец, мы готовы вычислить стандартную ошибку нашего дельта-метода.

Подтвердим наши выводы с помощью deltamethod:

Пример 3: Относительный риск

В предыдущих двух примерах градиент было легко вычислить вручную, потому что частные производные функции преобразования было легко определить. Однако во многих случаях градиент сложно вычислить вручную, и в этих случаях функция deltamethod действительно может сэкономить нам время. Как и раньше, мы вычислим стандартные ошибки дельта-метода вручную, а затем покажем, как использовать дельтаметод для более простого получения тех же стандартных ошибок.

В этом примере мы хотели бы получить стандартную ошибку относительного риска, оцененную с помощью логистической регрессии. Относительный риск - это отношение вероятностей. Мы будем работать с очень простой моделью, чтобы упростить ручные вычисления. В этой модели мы прогнозируем вероятность зачисления в программу отличников по результатам чтения. Мы хотели бы знать относительный риск участия в программе отличников при оценке чтения 50 по сравнению с оценкой чтения 40 баллов.

Давайте получим прогнозируемые вероятности отличия при чтении 50 и при чтении 40. Затем мы получим их отношение, относительный риск. Аргумент type = "response" вернет предсказанное значение по шкале переменной ответа, здесь шкала вероятности.