II Статистические методы оценки зависимостей (продолжение) 
 0.1. Содержательная задача:
•	влияет ли некоторый фактор (некоторый комплекс условий, «разные методы обработки») на результаты наших наблюдений (сравнение по достигаемым результатам нескольких различных способов действия, направленных на достижение одной цели)
Примеры: 
•	влияет ли цвет вина, на оценку его вкусовых качеств;
•	влияют ли разные методики обучения на результат овладения языком (а также пол студента, место, откуда он прибыл и т.п.);
•	влияет ли возраст ребенка на длину фраз, обращенных к нему;
•	влияют ли факторы рода, специфичности, одушевленности именной группы на выбор клитик в испанском языке
•	влияет ли синтаксическая структура предложения-стимула на синтаксическую структуру предложения-реакции (эксперименты на синтаксический прайминг) (3)
•	влияет ли возраст, пол, социальный статус франкоговорящих канадцев, район их проживания и т.п. на употрбление ими английских заимствований (4)
и т.п.
•	Фактор – то, что, как мы считаем, должно оказывать влияние на конечный результат (независимая переменная, например, методика обучения (2), возраст, пол, регион, из которого прибыл изучающий английский язык (2), тип синтаксической конструкции предложения-стимула (3) и т.п.) 
•	Уровень фактора (способ обработки): конкретная реализация фактора (значения независимого признака)
•	Отклик – значение измеряемого признака 
Пример 1. Задача: установить, влияет ли регион, откуда родом изучающий английский язык, на способность овладения английским языком. 
Известны результаты языкового теста  студентов, обучающихся английскому языку, родом из разных регионов. Влияет ли регион на результат теста?
Таблица 1.
	гр. I 
Европа	гр. II
Южная Америка	Гр. III
Северная Африка	гр. IV
Дальний Восток	
Результаты языкового теста (баллы)	10	33	26	26	
	19	21	25	21	
	24	25	19	25	
	17	32	31	22	
	29	16	15	11	
Случайная величина (отклик): баллы, полученные за выполнение языкового теста 
Фактор: регион
Уровни фактора: Европа, Южная Америка, Северная Африка, Дальний Восток
Пример 2. Задача: установить, влияет ли «статус» того, кто оценивает языковые ошибки, на результат оценки.
Фрагмент таблицы 2.1. Оценка «серьезности» ошибок в 32 английских предложениях разными группами учителей
Предложение	англичане-учителя	греческие учителя английского	носители языка (не учителя)	
1	22	36	22	
2	16	9	18	
3	42	29	42	
Фактор: «статус» оценщика (к какой группе он принадлежит)
Уровни фактора (3 уровня): учителя-англичане, учителя-греки, носители английского языка (не учителя)

Классификация экспериментов:
•	сравниваются значения зависимой переменной для двух независимых выборок (например, в 2-х разных группах испытуемых или в двух разных множествах языковых переменных, ср. распределение определенных и неопределенных именных групп по предложениям с глаголами, имеющими разное видовое оформление)
•	сравниваются значения зависимой переменной для зависимых выборок (например, для одной и той же группы испытуемых до и после некоторого воздействия на них)
0.2.	Методы проверки гипотез
Нулевая гипотеза vs. конкурирующая гипотеза
Ошибка первого рода – будет отвергнута правильная нулевая гипотеза ()
Ошибка второго рода – будет принята неправильная нулевая гипотеза ()
Статистический критерий – случайная величина  K, которая служит для проверки гипотезы

	H0 справедлива	H0 ложна	
H0 принимается	решение правильно	Ошибка II рода ()	
H0 отвергается	Ошибка I рода ()	Решение правильное	
•	α (p)- уровень значимости – вероятность ошибочного отклонения нулевой гипотезы (вероятность ошибки I рода)

•	NB!!! При проверки зависимости признаков или влияния фактора X в качестве нулевой гипотезы принимается гипотеза о независимости

Критическая область –совокупность значений критерия, при которой нулевую гипотезу отвергают
1)	Задать уровень значимости  (обычно =0.05, =0,01)
2)	Вычислить выборочное значение K
По таблице соответствующего распределения и заданному уровню  найти критическое значение (P (K < kкр) = )
3)	Сравнить вычисленное значение с критическим: если вычисленное значение больше критического – нулевая гипотеза отвергается, если меньше критического – принимается
NB в современных статистических пакетах не используются стандартные уровни значимости, а по найденному экспериментальному значению статистики находится соответствующий этой статистике уровень значимости.
Например: пусть χ2= 23,2 для 10 степеней свободы, результатом применения теста будет =0,01
На выбор статистического критерия влияют следующие условия проведения эксперимента:
•	зависимость/независимость выборок (связная/несвязная)
•	тип измерительной шкалы (некоторые только в номинальных шкалах)
•	максимальный объем выборки
•	количество сравниваемых выборок
•	парметрические критерии: основан на конкретном типе распределения генеральной совокупности (как правило, нормальном) и использует параметры этого распределения (при нормальном распределении обладают большей мощностью)		vs. 
•	непараметрические: не базируются на предположении о типе распределения 
Критерии различаются также по мощности (≈ характеризует его способность избегать ошибки второго рода)
Задача: различия в данных для разных выборок объясняются чисто случайными причинами или они различаются статистически значимо 
Переформулировка задачи может быть следующая: данные выборки из одной и той же генеральной совокупности (т.е. относятся одному и тому же распределению) или, если различия действительно значимы – они относятся к разным распределениям, т.е. существуют ли существенные (статистически значимые) различия в распределении случайной величины для сравниваемых выборок 
Традиционно сложилось, что низшим уровнем статистической значимости является уровень Р = 0,05, т.е. допускается пять ошибок на выборке из ста элементов. Достаточным уровнем считается уровень Р = 0,01. 
Правило принятия статистического вывода состоит в следующем: на основании полученных экспериментальных данных исследователь подсчитывает по выбранному им статистическому методу так называемую эмпирическую статистику, или эмпирическое значение Чэмп. Затем эмпирическая статистика Чэмп сравнивается с двумя критическими величинами, которые соответствуют уровням значимости в 5% и 1% для выбранного статистического метода и которые обозначаются как Чкр1 и Чкр2. Эти величины находятся для данного статистического метода по таблицам. 
Для удобства сравнения эти величины располагаются на числовой оси, так называемой «оси значимости». Она разделена на три зоны:

зона    0,05	зона             		0,01             зона 
незначимости           неопределенности         значимости

                Kкр1                                 Kкр2

Подсчитанное Kэмп по какому-либо статистическому методу попадет в одну из трех зон. 
-	Кэмп - в зоне незначимости  принимается гипотеза Н0 об отсутствии различий.
-	Кэмп. - в зоне значимости  принимается альтернативная гипотеза Н1 о наличии различий, а гипотеза Н0 отклоняется.
-	Кэмп. - в зоне неопределенности  исследователь оказывается перед необходимостью сделать выбор: либо он считает полученную статистическую оценку достоверной на уровне 5%, и принимает гипотезу Н1, отклонив, при этом гипотезу Н0, либо – недостоверной на уровне 1%, принимая гипотезу Н0 
-	Кэмп совпадает либо с Ккр1 либо с Ккр2..  В первом случае можно считать, что оценка достоверна точно на уровне в 5% и принять гипотезу Н1, или, напротив, принять гипотезу Н0. Во втором случае, как правило, принимается альтернативная гипотеза Н1 о наличии различий, а гипотеза Н0 отклоняется. 

1. Критерий χ2 при определении зависимостей между переменными
1.1.  
Пример 1. Исследование влияния раннего билингвизма на владение языком (Ferris & Politzer 1981)
2 группы детей: 	А – родились в США и обучались на английском
В – родились в Мексике и начальное образование получили на испанском, а дальнейшее – исключительно на английском
30 детей в возрасте 14 лет в каждой группе. Они написали коротенькие сочинения по фильму. Анализировались первые 100 слов. Одна из оценок – количество ошибок в образовании прошедшего времени глаголов
Таблица 1.1.  Количество ошибок в образовании прошедшего времени: наблюдаемая (экспериментальная) частота ошибок 
	количество ошибок	
	0	1	2-6	Всего	
A	7	7	16	30	
B	13	11	6	30	
Всего	20	18	22	60	
					
Если бы наблюдаемые различия были бы случайны, то пропорции тех, кто сделал соответствующее число ошибок, были бы примерно одинаковы для обеих групп
Н0  - количество ошибок не зависит от раннего языкового обучения, пусть уровень значимости 5%
Тогда 2 группы – это 2 выборки из одной генеральной совокупности, тогда 
пропорция детей, сделавших 0 ошибок = ???
Если бы из всей генеральной совокупности мы бы обследовали группу А, сколько бы мы ожидали человек, сделавших 0 ошибок = ???		
Т.о. мы получили ожидаемую частоту для группы А
Таблица 1.2.  Количество ошибок в образовании прошедшего времени: ожидаемая (теоретическая) частота ошибок  (сумма колонки)  (сумма ряда) / общая сумма
	количество ошибок	
	0	1	2-6	Всего	
A	10	9	11	30	
B	10	9	11	30	
Всего	20	18	22	60	
Сравним эмпирическое распределение с теоретическим: применим критерий χ2
Таблица 1.3.  Отклонение: ((наблюдаемая частота ошибок) – (ожидаемая частота ошибок))2 / ожидаемая частота
	количество ошибок	
	0	1	2-6		
A	0.9	0.44	2.27		
B	0.9	0.44	2.27		
Всего	7.22	
Число степеней свободы:  (n-1) * (m-1)
См. таблицу для χ2 (χ2кр= ??? при α=5%)

Пример 2. Установление зависимости гласной в заимствовании от ее положения в слове
В одном из полинезийских языков (Rennellese) в английских заимствованиях происходит вставление гласной, например: 

cricket			kilikiti
cross			kolosi
fight			paiti
half			hapu
story			siloti
fork			foka

Вопрос: связана ли редупликация гласной с позицией в слове
словарь (Elbert 1975) – 226 заимствований
Гипотеза: независимы
Таблица 2.1.
Позиция вставной гласной	Тип вставления		
	редупликация	нет		
начальная	20	14	34	
средняя	13	6	19	
конечная	61	112	173	
всего	94	132	226	
Ожидаемая частота:
(сумма ряда)  (сумма колонки)общая сумма

Таблица 2.2. Ожидаемая частота и отклонение
Позиция вставной гласной	Тип вставления	
	редупликация	нет	
начальная	14.1    (2.5)	19.9     (1.7)	
средняя	7.9       (3.3)	11.1     (2.3)	
конечная	72.0     (1.7)	101.1   (1.2)	
Отклонение: (наблюдаемое - ожидаемое)2ожидаемое
=12.7 (2 степени свободы)
Проверка гипотезы: χ2кр находим по таблице χ2, степень свободы =  (n-1)x(m-1), где n – число строк, m – число столбцов
NB теоретические частоты должны быть не меньше 5. 
Способы борьбы:
•	перегруппировка
•	удаление соответствующих строк
•	пропорциональное увеличение выборки
•	исследование разницы между наблюдаемой и ожидаемой частотой для ячеек с малыми теоретическими частотами 
1.2. Таблица сопряженности 22
Пример 3. Ошибки в местоименном согласовании у детей, владеющих 2-мя языками
Таблица 3.1. Ferris & Politzer
	Число ошибок	всего	
	0	1-3		
Группа А	15	15	30	
Группа Б	23	7	30	
	38	22	60	
χ2п.1.1.= 4.6
χ2кр=3.84 для 5% уровня значимости

Исправленное отклонение 
((наблюдаемая частота – ожидаемая частота) – 0.5)2/ожидаемая частота
Таблица 3.2. Исправленное отклонение
	Число ошибок	всего	
	0	1-3		
Группа А	0.645	1.113	30	
Группа Б	0.645	1.113	30	
	38	22	60	
хи квадрат = 3.516	
Пример 4. Наличие зависимых у посессора и тип посессивной конструкции (Дипломная работа М.Брыкиной «Конструкции с внешним посессором в русском языке: семантический и синтаксический аспекты»).
Внутренний посессор 
(1)	… а чувство справедливости было свойственно ей в той высокой степени, в какой всегда чиста была и опрятна ее комната…(Пастернак Б., Детство Люверс)
Экстрапозиция посессора (ЭПо) 
(2)	Смекнув, что так и будет он по дороге на ТЭЦ дуть все время в морду, Шухов решил надеть тряпочку. Тряпочка на случай встречного ветра у него, как и у многих других, была с двумя рубезочками длинными. (Солженицын А.И., Один день Ивана Денисовича)
Экстрапозиция обладаемого (ЭОб)
(3)	Вокруг смерть по тонне на квадратный метр, земля не успевала опускаться на землю, людей разносило в клочья, засыпало группами (/*их группы /*группы людей), прошивало вдоль и поперек… (Бородин Л., Встреча)
Таблица 4.1. Абсолютные частоты встречаемости разных типов посессивной конструкции при наличии/отсутствии определений у посессора в подкорпусе.
Тип ПК	+ MOD	-MOD	Всего	
Внутр	243	699	942	
Эоб	56	87	143	
Эпо	27	180	207	
Всего	326	966	1292	
ЭОб+ЭПо	83	267	350	
Если мы попытаемся оценить связь между внешним/внутренним посессором и наличием модификаторов у посессора, то мы получим, что такой связи нет ((χ2ст  = 0,4811) < (χ2кр = 7,87944) α = 0,005). Так происходит, потому что связь конструкций с ЭОб и  ЭПо с наличием у посессора модификаторов существенно различается, они компенсируют друг друга, если мы пытаемся просуммировать значения.
Установим, есть ли зависимость между разными типами экстрапозиции и наличием зависимых у посессора. Нулевая гипотеза, как и ранее, состоит в отсутствии этой зависимости. Значение статистики в рассматриваемом случае таково (α = 0,005): 
(χ2ст  = 30,461845) > (χ2кр = 7,87944)
Это значит, что мы отвергаем нулевую гипотезу, а следовательно ЭПо и ЭОб по-разному связаны с наличием определений у посессора. 
В таком случае далее бессмысленно сравнивать конструкции с экстрапозицией (и посессора, и обладаемого) и конструкции с внутренним посессором, а интересно сравнить поведение каждого типа экстрапозиции с поведением внутреннего посессора по отдельности.
Проверим сначала существование связи между конструкциями с внутренним посессором и ЭОб и наличием модификаторов у посессора:
(χ2ст  = 10,4487) > (χ2кр = 7,87944)
Таким образом, мы видим, что использование конструкции с внутренним посессором или ЭОб связано с наличием у посессора зависимых, причем, как видно из Таблицы 3.1, если количество конструкций, в которых посессор имеет зависимые, при ЭОб лишь в полтора раза меньше, чем тех, где посессор не имеет зависимых, то для конструкций с внутренним посессором это соотношение составляет примерно один к трем. 
То есть конструкции с внутренним посессором менее «охотно» присоединяют зависимые, чем конструкции с экстрапозицией обладаемого.
Пример 5 (лекция 1). Связь между видом и определенностью
Таблица 5. Результаты анализа греческих текстов
	Имперфект	Перфект		
неопределенный объект	394	324	718	
определенный объект	711	1058	1769	
	 1105	 1382	2487	
2, d.f. = 1, p < .001		
Пример 6 (лекция 1). Дискурсивный базис эргативности (Du Bois, J. Discourse basis of ergativity //Language (1987). V.63, №4). Pear stories. Sacapultec.
Таблица 6.1. Влияние грамматической роли на морфологический тип аргумента
	Lexical	non-lexical	
A	11	169	
S+O	207	232	
2=94.25, d.f. = 1, p < .001	
Пример 7. Выбор испанских клитик 3 лица le/s, la/s и lo/s (от латинского ILLE) 
Этимологически:  le/s – DAT,  la/s (Feminine) и lo/s (Masculine) - ACC
При 2-местных глаголах могут употребляться как la/s и lo/s, так и le/s
Гипотеза: выбор между le/s и la/s ( lo/s)  связан со степенью «активности» актанта. Имеет значение противопоставление по одушевленности, по роду.
Таблица 7. Употребление клитик сельскими жителями провинций Soria и Valladolid
	Inanimate Referents	
	Masculine	Feminine	
	Singular	Plural	Singular	Plural	
	le	lo	les	los	le	la	les	las	
Soria	17	163	9	115	0	110	1	56	
Valladolid	98	71	93	14	3	80	0	101	
	Animate Referents	
	Masculine	Feminine	
	Singular	Plural	Singular	Plural	
	le	lo	les	los	le	la	les	las	
Soria	90	157	68	106	104	51	23	49	
Valladolid	205	17	85	10	10	197	2	50	
Задание.
1.	Отпределить, влияют ли следующие факторы: одушевленность (для женского рода), одушевленность (для мужского рода) на выбор le/s в двух испанских диалектах.
•	Ограничения: 
•	теоретические частоты должны быть не меньше 5
•	данные должны быть независимы
•	нельзя использовать относительные частоты

2.	Сравнение двух средних
2.1.	t-критерий (критерий Стъюдента) для независимых выборок
2.1.1. Примеры расчетов
Пример 8. (Scherer & Wertheimer 1964)
В Колорадском университете студенты первого года обучения, изучающие немецкий язык, были разделены на 2 группы:
- I-ая обучалась коммуникативным методом
- II-ая грамматико-переводным методом  
После 2-х лет обучения обе группы прошли языковой тест:
средний балл I-ой группы – 82.92 из 100
средний балл II-ой группы – 77.71 из 100
Случайная ли разница или коммуникативный метод более эффективный?
Н0:  1= 2
Н0:  1 2
Матожидание (population mean)	1	2	
Стандартное отклонение (population standard deviation)	1	2	
Объем выборки	n	n	
Среднее выборочное			
Выборочное стандартное отклонение	s1	s2	
Таблица 8.1
	I гр	II гр	
Объем выборки (sample size)	n1	24	n2	24	
Выборочное среднее (sample mean)		82.92		77.71	
Выборочное стандартное отклонение (sample standard deviation)	s1	6.78	s2	7.37	

Допущение:
1)	обе выборки из нормальных генеральных совокупностей (если объем выборки достаточно большой, то это не обязательно (ЦПТ))
2)	1 = 2
оценка стандартного отклонения:
	(5)	

t-статистика (распределение Стъюдента):

					(6)

       n1 + n2  - 2 степеней свободы	= 46
           для t = 2.55 =0.02

Пример 9. Освоение детьми противопоставления по глухости/звонкости (Macken&Barton 1980).
4 англоговорящих ребенка от 1:4 и 1:7
записывались разговоры ребенка с матерью каждые 2 недели за период 8 месяцев
регестрировалось время голосового приступа (VOT) в начальных смычных

Таблица 9. Среднее VOT (в миллисекундах), стандартное отклонение по данным наблюдений за одним ребенком в разном возрасте 
	Возраст 1:8	Возраст 1:11	
	/d/	/t/	/d/	/t/	
Выборочное среднее (VOT ms)	14.25	22.30	7.67	122.13	
Стандартное отклонение	15.44	13.50	19.17	54.19	
Число наблюдений (tokens)	8	10	15	15	
Для взрослого говорящего VOT для /t/ выше, чем для /d/
H0 - среднее VOT для /t/ = среднее VOT для /d/

(??? степеней свободы)
		
tкр= 1.75 для 15 ст.св. при α=5%
Для возраста 1:11 t=-7.71
2.1.2. Определение разницы между средними

Константа – 95% критическое значение для распределения Стъюдента с n1+n2-2 степенями свободы
Для возраста 1:11
114.46 ±31.34
т.е. от 83.12 до 145.34 (не совсем корретный, но маловероятно, что ошибка принципиально велика)
Что может быть не так? – см. допущения
Рассмотрим отклонения: 19.17 и 54.19 соответственно (для /t/ в 3 раза больше)
Есть ли статистически значимая разница между ними?
2.1.3. Ограничения
•	Т.О. ограничения рассматриваемого метода:
•	выборки должны быть из«нормально распределенных»
•	разница между стандартными отклонениями должна быть статистически незначимой
•	выборки должны быть независимы
2.2. Критерий Фишера
Сравнение дисперсий двух нормальных выборок
	(D1 - большая)		(8)
Для применения критерия Cтъюдента необходимо допущение о равенстве стандартных отклонений, проверка гипотезы о равенстве двух стандартных отклонений (дисперсий) – критерий Фишера
Для примера 9. 
F14, 14= 7.99
Степени свободы: n1-1=14 и n2-2=14
Пусть в таблице есть только F12, 15=3.67 и F24,15=3.29, значит F14, 14 должно быть близко к 3.6
•	Ограничения: 
•	нормальность
2.3.	Сравнение 2-х пропорций
Пример 3. Ошибки в местоименном согласовании у детей, владеющих 2-мя языками
Таблица 3.1. Ferris & Politzer
	Число ошибок	всего	
	0	1-3		
Группа А	15	15	30	
Группа Б	23	7	30	
	38	22	60	

Группа А	15/30=0.5 (p1)	
Группа Б	23/30=0.7667 (p2)	
	38/60 = 0.6333 (p)	

z=1/876 ср. 1.96 для z для 95%