Disclaimer: Het peer review proces voor deze toets is nog niet afgerond; daarom is deze pagina nog in concept.

1 Toepassing

Gebruik de Bhapkar toets om te toetsen of er verschillen zijn voor een nominale¹ variabele tussen twee gepaarde groepen.²^,³ Als de nominale variabele twee categorieën heeft, kan ook de McNemar toets gebruikt worden.

2 Onderwijscasus

De studieadviseur van de bachelor Leisure & Events Management geeft halverwege het eerste studiejaar een voorlopig BSA-advies aan alle eerstejaars studenten. Studenten ontvangen een positief, negatief of uitgesteld BSA. Daarnaast voert zij met alle studenten persoonlijke gesprekken om het advies toe te lichten en een plan voor de rest van het studiejaar te maken. De studieadviseur wil graag onderzoeken of er verschillen zijn tussen het voorlopige BSA-advies halverwege het jaar en het definitieve advies aan het einde van het jaar zodat ze de effectiviteit van de persoonlijke gesprekken kan beoordelen.

Dit onderzoek vertaalt zich in de volgende combinatie van hypothesen, waarbij de nulhypothese zo geformuleerd is dat er geen effect of verschil is en de alternatieve hypothese zo geformuleerd is dat er wel een effect of verschil is.

H₀: Er is geen verschil tussen de verdeling van de voorlopige BSA adviezen en de definitieve BSA adviezen.

H_A: Er is een verschil tussen de verdeling van de voorlopige BSA adviezen en de definitieve BSA adviezen.

3 Assumpties

Om de Bhapkar toets uit te voeren, moeten de data aan een aantal voorwaarden voldoen. Er dient een categorische variabele te zijn met twee of meer categorieën en een binaire variabele die de twee gepaarde groepen weergeeft. Daarnaast mag er geen overlap zijn tussen de categorieën van de categorische variabele: elke observatie past slechts in een van beide categorieën.⁴^,⁵

4 Frequentiematrix

De Bhapkar toets gaat uit van een frequentiematrix, een matrix waarin de rijen de eerste meting van de steekproef bevat en de kolommen de tweede meting. Een voorbeeld bij de casus is weergegeven in Tabel 1.

		Definitief
		Positief	Negatief	Uitgesteld
Voorlopig	Positief	79	8	5
	Negatief	37	7	0
	Uitgesteld	8	5	1

Tabel 1. Frequentiematrix van de voorlopige en definitieve BSA-adviezen voor studenten van de bachelor Leisure & Event Management.

De cel linksboven bevat het aantal studenten dat zowel bij het voorlopige BSA als het definitieve BSA advies een positief advies heeft ontvangen; dit zijn 79 studenten. De cel in het midden van de frequentiematrix laat het aantal studenten zien dat zowel bij het voorlopige BSA als het definitieve BSA advies een negatief advies heeft ontvangen; dit zijn 7 studenten. De cel rechtsonder bevat het aantal studenten dat zowel bij het voorlopige BSA als het definitieve BSA advies een uitgesteld advies heeft ontvangen; dit is 1 student. Deze drie cellen staan op de diagonaal van de tabel en worden daarom de diagonale elementen genoemd.

Er zijn ook cellen die niet onder de diagonale elementen van de frequentiematrix vallen. Deze cellen bevatten studenten waarbij het voorlopige BSA advies verschilt van het definitieve advies. In de cel rechtsboven bijvoorbeeld staat het aantal studenten dat een positief voorlopig BSA advies en een uitgesteld definitief BSA advies heeft ontvangen; dit zijn 5 studenten. De cel linksonder bevat het aantal studenten dat een uitgesteld voorlopig BSA advies en een positief definitief BSA advies heeft ontvangen; dit zijn 8 studenten.

5 De data bekijken

Er is een dataset ingeladen genaamd BSA_LEM. In deze dataset is voor elke student aangegeven wat het voorlopige en definitieve BSA advies is.

## Eerste 6 observaties
head(BSA_LEM)

##   Studentnummer Soort_BSA BSA_advies
## 1       4909362 Voorlopig   Positief
## 2       4731799 Voorlopig   Positief
## 3       4623196 Voorlopig Uitgesteld
## 4       4720223 Voorlopig   Positief
## 5       4468737 Voorlopig   Positief
## 6       4327754 Voorlopig   Negatief

## Laatste 6 observaties
tail(BSA_LEM)

##     Studentnummer  Soort_BSA BSA_advies
## 295       4918521 Definitief   Positief
## 296       4825665 Definitief   Negatief
## 297       4173895 Definitief   Negatief
## 298       4109988 Definitief   Negatief
## 299       4081066 Definitief   Positief
## 300       4874260 Definitief   Positief

Een kruistabel geeft de aantallen observaties weer voor de combinaties van de categorieën van de variabelen Soort_BSA en BSA_advies. In feite laat deze tabel de frequentie van het positieve, negatieve en uitgestelde BSA-advies zien voor de voorlopige en definitieve BSA. Maak de kruistabel met de functie table() met als argumenten de variabele BSA_LEM$Soort_BSA, die weergeeft of het om het voorlopige of definitieve advies gaat, en de variabele BSA_LEM$BSA_advies, die het BSA-advies aangeeft.

## Maak een kruistabel
BSA_kruistabel <- table(BSA_LEM$Soort_BSA, BSA_LEM$BSA_advies)

## Print de kruistabel 
print(BSA_kruistabel)

##             
##              Negatief Positief Uitgesteld
##   Definitief       20      124          6
##   Voorlopig        44       92         14

## Print een tabel met proporties, tweede argument 1 zorgt ervoor dat de 
## proporties per rij berekend worden
prop.table(BSA_kruistabel, 1)

##             
##                Negatief   Positief Uitgesteld
##   Definitief 0.13333333 0.82666667 0.04000000
##   Voorlopig  0.29333333 0.61333333 0.09333333

De kruistabel en de kruistabel met proporties laten zien dat het aantal positieve BSA-adviezen hoger is bij het definitieve advies en het aantal negatieve BSA-adviezen juist lager. Het aantal uitgestelde BSA-adviezen is iets lager bij het definitieve advies.

6 Uitvoering

6.1 Bhapkar toets

Voer de Bhapkar toets uit om te onderzoeken of er een verschil is tussen de verdeling van de voorlopige en definitieve BSA-adviezen voor studenten van de bachelor Leisure & Events Management. Gebruik de functie bhapkar() van het package irr met als argument een matrix met daarin de voorlopige BSA-adviezen Voorlopig en de definitieve BSA-adviezen Definitief.

## Laad het package van de Bhapkar toets in
library(irr)

## Sla de voorlopige en definitieve BSA-adviezen op in een vector
Voorlopig <- BSA_LEM$BSA_advies[BSA_LEM$Soort_BSA == "Voorlopig"]
Definitief <- BSA_LEM$BSA_advies[BSA_LEM$Soort_BSA == "Definitief"]

## Voer de Bhapkar toets uit
bhapkar(cbind(Voorlopig, Definitief))

##  Bhapkar marginal homogeneity
## 
##  Subjects = 150 
##    Raters = 2 
##     Chisq = 20.1 
## 
##  Chisq(2) = 20.1 
##   p-value = 4.39e-05

χ² = 20,07, p = 0,004
De p-waarde is kleiner dan 0,05, dus de H₀ wordt verworpen.⁶
De verdelingen van de voorlopige en definitieve BSA-adviezen zijn verschillend.

7 Rapportage

De Bhapkar toets is uitgevoerd om uit te vinden of er een verschil tussen de verdeling van de voorlopige en definitieve BSA-adviezen van de studenten van de bachelor Leisure & Events Management. Uit de Bhapkar toets blijkt dat er een significant verschil is tussen de verdelingen van de voorlopige en definitieve BSA-adviezen, χ² = 20,07, p < 0,0001. De frequenties en bijbehorende percentages voor de voorlopige en definitieve BSA-adviezen zijn te vinden in Tabel 2. Op basis van de resultaten en deze tabel is te zien dat er bij de definitieve BSA-adviezen meer positieve en minder negatieve BSA-adviezen zijn dan bij de voorlopige adviezen. Daarnaast is het aantal uitgestelde BSA-adviezen iets lager bij de definitieve adviezen. De persoonlijke gesprekken met de studieadviseur lijken er dus voor te zorgen dat er meer positieve en minder negatieve en uitgestelde BSA-adviezen zijn.

		BSA-advies
	Positief	Negatief	Uitgesteld
Voorlopig	92 (61,33%)	44 (29,33%)	14 (9,33%)
Definitief	124 (82,67%)	20 (13,33%)	6 (4%)

Tabel 2. Kruistabel en rijpercentages voor de voorlopige en definitieve BSA-adviezen van studenten van de bachelor Leisure & Events Management.

Een nominale variabele is een categorische variabele waarbij de categorieën niet geordend kunnen worden. Een voorbeeld is de variabele windstreek (noord, oost, zuid, west) en geslacht (man of vrouw).↩
Sun, X., & Yang, Z., (2008) Generalized McNemar’s Test for Homogeneity of the Marginal Distributions. SAS Global Forum 2008 ↩
Uebersax, J. (30 augustus 2006). McNemar Tests of Marginal Homogeneity↩
Sun, X., & Yang, Z., (2008) Generalized McNemar’s Test for Homogeneity of the Marginal Distributions. SAS Global Forum 2008 ↩
Uebersax, J. (30 augustus 2006). McNemar Tests of Marginal Homogeneity↩
In dit voorbeeld wordt uitgegaan van een waarschijnlijkheid van 95% c.q. een p-waardegrens van 0,05. De grens is naar eigen inzicht aan te passen; houd hierbij rekening met type I en type II fouten.↩

Bhapkar toets