Checklist Integraal Gezondheidsbeleid (IGB): interbeoordelaarsbetrouwbaarheid in een veldtest met lokale beleidsnota's

Achtergrond en doelstelling Integraal gezondheidsbeleid (IGB) staat hoog op de agenda. Om vast te stellen in welke mate IGB zich in lokale beleidsnota's manifesteert, ontwikkelden en expert-valideerden wij een Checklist IGB. Deel I bestaat uit acht items en richt zich op determinanten, sectoren, instrumenten, consistentie, en de waarde van gezondheid in de lokale gezondheidsnota. Deel II bestaat uit zes items en richt zich op de aandacht voor gezondheid en gezondheidsbeleid in niet-gezondheidsnota's. Doel van dit onderzoek was de interbeoordelaarsbetrouwbaarheid van de checklist te bepalen. Aanpak/methode Wij nodigden vier onderzoekers van gezondheidsbeleid uit voor deelname aan een veldtest. Zij werden verzocht om voor vier gemeenten de lokale gezondheidsnota en drie niet-gezondheidsnota's met de Checklist IGB te beoordelen. Elke nota werd gescoord door twee beoordelaars. Gemiddelde scores werden berekend per item, per beoordelaar en per paar beoordelaars. De interboordelaarsbetrouwbaarheid werd berekend met de Krippendorff's Alpha voor ordinale, nominale en binaire items afzonderlijk. Als criterium voor voldoende betrouwbaarheid gold een Alpha van .60. Resultaten/opbrengsten Voor deel I van de checklist was de Krippendorff's Alpha voor ordinale items -.05 en voor binaire items .32. Voor deel II van de checklist was de Krippendorff's Alpha voor nominale items 0.49 en voor binaire items 0.57. Een vergelijking van de gemiddelden binnen paren van beoordelaars suggereerde structurele verschillen in toegekende scores. Conclusie en aanbevelingen De interbeoordelaarsbetrouwbaarheid van de Checklist IGB is onvoldoende tot slecht. In zijn huidige vorm is de checklist niet bruikbaar voor het op grote schaal vaststellen van de mate waarin IGB zich in lokale beleidsnota's manifesteert. Gezien de structurele verschillen tussen beoordelaars is de checklist mogelijk wel bruikbaar voor vergelijkend onderzoek door één beoordelaar. Daarnaast kan de checklist worden gebruikt als reflectie-instrument. Een intensieve training en aanvullende instructies zouden de interbeoordelaarsbetrouwbaarheid kunnen verbeteren.