Implementatiegids

    Bijlage 3.1 – Evaluatie

    Uitkomsten 


    In deze bijlage beschrijven we verschillende concrete manieren om uitkomsten te evalueren in de context van therapietrouw interventies. Het is handig om een raamwerk te gebruiken dat je helpt om het gestructureerd aan te pakken. Veel gebruikte modellen hiervoor zijn     RE-AIM en Quadruple Aim. Kies zelf en beschrijf in je projectplan wat je hoe en wanneer wilt evalueren. Voorbeelden van methoden om uitkomsten te evalueren zijn:

    Benchmarks voortgang implementatie

     

    Wat

    Een overzicht van de mate van implementatie per deelnemende locatie. Bijvoorbeeld hoeveel patiënten bereikt zijn met de interventie per locatie, welke onderdelen van de interventie zijn uitgevoerd, door het aantal en welke zorgverleners met welke functies, hoeveel patiënten en zorgverleners niet wilden deelnemen, hoeveel tijd het kostte. 

    Waarom

    Met periodieke benchmarks kun je al vanaf de start van de implementatiefase monitoren hoe de implementatie vordert. De benchmark geeft waardevolle input voor reflectiebijeenkomsten waarin geprobeerd wordt om de implementatie verder te stimuleren.

    Een overzicht van de mate van implementatie per deelnemende locatie. Bijvoorbeeld hoeveel patiënten bereikt zijn met de interventie per locatie, hoeveel patiënten niet wilden deelnemen, welke onderdelen van de interventie zijn uitgevoerd, door het aantal en welke zorgverleners met welke functies, hoeveel tijd het kostte. 

    Hoe

    Zorgverleners registreren doorlopend het aantal uitgevoerde interventies en de gekozen andere belangrijke uitkomsten. Een projectmedewerker verzamelt periodiek alle registraties en maakt hiervan een benchmarkrapportage. Hierin zijn de belangrijkste procesuitkomsten per deelnemende eenheid overzichtelijk weergegeven. Houd rekening met een aantal randvoorwaarden bij het maken van een benchmark:

    • Registratie kost weinig (extra) tijd.
    • Het is gemakkelijk om de geregistreerde gegevens te extraheren. Bijvoorbeeld middels speciale ZZ-regels of een online vragenformulier (zoals Google of Microsoft Forms).
    • Alle deelnemers registreren zorgvuldig en indien mogelijk direct na de uitvoering van (een deel van) de interventie.
    • In de geëxtraheerde gegevens zijn in elk geval patiënten anoniem. Kies samen of de deelnemende locaties en medewerkers herkenbaar worden weergegeven.

    Kijk hier voor een Voorbeeld van de benchmark van proeftuin Amsterdam/Almere.

    Wanneer

    Vanaf de start van de feitelijke implementatie.

    Hoe vaak

    Periodiek, bijvoorbeeld maandelijks.

    Uitkomsten bij patiënten


    Wat

    Aantal en representativiteit van de bereikte patiënten voor de doelpopulatie, hoe patiënten het contact ervaren hebben, therapietrouw. Bij het implementeren van eerder bewezen therapietrouw interventies is het meten van de effectiviteit op therapietrouw meestal NIET het primaire doel, omdat effectiviteit al eerder is aangetoond. 

    Waarom

    Je wilt graag weten of je de patiënten bereikt hebt die je wilde bereiken en wat de interventie patiënten heeft opgeleverd/hoe ze die ervaren hebben.

    Hoe

    • Aantal: door analyse van de doorlopende registratie zoals beschreven bij Benchmarks voortgang implementatie
    • Representativiteit: door relevante patiëntkenmerken van de mensen met interventie te analyseren en het resultaat te vergelijken met die van de gemiddelde doelpopulatie. Betrek hierbij een ervaren onderzoeker voor het geval deze expertise niet in huis is. 
    • Voor het achterhalen van patiëntervaringen zijn verschillende vormen bruikbaar, zoals vragenlijsten, interviews, focusgroepen. Wat je wilt vragen en in welke vorm, hangt af van wat je wilt weten en waarom. Meer informatie over dit onderwerp vind je hier. 
    • Therapietrouw evalueren is complex en vraagt bijzondere expertise. Betrek ook hierbij een ervaren onderzoeker indien deze expertise niet in huis is. Omdat het niet haalbaar is om het feitelijke gebruik vast te stellen, worden verschillende benaderingen (zogenaamde proxy’s) gebruikt. Elke benadering heeft eigen voor- en nadelen.
      • Er wordt vaak gebruik gemaakt van in eerder onderzoek gevalideerde vragenlijsten. Deze zijn vaak eenvoudig toe te passen en je kunt redenen voor therapietrouw in kaart brengen. Het lastige hiervan is, dat niet iedereen alle vragen goed kan lezen en begrijpen. Ook komen antwoorden en inschattingen van patiënten niet altijd overeen met de realiteit. Daarnaast vraagt een voldoende en representatieve respons aandacht.
      • Een andere mogelijkheid is het analyseren van aflevergegevens, bijvoorbeeld met behulp van data van de Stichting Farmaceutische Kengetallen (SFK) of extracties uit apotheekinformatiesystemen. De herhaalservice die veel apotheken aanbieden vermindert de geschiktheid om therapietrouw te meten op basis van aflevergegevens. Daarmee lijkt immers iedereen therapietrouw. Voorbeelden van relevante uitkomsten:
        • Het moment van tweede uitgifte na een interventie bij start van een geneesmiddel. 
        • De geschatte gebruiksduur na de interventie. Hiervoor is veelal een lange follow-up periode nodig.
        • Het deel van de tijd dat mensen het geneesmiddel in huis hadden (proportion of days covered).
        • Aantal mensen dat switcht van geneesmiddel binnen een groep.
      • In onderzoek wordt ook gebruik gemaakt van het tellen van de voorraad aan medicatie bij mensen thuis, elektronische monitoring of bloedspiegelbepalingen. Deze methoden zijn omslachtiger en voor het evalueren van voornamelijk de implementatie van therapietrouw interventies niet nodig.

    Wanneer

    Aan het einde van het project, bij een lang lopend project eventueel ook tussentijds.

    Hoe vaak

    Eenmalig 

    Ervaringen zorgverleners


    Wat

    Bijvoorbeeld opvattingen over het nut en de bruikbaarheid van de interventie, belemmerende en bevorderende factoren voor implementatie, tevredenheid over de ondersteuning van de implementatie.

    Waarom

    Het implementeren van een vernieuwing vraagt om gedragsverandering van medewerkers. Dat is altijd lastig. Het helpt als de vernieuwing past bij de bestaande werkwijze en als medewerkers ervaren dat het iets goeds oplevert. Verder is het in deze tijd van krapte op de arbeidsmarkt relevant dat medewerkers voldoening hebben van hun werk. Met deze evaluatiemethodes kun je nagaan of de implementatie naar wens loopt en waar eventuele knelpunten zitten en hoe die mogelijk opgelost kunnen worden. 

    Hoe

    Reflectiebijeenkomsten, werkoverleg, informele gesprekken op de werkvloer, vragenlijsten, interviews, focusgroepen. 

    Voorbeelden uit de proeftuinen van de eerste Make-it ronde:

    • proeftuin Amsterdam, online vragenlijst verzonden na afloop van het project.
    • Proeftuin Utrecht, online vragenlijst aan huisartspraktijken en apotheken voorafgaand aan en ter bespreking in FTO.

    Wanneer

    Doorlopend (tijdens informele gesprekken op de werkvloer, reflectiebijeenkomsten en werkoverleg) en aan het einde van het project met het oog op borging (vragenlijsten, interviews, focusgroepen).

    Hoe vaak

    Naar eigen inzicht, op basis van de balans tussen noodzaak om inzicht te krijgen in het feitelijke proces/om verder te verbeteren en de haalbaarheid om het uit te voeren.

    Implementatieproces

     

    Wat

    De Benchmarks voortgang implementatie geven al veel informatie over het implementatieproces en er is ook veel overlap met Ervaringen zorgverleners. Aanvullende informatie kan bestaan uit uitval van deelnemende locaties en/of zorgverleners, rijkere informatie over de mate waarin alle onderdelen van de interventie worden uitgevoerd zoals bedoeld, tussentijdse aanpassingen aan de interventie en kosten van ondersteuning van de implementatie in tijd en middelen (dus anders dan de kosten per patiënt).

    Waarom

    Om de voortgang van implementatie te kunnen bewaken en indien nodig bij te sturen. Daarnaast om van te leren voor toekomstige projecten.

    Hoe

    Zie de Hoe-paragraaf bij Ervaringen zorgverleners.

    Wanneer

    Zie de Hoe-paragraaf bij Ervaringen zorgverleners.

    Hoe vaak

    Zie de Hoe-paragraaf bij Ervaringen zorgverleners.

    Methoden om data te verzamelen

     

    Vragenlijsten

    Vragenlijsten zijn geschikt als je specifieke aspecten wilt meten bij een groot aantal patiënten of zorgverleners en vooral kwantitatieve gegevens wilt ophalen. 


    Bestaande vragenlijsten om therapietrouw (of een afgeleide daarvan) te meten

    De volgende vragenlijsten zijn door de proeftuinen gebruikt als maat voor therapietrouw:

    • MARS-5: Medication Adherence Report Scale. Met deze vijf vragen wordt vastgesteld hoe patiënten zelf hun therapietrouw inschatten.
    • SIMS: Satisfaction with Information about Medicines Scale. Met deze vragenlijst van 17 vragen meet je de tevredenheid van patiënten over de verstrekte informatie over een geneesmiddel.
    • MUSE: Medication Understanding and Use Self-Efficacy Scale. De acht vragen gaan over hoe gemakkelijk patiënten het vinden om informatie te krijgen over hun medicatie en of ze de medicatie goed kunnen gebruiken.
    • BMQ: Beliefs about Medicines Quesionnaire. Meestal wordt bij therapietrouw interventies de Specific-variant gebruikt van 10 vragen. Daarbij vraag je naar het gebruik van een specifiek middel. De vragenlijst gaat over de opvattingen van patiënten over de noodzaak en zorgen ten aanzien van hun eigen medicatie.


    Er zijn ook andere vragenlijsten, bijvoorbeeld per aandoening, of praktische barrières zoals MPRAC (CHan et al 2021). Neem contact op met het Make-it consortium als je meer wilt weten over welke vragenlijst voor jouw project het beste is.

    Zelf een vragenlijst maken

    Let op de volgende aandachtspunten bij het maken en gebruiken van een vragenlijst:

    • Formuleer de vragen eenvoudig, specifiek en eenduidig. Verwerk niet per ongeluk twee vragen in één vraag, zoals “Hoe tevreden was u over de bejegening en de uitleg door de medewerker?”. Pas ook op met dubbele negatieve formuleringen in een vraag.
    • Zorg dat de antwoordcategorieën bij de vraag passen. Denk ook aan de antwoorden “niet van toepassing” of “anders, namelijk ….”.
    • Neem enkele vragen op om de representativiteit van respondenten te kunnen inschatten.
    • Laat een vragenlijst voor patiënten door enkele patiënten testen en bespreek welke onduidelijkheden of verbetermogelijkheden ze tegenkwamen.
    • Maak het zo gemakkelijk mogelijk om de vragenlijst in te vullen en te retourneren. Maak bijvoorbeeld zowel een schriftelijke als een digitale variant en vraag welke optie de patiënt het liefst heeft.
    • Laat de vragenlijst niet te lang na het uitvoeren van de interventie invullen, omdat mensen snel dingen vergeten.

     

    Interviews

    Interviews leveren rijkere informatie op dan vragenlijsten, omdat je kunt doorvragen. Daarentegen zijn interviews tijdrovender om uit te voeren, waardoor je minder verschillende respondenten mee kunt nemen dan bij een kwantitatieve vragenlijst. Je kunt interviews bijvoorbeeld gebruiken vóór het maken van een vragenlijst, om te achterhalen welke thema’s voor patiënten of zorgverleners belangrijk zijn rondom het probleem dat je wilt oplossen of de interventie. Je kunt ze ook inzetten nadat de resultaten van vragenlijstonderzoek bekend zijn, om duiding te geven aan de resultaten. 


    Voor het evalueren van projecten worden vaak semi-gestructureerde interviews gehouden. Tips voor het voorbereiden, uitvoeren en analyseren van interviews vind je     hier. Daarnaast: 

    • Je kunt de vragen voor het interview zelf verzinnen, maar je kunt ook gebruik maken van een theoretisch model. Een voorbeeld is de Consolidated Framework for Implementation Science (CFIR). Dit is een veel voorkomend implementatie raamwerk dat onder andere ondersteuning biedt bij het maken van een leidraad. Via deze link kun je aanvinken welke thema’s en domeinen van de CFIR je mee wil nemen in je interview leidraad. Vervolgens worden automatisch passende vragen voor je gemaakt die hierbij horen. Denk erom dat veel van deze vragen nog geen open vragen zijn en ze zijn in het Engels, dus pas aan waar nodig. 
    • Het transcriberen van interviews kost veel tijd. Er bestaan services zoals bijvoorbeeld www.transcriptieonline.nl die de interviews voor relatief weinig geld kunnen uitwerken. 


    Voorbeelden:

    • Interviewschema deelnemende ATP zorgverleners proeftuin Amsterdam (van Marjolein)
    • Materialen van stagiaire proeftuin Amersfoort?
    • Voorbeelden Almere?
    • Interviewprotocol proeftuin Utrecht
    • Topic list Groepsinterview context analyses


    Focusgroepen

    Een focusgroep is eigenlijk een groepsinterview. Hierbij maak je gebruik van kruisbestuiving tussen de deelnemers: wat iemand zegt roept associaties op bij de anderen, die dan kunnen aanvullen of juist een andere mening kunnen uiten.

    Ook voor focusgroepen wordt vaak gebruik gemaakt van een interviewleidraad met de belangrijkste onderwerpen voor het gesprek. Tips voor het voorbereiden en houden van een focusgroep vind je hier.

    Toestemming vragen voor dataverzameling


    Voor het verzamelen van gegevens voor onderzoek en het publiceren daarvan is vaak toestemming nodig van degene van wie je de gegevens verzamelt. Wat precies nodig is, is niet altijd evident. Hieronder geven we enkele vuistregels. Bij twijfel kun je het beste wel toestemming vragen.

    • Als het alleen om de individuele zorg gaat, is geen toestemming nodig omdat het onder de WGBO valt.
    • Als het de bedoeling is om gegevens in een of andere publicatie naar buiten te brengen (wat binnen een gefinancierd project vaak het geval is), is wel toestemming nodig. Dat kan veelal mondeling, bv door expliciet de vraag te stellen en dan wel ergens vast te leggen dat hierop positief geantwoord is.
    • Als je echt wetenschappelijk wilt publiceren is schriftelijke toestemming (of mondeling, als deze wordt vastgelegd op een audio-opname) en een niet-WMO verklaring nodig.

    Naast het vragen van toestemming moet je de mensen ook informeren:

    • Leg voorafgaand aan het interview uit dat je het interview/de focusgroep graag wil opnemen, en dat je het gaat (laten) uittypen tot transcripten en dan analyseren. 
    • Leg uit dat je de resultaten en de transcripten veilig opslaat, en dat je de gegevens altijd anoniem bewaart en verwerkt. 
    Verwijzingen


    RE-AIM en Quadruple aim

    Een veel gebruikt model voor zowel het plannen als voor het evalueren van de implementatie van een interventie is RE-AIM. Hierbij zijn zowel kwantitatieve als kwalitatieve gegevens van belang; kwalitatieve data zijn nodig om de kwantitatieve resultaten te duiden. De letters van RE-AIM staan voor:

    R= reach ofwel het bereik: hoeveel van het aantal mogelijke patiënten worden bereikt met de interventie en in hoeverre zijn die representatief voor de doelpopulatie?

    E=effectiveness ofwel effectiviteit: wat is de impact van de interventie op het primaire doel van de interventie? Vaak wordt bij interventies in de gezondheidszorg Quadruple Aim als uitgangspunt genomen. Hierin wordt gekeken naar vier soorten uitkomsten: 

    • Verbetering van de gezondheid van patiënten.
    • Verbetering van patiënttevredenheid.
    • Verbetering van zorgverlener tevredenheid m.b.t. de behandeling.
    • Verlaging van kosten per patiënt.

    Let hierbij ook op eventuele negatieve uitkomsten.

    A=adoption: hoeveel van het aantal beoogde praktijken/apotheken/zorgverleners willen de interventie gaan uitvoeren en in hoeverre zijn die representatief voor de doelpopulatie? 

    I-implementation: in welke mate worden alle stappen van de interventie uitgevoerd zoals beoogd, hoeveel tijd en kosten zijn gemoeid met de implementatie? 

    M=maintenance ofwel borging: in welke mate wordt de interventie opgenomen in de dagelijkse praktijk? Of als het om het effect op patiënten gaat: wat is het effect van de interventie 6 maanden of langer na het laatste contact?

    Op https://www.re-aim.org/ staan uitgebreide instructies en hulpmiddelen om RE-AIM te gebruiken. Neem contact op met het Make-it consortium via Makeitconsortium.nl als u een expert wilt inschakelen voor bijvoorbeeld het meten van uitkomsten.

    Voorbeeld benchmarkrapportage proeftuin Amsterdam

    Bijlage 2.3
    Bijlage 3.2