Ønsker du å vite effekten av utviklingsmidlene?
Når et prosjekt eller et tiltak har fått utviklingsmidler, fra fylkeskommunen eller andre, er det lurt å finne ut hvilken effekt midlene har gitt. Dette kan du gjøre gjennom å spørre ut målgruppen for prosjektet, de som driver prosjektet og til slutt prosjektets eier.
Når en kommune eller en region bruker utviklingsmidler, er målet som regel positiv befolkningsutvikling eller økt verdiskaping. Disse effektene kaller vi samfunnseffekter. Samfunnseffekter er vanskelige å spore, og bør ikke være måleparameter i enkeltprosjekt. Det er enklere å spore effekter som virker direkte på brukeren - altså det vi kaller brukereffekter. Målsettinger bør derfor være på brukereffektnivå.
Et prosjekt handler gjerne om å sette i gang et tiltak eller en tjeneste. Et tiltak eller en tjeneste kan være alt fra møteplasser, veiledning og kurs, til infrastruktur som turstier eller bredbånd. En bruker er i dette tilfellet en person i målgruppen som tiltaket eller tjenesten er ment å virke på. Brukerne kan være innbyggere generelt, eller helst en mer definert innbyggergruppe som for eksempel ungdom, innvandrere, frivillige, rådmenn, ordførere, næringslivsledere, organisasjoner osv. Brukereffekter er noe som på kort sikt virker på målgruppen i form av endring i kunnskap, ferdigheter eller holdninger. Brukereffekter på lengre sikt er endring i atferd, praksis eller livssituasjon.
I mange tilfeller er det mulig å innhente informasjon om brukereffekter. Det er viktig å vite noe om brukereffekter fordi:
- Det kan si noe om vi bør justere kursen underveis i prosjektet. Bør vi forandre på innholdet? Gjøre mer av noe eller mindre av noe?
- Det gir informasjon om hvorvidt innsatsen bidrar til målene vi har.
01 Slik kan du spore effekter tilbake til utviklingsmidler
Oppsummert handler det om å spørre ut brukere, drivere av prosjektet/tjenesten og eiere av prosjektet. Dette er ikke en oppskrift, men en måte å tenke på. Den konkrete framgangsmåten må tilpasses hvert enkelt tilfelle.
Vi i Distriktssenteret har sett på utvalgte bolystprosjekt. Her sporet vi sammenhengen mellom brukereffekter og bolystmidler fra KMD. Disse bolystprosjektene hadde alle skapt et varig resultat. Merk at det også kan ligge læringsverdi i å snakke med personer som har vært involvert i prosjekt som ikke har lykkes i å skape noe varig. Hvorfor gikk det slik? Hvilke feller kan man gå i?
De grunnleggende spørsmålene vi stilte var om tjenestene prosjektene har skapt betyr noe for målgruppen, og om tjenesten hadde eksistert uten midlene fra Bolystprogrammet. Vi brukte følgende metode:
- Vi identifiserte brukere av tjenesten, kontaktet noen av dem og spurte om nytten av tjenesten.
- Vi snakket med dem som driver tjenesten, og spurte dem om tjenesten hadde eksistert uten prosjektet.
- Vi snakket med prosjektledelse og/eller prosjekteier og spurte om prosjektet hadde eksistert uten midler fra KMD.
Rekkefølgen her er ikke så viktig. Det kan hende at du må snakke med driver av tjenesten for å få informasjon om brukere du så kan kontakte. Det er en fordel å ha flere kilder til brukere i tillegg til de som driver prosjektet, da det kan være en viss fare for at driverne kun tipser om brukere som er positive til tjenesten. Benytt en «snøballmetode» der kontakt med én bruker fører til informasjon om andre brukere.
Spørsmålene du kan stille i de tre trinnene vil variere fra prosjekt til prosjekt, men varianter av spørsmålene under bør være med. Disse eksemplene kan brukes som «åpningsspørsmål» som antageligvis vil lede til mer konktrete oppfølgingssprøsmål, som i sin tur vil gi nyttig innsikt.
1. Spørsmål til brukerne
Brukerne i målgruppen kan gi nyansert informasjon. Det viktigste å spørre om er:
- Kjenner du til tjenesten?
- Spørsmål om betydningen av tjenesten - Ville de bodd her/hatt den jobben/følt tilhørighet/e.l, dersom det ikke hadde vært for tjenesten?
I tillegg er det nyttig å spørre om:
- På hvilken måte har tjenesten vært til nytte?
- Alternativt: Hvorfor har tjenesten ikke vært til nytte? Her kan man også fange opp utilsiktetde effekter (se nedenfor).
For videre utvikling av tjenesten er det nyttig å spørre om:
- Hva er spesielt viktig med tjenesten?
- Hva bør gjøres annerledes?
2. Spørsmål til driverne
I noen tilfeller vil de som driver tjenesten ha forutsetninger for å vite noe om bakgrunnen for hvorfor/hvordan tjenesten ble opprettet. Dette må du vurdere fra prosjekt til prosjekt. Dersom driverne har slike forutsetninger, kan du spørre om følgende:
- Hadde tjenesten eksistert uten prosjektet (som tjenesten er et resultat av)?
Det kan virke som er overflødig spørsmål, men det kan tenkes at tjenesten ville/kunne blitt utviklet likevel eller på andre måter.
For videre utvikling av tjenesten og overføringsverdi til andre tjenester det i tillegg nyttig å spørre om:
- Hva fungerer godt og mindre godt med måten de driver?
- Hva er overførbart til andre steder?
- Hva er forutsetningene for arbeidet (hvilke andre ressurser enn penger er nødvendig)? Her kan man også fange opp utilsiktede effekter (se nedenfor).
3. Spørsmål til prosjektleder/prosjekteier
Det viktigste spørsmålene for å spore om midlene har gitt brukereffekt er:
- Hadde tjenesten eksistert uten prosjektet (som tjenesten er et resultat av)?
- Hadde prosjektet blitt noe av uten utviklingsmidlene?
Vær oppmerksom på at andre ressurser enn penger kan være avgjørende for suksess. I tillegg til penger, handler utviklingskapasitet om utviklingskompetanse, utviklingsledelse, utviklingskultur, og tidsressurser. Er du interessert i betydningen av noen av disse øvirge elementene, kan du spørre konkret om disse.
For læringsverdi for andre er det nyttig å spørre om:
- Hvordan jobbet kommunen for å skape noe varig?
- Hva var gode grep?
- Hva burde vært gjort annerledes?
- Hva er overførbart til andre steder?
«Hvordan» er stikkordet her. Det er mindre nyttig å spørre «om» forankring er nyttig, spør heller hvordan de har jobbet for å sikre forankring.
Utilsiktede effekter
Utilsiktede effekter kan være positive eller negative virkninger som er uventede. Det kan for eksempel være at andre enn den definerte målgruppen har blitt påvirket av tjenesten. Et tenkt eksempel på en utilsiktet effekt, kan vere et tilfelle der beboere på et alders- og sykehjem får drive med Nintendo Wii for å holde seg i aktivitet. Det kan tenkes at dette kan gi en utilsiktet (positiv) effekt i tillegg: at beboerne plutselig får langt mer besøk av barnebarna sine.
Å ha øynene åpne for at en tjeneste kan ha hatt utilsiktede virkninger kan gi flere gevinster. For det første så vil det å vise fram positive virkninger, selv om de ikke var planlagte, gi informasjon om hvorvidt ressursbruken kan forsvares og gi ytterligere informasjon om sammenhenger mellom innsats og resultat. For det andre kan man ved å fange opp utilsiktede negative virkninger få mulighet til å justere tiltaket for å forhindre eller begrense den negative virkningen i framtiden.
Slike utilsiktede effekter kan man spørre brukere og drivere direkte om. Dersom respondentene kan identifisere«utilsiktede» brukere, kan du vurdere å ta disse med i spørreundersøkelsen.
02 Fordeler og forutsetninger for ulike innsamlingsmetoder
Dersom mange brukere lett kan kontaktes elektronisk, for eksempel om en har en epost-liste eller en facebookgruppe, er et nettbasert spørreskjema nyttig. Dersom mange brukere samles fysisk et sted, for eksempel på en ungdomsklubb eller på et folkemøte, er et spørreskjema på papir greit å bruke. Dersom ingen av disse alternativene er mulig, må du enten ringe eller møte folk personlig. Dette er til gjengjeld mer tidkrevende. Se metodematrisen nedenfor.
Metode | Fordel | Forutsetning |
---|---|---|
Spørreskjema | Når ut til mange. Kostnadseffektivt. Enkelt å samanstille svar. | Målgruppen må kunne språket. Spørreskjema må bli delt ut. Utforming og innhold må være godt gjennomarbeidet. |
Telefonintervju | Gir rom for forklaringer og oppfølgingsspørsmål. Ofte mer kostnads- og tidseffektivt enn intervju ansikt til ansikt. Krever ikke at respondenten må kunne lese og skrive. | Respondentene må være tilgjengelige på telefon. Krever god notat-teknikk, evt. at du tar opp lyden. Kan gi mindre sturkturerte svar enn spørreskjema, noe som vil kreve mer tid til analyse og sammenstilling. |
Intervju ansikt til ansikt | Gir rom for forklaringer og oppfølgingsspørsmål. Ved å observere kroppsspråk, er det lettere å fange opp nyanser og misforståelser enn ved telefonintervju. | Krever god kjemi med intervjuobjekt. Respondentene må ha mulighet til å delta på fysisk møte. Krever god notat-teknikk, evt. at du tar opp lyden. Kan gi mindre sturkturerte svar enn spørreskjema, noe som vil kreve mer tid til analyse og sammenstilling. |
Fokusgruppeintervju | Når respondenter med ulike utgangspunkt blir satt sammen til et fokusgruppeintervju, kan dette føre til at du får ut svar du ikke ville fått ved et vanlig intervju. | Krever god prosessledelse, for blant annet å hindre at enkeltpersoner dominerer fokusgruppa. Sett av god tid til planlegging og rekruttering. Krever ofte en dedikert person til å notere/dokumentere intervjuet. |
03 Kunnskapen om brukereffekter viser veien videre
Når du har hentet inn informasjon om brukereffekter og du har fått kartlagt hvilken rolle utviklingsmidlene spiller, ender du gjerne i ett av tre scenarioer:
1. Midlene bidrar
I det første scenarioet finner du ut at midlene bidrar til brukereffekter i tråd med målsettingene - tjenesten eller tiltaket fungerer som tiltenkt. Det viktigste du kan bruke denne kunnskapen til handler om mulighetene for å videreføre tjenesten. Å kunne vise til konkrete resultater er ofte nødvendig for å vedlikeholde et tilbud eller en tjeneste.
Uansett hvor pengene kommer fra, er det som regel i konkurranse med andre tiltak og tjenester. Resultater blir brukt for å prioritere hvilke tjenester som skal videreføres eller ikke. Kan du vise til at tjenesten har positive effekter på målgruppen, står du bedre stilt for å få utløst finansiering fra samme, eller andre aktører.
2. Blandede svar
I det andre scenarioet finner man blandede svar. Det kan være at noen brukere har god nytte av tiltaket, mens andre ikke har noe nytte. Kanskje ser driverne av prosjektet en del forbedringspunkt. Spørsmålene ovenfor vil også her bidra med å få et klarere bilde. Er det et mønster i hvem som har nytte og ikke (eks. kvinner har bedre nytte enn menn)? Hvorfor? Kunnskapen du får ut av svarene kan brukes for å forbedre tjenesten.
3. Midlene bidrar ikke
I det tredje scenarioet finner du ikke brukereffekter i tråd med målsettingene. Kjeden med spørsmål ovenfor vil hjelpe med å finne ut hvorfor. Kjenner ikke målgruppen til tjenesten? Har ikke tjenesten den tiltenkte virkningen på målgruppen? Hvorfor? Treffer tjenesten andre målgrupper? Mangler man visse ressurser (forutsetninger)?
Dersom du ikke finner brukereffekter, er denne kunnskapen nødvendig for å endre på tjenesten, og evt. forutsetningene, slik at tjenesten kan gi effekter i tråd med målsettingen. I noen tilfeller finner du ut at tjenesten kan endres slik at den blir mer treffsikker. I andre tilfeller må du konkludere med at tjenesten ikke lett kan justeres og derfor ikke bør videreføres. Midlene bør heller brukes på noe annet. Utviklingsarbeid er ofte innovasjonsarbeid, og da må en regne med at ikke alt vil lykkes. Tør du ikke satse, blir det lite utvikling.