Monthly Archives: January 2016

Gwerthuso da = dysgu sut i wneud pethau’n well

Mae Dr Kate Hamilton wedi ysgrifennu blog am y broses werthuso a ddefnyddir o fewn Coed Actif Cymru…

Fel pob prosiect da, rydym yn cymryd y gwaith o werthuso Coed Actif Cymru o ddifrif – nid dim ond oherwydd yr hoffem fod yn ddiwyd ynghylch monitro’r prosiect, ond hefyd oherwydd mai un o’n blaenoriaethau yw cryfhau’r sail dystiolaeth bod coetiroedd yn dda i iechyd a lles.

Ein Prif Her

Un o’r prif heriau wrth wneud hyn yw mesur iechyd a lles mewn ffyrdd sy’n gredadwy, yn gadarn ac yn ystyrlon. Fel y crybwyllwyd [ym mlog 1], mae gennym gyfranogwyr amrywiol iawn sydd ag anghenion, galluoedd a chyflyrau iechyd gwahanol, sy’n mynychu gwahanol fathau o weithgareddau mewn nifer o leoliadau gwahanol, ac yn cyfranogi pan fyddant yn dewis gwneud hynny. Mewn gwirionedd mae hyn yn gwbl groes i’r sefyllfa ddelfrydol ar gyfer ymchwil systemataidd. Ond dyma realiti nifer o ymyriadau bywyd go iawn – a chan fod dysgu o ymyriadau bywyd go iawn yn cynrychioli rhywfaint o fwlch yn y sail dystiolaeth, rydym yn gweithio arno ac yn ceisio dysgu ohono.

Rydym wedi defnyddio nifer o ddulliau gwerthuso gwahanol, gan geisio taro cydbwysedd pragmatig rhwng ein huchelgeisiau ein hunain, disgwyliadau rhanddeiliaid gwahanol, a beth y gellir ei weithredu mewn gwirionedd wrth gyflawni’r prosiect.

Rydym wedi arbrofi gyda chynnwys mesurau iechyd wedi’u dilysu yn ein holiaduron*. Gwnaethpwyd hyn yn dilyn cyngor gan randdeiliaid allweddol yn ystod cam peilot Coed Actif Cymru: awgrymwyd, er bod ein cyflawniadau yn dda iawn, os oeddem am i’r gwaith hwn fod yn argyhoeddiadol – yn enwedig i’n cydweithwyr yn y sector iechyd – roedd angen i ni ddefnyddio mesurau iechyd cydnabyddedig go iawn i asesu ein heffaith. Felly, ar ôl ychydig o ymchwil a phrofion gofalus, dewiswyd detholiad o gwestiynau sy’n cynnwys adnoddau sefydledig megis fersiwn fer o Raddfa Lles Meddyliol Warwick Caeredin (SWEMWBS).

Y gobaith oedd, y byddai hyn yn ffordd syml o wneud ein data gwerthuso yn fwy cadarn. I fod yn onest, rydym yn dal i fod wrthi’n dadansoddi ein canfyddiadau o SWEMWBS, felly ni allaf ddweud p’un a yw wedi gweithio neu beidio – hynny yw, a fydd yn dangos ein bod yn gwella lles cyfranogwyr yn unol â’r mesur hwn. Rydym yn ffodus iawn i gael partneriaethau ymchwil addawol, a thrwy un ohonynt, mae gennym ddau fyfyriwr Seicoleg ym Mhrifysgol Bangor yn gweithio ar hyn ar gyfer eu prosiect blwyddyn olaf ar hyn o bryd.

IMG_1240

Coed Actif Cymru

Yr hyn rydym wedi ei ddysgu hyd yma

Serch hynny, yn y cyfamser, gallaf rannu rhai pethau rydym wedi eu dysgu o’r profiad.

  1. Yn gyntaf, mae casglu data o holiaduron yn systematig ym mhob rhan o’r prosiect wedi bod yn her – ac nid yw cynnwys mesurau wedi’u dilysu yn gwneud dim i newid hyn. Yr hyn rwy’n credu sydd fwyaf diddorol yw’r gwrthdaro rhwng diwylliannau, rhwng ethos y prosiect – dyngarol, cynhwysol, cymdeithasol, cyfannol, anfeddygol, agored – a’r gweithdrefnau sy’n rhan o gwblhau holiaduron. Mae adborth gan gyfranogwyr ac arweinwyr yn dweud wrthym fod holiaduron yn ymyriadau digroeso i ddynameg ddynol sesiynau Coed Actif, sy’n golygu bod pawb dan sylw yn awyddus i’w cwblhau cyn gynted â phosibl. Mae hyn yn amlwg yn effeithio’n andwyol ar ansawdd a dibynadwyedd y data y maent yn eu cynhyrchu.
  1. Yn ail, nid yw defnyddio adnoddau wedi’u dilysu yn golygu bod ymatebion i holiaduron yn ddilys. Ar lefel syml, mae angen hyder rhesymol arnoch fod cyfranogwyr wedi deall y cwestiynau a’u pwrpas er mwyn i’w hymatebion fod yn berthnasol – rhywbeth nad yw’n wir bob amser pan rydych yn gofyn cwestiynau i nifer o bobl ar yr un pryd, mewn cyd-destun antherapiwtig, a lle mae cyfranogwyr weithiau yn camddeall eu pwrpas fel math o ymarfer ‘boddhad cwsmeriaid’. Heb yr amser na’r adnoddau dynol i egluro’r cwestiynau a’u pwrpas bob tro i bob unigolyn, gwyddom fod rwtsh weithiau yn llithro i’n data am y rhesymau hyn.

Yn realistig, ni allwn fodloni’r meini prawf a’r protocolau llym a ddefnyddiwyd i ddilysu’r cwestiynau. Nid yw hyn yn golygu bod ein canfyddiadau yn ddi-werth – gallwn eu dehongli mewn ffyrdd eraill – ond mae’n golygu nad ydynt yn fwy cadarn na chanfyddiadau sy’n seiliedig ar unrhyw gwestiynau eraill.

  1. Yn drydydd – ac yn bwysicach oll – mae SWEMWBS (a mesurau meintiol, safonedig eraill) yn dweud ychydig iawn wrthym am sut a pham mae pethau’n newid i gyfranogwyr ac, yn benodol, pam mae’n bwysig iddynt. Nid beirniadaeth o’r adnoddau eu hunain yw hyn – nid ydynt wedi’u dylunio i nodi’r pethau hyn: mewn gwirionedd maent wedi’u dylunio’n benodol i ddiystyru’r pethau hyn er mwyn gallu asesu ymyriadau ar sail eu heffaith ar les heb gynnwys yr holl effeithiau dyrys hyn. Ond mae’n gwneud i ni gwestiynu eu gwerth i brosiect fel ein prosiect ni.

Mae lles yn gyflwr cymhleth a goddrychol, ac rydym ni yn un o’r dylanwadau niferus ar ein cyfranogwyr. Felly, ni all unrhyw amrywiadau mawr yn eu ‘sgoriau’ gael eu priodoli i Goed Actif Cymru yn y lle cyntaf. Rydym hefyd yn gwybod o’u hymatebion i gwestiynau naratif bod cyfranogwyr yn cael buddiannau sylweddol na chânt eu nodi gan y mesurau safonedig – er enghraifft, y gallu i gynnal lefel o iechyd er gwaethaf salwch dirywiol, neu ymdopi â chyflyrau episodig yn well. Efallai na fydd y rhain yn ymddangos fel ‘gwelliant’ net ond maent yn bwysig iawn i’r bobl dan sylw.

Yn ogystal â hyn, gwyddom fod y buddiannau y mae cyfranogwyr yn eu profi yn rhai aml-ddimensiwn ac yn aml yn annisgwyl. Er enghraifft, un o ganfyddiadau amlycaf ein gwaith monitro hyd yn hyn yw pwysigrwydd manteision cymdeithasol i’n cyfranogwyr – cwrdd â phobl newydd, gwneud ffrindiau, datblygu sgiliau cymdeithasol, a dysgu pethau newydd – hyd yn oed pan nid y rhain oedd eu prif resymau dros ymuno. Mae’r rhain yn fwy na ‘phethau ysgafn’ sy’n deillio o welliant ‘go iawn’ a ‘chaled’ mewn iechyd – mae bod yn gysylltiedig yn gymdeithasol a dysgu yn bwysig iawn ynddynt eu hunain fel cyfranwyr at iechyd da, rhagfynegwyr marwolaeth, ac fel strategaethau ar gyfer lles gydol oes.

fun in the rain

Coed Actif Cymru

Felly, er budd beth a phwy rydym yn gwerthuso?

Mae hyn i gyd i weld yn weddol amlwg – rydym i gyd yn gwybod bod lles yn fwy na rhif. Ond, mae’n peri i mi feddwl pam, os yw hyn mor amlwg, bod prosiectau fel ein prosiect ni yn dal i deimlo pwysau i ddefnyddio’r dulliau hyn.
Pam y cânt eu hystyried i fod yn fwy argyhoeddiadol na mesurau eraill, a pham rydym yn cael clod am eu defnyddio hyd yn oed pan rydym yn dangos nad ydynt yn gweithio? Ymddengys i mi nad tystiolaeth sydd wrth wraidd hyn, ond pwyslais: mae yna fath o werth symbolaidd a gwleidyddol yn gysylltiedig â defnyddio’r adnoddau derbyniedig, hyd yn oed pan na allwn eu defnyddio’n iawn.

Yn bragmatig, efallai y byddai’n well i ni dderbyn hyn – ond fy mhryder i yw bod ceisio defnyddio’r dulliau ‘cywir’ yn gwastraffu adnoddau (amser, ymdrech, arian, sylw) a allai, o bosibl, gael eu defnyddio’n well – i ysgogi llawer mwy o gyfraniad gan lawer mwy o randdeiliaid, drwy ddefnyddio dulliau sy’n rhoi llais i gyfranogwyr ddweud beth sy’n bwysig iddynt, gyda llawer llai o bryder yn gyffredinol a llawer mwy o gyfraniad i effaith y prosiect hwn a ddysgir ohono. Os nad unig nod gwerthuso yw cynyddu effaith a dysgu sut i wneud pethau’n well, ni chredaf y gellir ei ystyried yn ddefnydd da o adnoddau unrhywun.

Felly, beth mae hyn yn ei olygu i ni fel prosiect? Ar hyn o bryd, gallwn barhau i weithio gyda nifer o ddulliau gwahanol, gan ein galluogi i gyflawni ystod eang o ddisgwyliadau yn rhannol o leiaf. Ond yn gynyddol, hoffem helpu i esblygu ffyrdd newydd o werthuso lles, ffyrdd sy’n drylwyr wrth ddilysu beth sy’n bwysig i’r bobl dan sylw yn hytrach na dim ond yr hyn sy’n cyd-fynd â’n mesurau presennol. Mae’n teimlo fel bod yr hinsawdd bresennol yn barod am y fath newid – a thrwy ymgysylltu â’r Gyfnewidfa Arfer Da ac eraill, rydym yn falch o ganfod cynghreiriaid ar y daith hon.

Good Evaluation = learning how to do things better

Dr Kate Hamilton has written a blog about the evaluation process used within Actif Woods Wales…

Like all good projects we take the evaluation of Actif Woods Wales seriously – not just because we want to be diligent about monitoring project delivery, but also because one of our priorities is to deepen the evidence base about woodlands being good for health and wellbeing.

Our Central Challenge

One of the central challenges in doing this is measuring health and wellbeing in ways that are credible, robust and meaningful. As mentioned [in blog 1] we have very diverse participants with different needs, capacities and health conditions, attending different types of activities in many different locations, and participating as and when they choose to do so. This is pretty much the direct opposite of an ideal set-up for systematic research. But such are the realities of many real-life interventions – and as learning from real-life interventions is currently a bit of a gap in the evidence base, we just work with it and try to learn from it.

We’ve ended up taking a bit of a mixed-methods approach to evaluation, trying to strike a pragmatic balance between our own ambitions, different stakeholders’ expectations, and what can actually be implemented in the course of project delivery.

We have experimented with incorporating validated health measures into our questionnaires*. This came about following advice from key stakeholders in the pilot phase of Active Woods Wales: they suggested that while our achievements were all very nice, if we wanted this kind of work to be convincing – particularly to our health sector peers – we needed to use proper recognised health measures to assess our impact. So, after a bit of research and some careful testing, we came up with a selection of questions that includes established tools such as the short version of the Warwick Edinburgh Mental Wellbeing Scale (SWEMWBS).

The hope was that this would be a straightforward way of making our evaluation data more robust. To be honest we are still in the process of analysing our findings from SWEMWBS, so I can’t tell you whether or not it’s worked – as in, will it show that we improve participants’ wellbeing according to this measure. We are very fortunate that through one of our budding research partnerships we have a pair of Psychology students at Bangor University working on this for their final-year project as I write.

IMG_1240.JPG

Actif Woods Wales 

What we have learnt to date

In the meantime, though, I can share some reflections on what we have learned from the experience.

  1. Firstly, gathering questionnaire data systematically across the project has been a real challenge – and the inclusion of validated measures in itself does nothing to change this. What I find most interesting is the clash of cultures between the project ethos – humane, inclusive, sociable, holistic, non-medicalised, open– and the procedures involved in completing questionnaires. Feedback from participants and leaders tells us that questionnaires are an unwelcome intrusion into the human dynamics of Actif Woods sessions, meaning that everyone concerned wants to get them out of the way as quickly as possible. This has obvious detrimental impacts on the quality and reliability of the data that they produce.
  1. Secondly, using validated tools doesn’t in itself make questionnaire responses valid. On a simple level, you need a reasonable degree of confidence that participants have understood the questions and their purpose so that their answers are relevant – which is not always the case when you are administering questions to lots of people at once, in a non-therapeutic context, and where participants sometimes misunderstand their purpose as a kind of ‘customer satisfaction’ type exercise. Without the time and human resources to explain the questions and their purpose each time to each person we know that some gobble-de-gook sneaks into our data for these reasons.

Realistically, we just aren’t able to meet the strict criteria and protocols by which validated questions have been validated. This doesn’t make our findings useless – we can still interpret them in other ways – but it does mean they are no more robust than findings based on any other questions.

  1. Thirdly – and most importantly – SWEMWBS (and other standardised, quantified measures) tell us very little about how and why things are changing for participants and, particularly, why it matters to them. This is not a criticism of the tools themselves – they are not really designed to pick up these things: in fact, they are specifically designed to bracket these things out so that interventions can be assessed in terms of their impact on wellbeing net of all these confounding effects. But it does make us question their value to a project like ours.

Wellbeing is a complex and subjective state, and we are just one of many influences on our participants. So, any ups and downs in their ‘scores’ cannot simply be attributed to Actif Woods Wales in the first place. We also know from their responses to narrative questions that participants experience significant benefits which aren’t picked up by the standardised measures – things like being able to maintain a level of health despite a degenerative illness, or cope with episodic conditions better. These may not show up net ‘improvement’ but they are hugely important to the people concerned.

On top of this, we know that the benefits participants experience are
multi-dimensional and often unexpected. For instance, a stand-out finding from our monitoring so far is the importance to participants of social gains – meeting new people, making friends, developing social skills, and learning new things – even when these are not their primary reasons for joining. This is not just ‘soft stuff’ which emerges around ‘real’, ‘hard’ health improvement – social connectedness and learning are hugely important in themselves as contributors to good health, predictors of mortality, and as strategies for lifelong wellbeing.

fun in the rain.jpg

Actif Woods Wales

So, what and who are we evaluating for?

This all seems fairly obvious – we all know that our wellbeing is more than just a number. But it leaves me wondering why, if this is so self-evident, projects like ours continue to feel pressure to use these methods. Why are they still assumed to be more convincing than other measures, and why do we get praise for using them even when we’re pointing out that they don’t work?

It seems to me this is not about evidence but all about traction: there’s a kind of symbolic and political value to being seen to be using the accepted tools, even though we can’t use them properly.

Pragmatically it might be wise just to accept this – but my concern is that trying to use ‘proper’ methods ends up sapping resources (time, effort, money, attention) that could arguably be being better used – to produce a lot more insight from a lot more stakeholders, using methods that give participants some voice in saying what matters to them, with a lot less anxiety all round and a lot more contribution to overall project impact and learning.

If evaluation is not squarely about maximising impact and learning how to do things better then I don’t believe it can’t be seen as a good use of anyone’s resources.

So, where does this leave us as a project? For now, we continue to work with our mixed methods approach, enabling us to at least partially meet a wide range of expectations. But increasingly where we’d like to see ourselves is as part of a movement towards evolving better ways of evaluating wellbeing, ones which find rigour in validating what matters to the people concerned rather than just what fits into our existing measures. It feels like the current climate is ripe for such a shift – and through engagement with the Good Practice Exchange and others we are glad to be finding our allies in this quest.