Monthly Archives: February 2017

How Queensland Audit Office uses data analysis to improve its auditing

What can we learn from the way that the Queensland Audit Office uses data analytics in their audits? Dyfrig Williams had an early morning phone conversation to find out.

As I previously mentioned on my post on the Wales’ Audit Office’s Cutting Edge Audit project, I’m looking to identify ways of making better use of data and technology in order to transform the way that we work. I’d come across this article on how Queensland Audit Office are using audit data analytics to gain greater insight, and through my well-travelled colleague Tom Haslam I managed to organise an early morning conversation between myself and my colleagues (Steve Lisle and Nigel Blewitt) and Daniele Bird, the Assistant Auditor-General for Performance Audit in Queensland, Ben Jiang the Assistant Director for Audit Analytics and David Toma, their Assistant Director for Performance Audit Services.

What is the Queensland Audit Office doing?

Back in 2014, they decided to look at opportunities to use more sophisticated data visualisation tools in order to get a better insight into their audited bodies. They trialled and tested Qlikview, which can be accessed via the web or desktop software. They set up a data analytics team in 2015, all of whom were former auditors branching out into the world of data analytics. The team undertook initial training, but their development from there was centred on self-learning. The team first planned to work on Performance Audit. However the focus moved to Financial Audit, as the recurring datasets meant they could work more efficiently and effectively, compared to the very different types of datasets that are needed for each performance study.

The importance of relationships

Our seminars on early closure of accounts in 2015 and 2016 have made it clear to me that both the auditor and the audited body have to work together closely in order for audit to work more effectively. Whilst the Queensland Audit Office had built processes and automatic systems to collect data, they still faced questions from clients about security and what they were going to do with the data. They built an internal Frequently Asked Questions page so that audit team leaders could re-assure organisations and build trust, and they also took the burden of change away from the audited bodies by enabling them to dump the unformatted data with the office. The analytics team did the work to transform and clean up the data, and they’re now able to offer unique insights as they gather data from such a wide range of bodies. They can quickly identify and access an overview of issues, as well as benchmark clients’ performance and show how they compare to their peers (which you can see in the slide below). They also use the tools to undertake exercises like Benford’s Analysis, which clearly identifies outliers. This is particularly useful in identifying fraud.

A graph showing lots of dots togther and a clear outlier on the value of bad debt

How Queensland Audit Office gains insight to the value of bad debt

Performance Audit

The Data Analytics Team is now also supporting Performance Audit staff. The team is using text mining, for example to see what teachers are identifying as development goals. This has enabled them to produce Wordclouds and text summaries of the top 10 statements. They also use these tools to sweep the text of Hansards.

The team is also looking at how it can help staff to choose performance audit topics. It’s running sentiment analysis tools on Twitter feeds in order to support the strategic planning process. This helps them to understand the issues that are out there in the wider world and what people are saying about them. Although the technology has been built for Twitter, it could also be used for networks like LinkedIn, which would enable auditors to access different users and perspectives. They’ve also built social media analysis tools that rank tweets. It grades them and enables auditors to focus resources on important messages.

Creating a positive working environment

Daniele, Ben and David acknowledged the importance of leadership from the top in creating the right environment for the work of the Data Analysis Team to flourish. They’ve received high level support from the previous Auditor General and the current Acting Auditor General. This is something that we’ve seen from our own Auditor General in the development of the Cutting Edge Audit project, and hopefully the findings from our own work can help to provide a base for us to develop our own ways of working. It was really interesting to hear how the organisation is continuously looking to develop their work to build on current practices. They’re currently looking at whether moving from Qlikview to Qlik Sense could provide further advantages.

The work of the Data Analytics Team has achieved efficiencies, mainly around saving time that can be reinvested in future work, but they’re also looking to save more to do more. The rapidly changing environment and limited public finances presents a challenge for every public service. Queensland Audit Office have faced that challenge head on and are working in a different way to provide a better service. Not only that, but their staff’s work is now more meaningful and interesting, and auditors are further developing their critical thinking skills. I’ll be thinking about our Good Practice Exchange principles as we reflect on our conversation with the Queensland Audit Office, so that we think about how we might adapt this approach in order to ensure that our work, like the services we audit, are delivering the best possible outcomes for the people of Wales.

Sut mae Swyddfa Archwilio Queensland yn dadansoddi data i archwilio’n fwy effeithiol

Beth allwn ni ddysgu o’r ffordd mae Swyddfa Archwilio Queensland yn dadansoddi ei data ar gyfer eu harchwiliadau? Cafodd Dyfrig Williams sgwrs ffôn yn hynod o gynnar yn y bore er mwyn darganfod mwy.

Fel rydw i wedi dweud o’r blaen yn fy mlogbost ar brosiect Archwilio Sydd ar Flaen y Gad, rwy’n edrych i nodi ffyrdd o wneud defnydd gwell o ddata a thechnoleg i drawsnewid y ffordd rydyn ni’n gweithio. Fe wnes i ddod ar draws yr erthygl hon ar sut mae Swyddfa Archwilio Queensland yn dadansoddi data i gael mewnwelediad gwell iddo. Trwy fy nghydweithiwr Tom Haslam trefnais sgwrs yn gynnar iawn yn y bore rhyngof i a fy nghydweithwyr (Steve Lisle a Nigel Blewitt) a Daniele Bird, yr Archwilydd Cyffredinol Cynorthwyol ar gyfer Archwilio Perfformiad yn Queensland, Ben Jiang, y Cyfarwyddwr Cynorthwyol dros Ddadansoddi Data Archwilio a David Toma, y Cyfarwyddwr Cynorthwyol ar gyfer Gwasanaethau Archwilio Perfformiad.

Beth mae Swyddfa Archwilio Queensland yn gwneud?

Edrychodd y swyddfa ar gyfleoedd i ddefnyddio offer delweddu data mewn ffordd fwy soffistigedig yn ôl yn 2014 er mwyn cael dealltwriaeth well o’r cyrff maen nhw’n archwilio. Fe wnaethon nhw dreialu a phrofi Qlikview, sef meddalwedd sy’n gallu cael ei ddefnyddio trwy’r we neu ar ben desg. Fe wnaethon nhw sefydlu tîm dadansoddi data yn 2015, ble roedd pob un ohonynt yn gyn-archwilwyr. Fe wnaeth y tîm derbyn hyfforddiant i ddechrau, ond ers hynny mae eu datblygiad wedi dod o hunan-ddysgu. Y cynllun ar y dechrau oedd gweithio ar Archwilio Perfformiad. Fodd bynnag, symudodd y ffocws i Archwilio Ariannol gan fod yr un setiau o ddata yn cael ei ddefnyddio tro ar ôl tro, felly roedd yn haws i alluogi gwaith effeithlon ac effeithiol o’i gymharu â’r mathau gwahanol iawn o ddata sydd eu hangen ar gyfer astudiaethau Archwilio Perfformiad.

Y pwysigrwydd o berthnasau

Fe wnaeth ein seminarau yn 2015 a 2016 ar gau cyfrifon yn gynt dangos i mi fod rhaid i’r archwilydd a’r corff sy’n cael ei archwilio i gydweithio’n agos i weithio’n effeithiol. Adeiladodd Swyddfa Archwilio Queensland prosesau a systemau awtomatig i gasglu data, ond roeddwn nhw’n dal i gael cwestiynau o gleientiaid am y diogelwch o beth roedden nhw’n gwneud a beth roedden nhw’n mynd i wneud  gyda’r data. Rhoddir tudalen Cwestiynau a Ofynnir yn Aml at ei gilydd yn fewnol fel y gallai arweinwyr y timau archwilio tawelu meddyliau’r sefydliadau ac adeiladu ymddiriedaeth. Fe wnaethon nhw hefyd cymryd y baich o newid i ffwrdd o’r cyrff drwy eu galluogi i anfon y data heb ei fformatio. Gwnaeth y Tîm Dadansoddi Data y gwaith o drawsnewid a glanhau’r data, ac maen nhw’n awr yn gallu cynnig mewnwelediad unigryw i’r data gan eu bod nhw’n casglu data o gyrff amrywiol. Maen nhw’n gallu ffurfio trosolwg o faterion yn gyflym, ac maen nhw hefyd yn gallu meincnodi perfformiad cleientiaid er mwyn dangos sut maen nhw’n cymharu â’u cyfoedion (cewch gip ar y sleid isod). Maen nhw hefyd yn gallu defnyddio’r meddalwedd i gynnal ymchwiliadau fel Dadansoddiad Benford, sy’n nodi’n glir pwy sydd yn bell o’r norm. Mae hyn yn arbennig o ddefnyddiol wrth nodi twyll.

Graff sy'n dangos llawer o ddotiau at ei gilydd ac un sydd glir ymhell i ffwrdd ar werth dyledion drwg

Sut mae Swyddfa Archwilio Queensland yn cael mewnwelediad i werth dyledion drwg

Archwilio Perfformiad

Mae’r Tîm Dadansoddi Data hefyd yn cefnogi staff Archwilio Perfformiad. Mae’r tîm yn defnyddio cloddio testun i archwilio pynciau amrywiol, er enghraifft i weld beth mae athrawon yn nodi fel eu nodau datblygu. Mae hyn wedi galluogi iddynt gynhyrchu Wordclouds a chrynodebau testun o’r 10 datganiad uchaf. Maen nhw hefyd yn defnyddio’r dechneg yma i ysgubo trwy Hansards.

Mae’r tîm hefyd yn edrych ar sut y gall hyn helpu staff i ddewis pynciau i archwilio iddynt. Maen nhw’n dadansoddi teimlad ar Twitter, sy’n bwydo i mewn i’r cynllunio strategol. Mae hyn yn eu helpu nhw i ddeall y materion sydd yn bwysig i’r byd ehangach a beth mae pobl yn dweud amdano’n nhw. Er bod y dechnoleg wedi cael ei hadeiladu ar gyfer Twitter, gallai hefyd gael ei ddefnyddio ar gyfer rhwydweithiau fel LinkedIn, a fyddai’n galluogi archwilwyr i gael gafael ar wahanol ddefnyddwyr a safbwyntiau. Maen nhw hefyd wedi adeiladu offer sy’n graddio pwysigrwydd y trydar. Mae hyn yn galluogi archwilwyr i ganolbwyntio adnoddau ar y negeseuon pwysig.

Creu amgylchedd gwaith cadarnhaol

Fe wnaeth Daniele, Ben a David gydnabyddi’r pwysigrwydd o arweinyddiaeth gref i greu amgylchedd ble mae gwaith y Tîm Dadansoddi Data yn ffynnu. Maen nhw wedi derbyn cefnogaeth o’r lefel uchaf o’r Archwilydd Cyffredinol blaenorol a’r Archwilydd Cyffredinol Dros Dro cyfredol. Mae hyn yn rhywbeth ni’n gweld o’n Harchwilydd Cyffredinol ein hunain yn natblygiad y prosiect Archwilio Sydd ar Flaen y Gad, a gobeithio y gall canfyddiadau ein gwaith ni ein helpu ni i ddarparu sylfaen i ddatblygu ein ffordd o weithio. Roedd e’n ddiddorol i glywed sut mae’r sefydliad yn edrych yn barhaus i ddatblygu eu gwaith ac adeiladu ar arferion presennol. Ar hyn o bryd maen nhw’n edrych i weld os all symud o Qlikview i Qlik Sense rhoi manteision pellach iddynt.

Mae gwaith y Tîm Dadansoddi Data wedi cyflawni arbedion effeithlonrwydd, yn bennaf trwy arbed amser y gellir ei ail-fuddsoddi mewn ei gwaith, ond maen nhw hefyd yn edrych i arbed mwy i wneud mwy. Mae’r amgylchedd ehangach yn newid yn gyflym ac mae cyllid cyhoeddus cyfyngedig yn rhoi her i bob gwasanaeth cyhoeddus. Mae Swyddfa Archwilio Queensland wedi wynebu’r her yma ac maen nhw’n gweithio mewn ffordd wahanol i ddarparu gwasanaeth gwell. Mae gwaith ei staff yn awr yn fwy ystyrlon a diddorol, ac mae archwilwyr yn datblygu sut maen nhw’n meddwl yn feirniadol. Fe fyddai’n defnyddio ein hegwyddorion Cyfnewidfa Arfer Da wrth i ni fyfyrio dros ein sgwrs â Swyddfa Archwilio Queensland, fel ein bod ni’n meddwl am sut rydyn ni’n gallu addasu’r dull gweithredu hwn fel ein bod ein gwaith ni, fel y gwasanaethau rydyn ni’n archwilio, yn cyflawni’r canlyniadau gorau posibl i bobl Cymru.

Developing personas for a user focused service

How can personas help to ensure that projects are user focused? Dyfrig Williams reflects on how they’ve been used for his work on acquiring data effectively.

An image of personas for Performance Audit staff

As part of my Cutting Edge Audit work, I’ve been working on a test project to gather data for auditors so that we can work more efficiently.

I’ve blogged before on why I’m really interested in the digital delivery of public services because of the relentless focus on user need. This focus isn’t new to me – my previous work on citizen engagement made it clear to me that properly involving the people who access services at an early stage results in a service that is effective at targeting its resources.

Now that I’m four months in to a six month project you could argue that I’m leaving it a bit late to start on the practical part of the work. But in my public engagement role I heard time and time again that staff that didn’t involve people properly delivered their work according to existing preconceptions about what people wanted or needed. I was determined not to make the same mistake with my work, so I developed personas for the main users of data to ensure that we are focusing on building something that people would actually find useful.

Personas are representations of different types of customers or users. They answer the question “Who are we designing our work for?” They help to align strategy and goals to specific user groups. As we’re testing this work with the Health Performance Audit Team, I developed personas ranging from Performance Support Officers to Audit Managers, as well as complimentary work with members of the Financial Audit Technical Team and a Financial Auditor working on the frontline with health boards.

Where to start?

I was quite excited to start on the personas so that I could see how my public engagement mindset fitted with digital practice. My colleague Louise Foster-Key, who is the Digital Comms Officer at the Wales Audit Office gave me a few pointers from her work on the Wales Audit Office Intranet, and I also looked at wider good practice. There’s a great post on user personas on the Office for National Statistics’ Digital Blog, but I ended up basing my work on the Government Digital Service (GDS)’s Guide to User Stories. I had a punt at using Trello, but as this was a largely solo exercise (and it was only a small project to manage) I didn’t find it to be as useful as I expected. Instead I used Xtensio, a free(ish) tool that Louise recommended to me.

I stuck with the GDS format as the structure of my user stories, which I put together from interviews and emails with staff in key roles:

  1. As a… (Who is the user? A biography of the person accessing data)
  2. I need/want/expect to… (What does the user want to do?)
  3. So that… (Why does the user want to do this?)
  4. It’s done when… (This is the GDS acceptance criteria, which is a list of outcomes that you use as a checklist to confirm that your service has done its job and is meeting that user need)

Has it been useful?

By talking to auditors in depth about each of the roles that I’ve mapped, I’ve got a much better understanding of their work. This will be useful to me far beyond the lifespan of the Cutting Edge Audit project, as I look at how the Good Practice Exchange can work more effectively with audit teams, especially the Health Audit Team, who volunteered to work with us on this piece of work.

The main use of the personas will be to sense check our work and to ensure that the purpose of our test matches what our auditors want and expect. Now that they’ve helped us run through some hypothetical tests, we’ll use their thoughts to avoid scope creep for the first stage of our iteration.

Their thoughts will also be incredibly useful for my section of our final report. It’s been said that “The pen is mightier than the sword”, and in this sense we as the report authors have all the power – it is us who provide the recommendations for future priorities. This work will ensure that my recommendations are grounded in the realities of our staff’s day to day work.

The final personas are now online and have been split into two sections because of the limitations of the free version of Xtensio. The first set of personas are based on the Performance Audit roles, and the second set include personas based on the Financial Audit and Technical Team roles.

These personas now give us a level of expectation for our work. If the test fails, they give us a rigorous criteria to examine our output against, and a clear vision to check our delivery against. On the other side of things, should the work (as we hope) be a success, we have an opportunity to think about whether personas can help us to be more focused and responsive as we ensure that public services really are delivering value for money for the people of Wales.

Datblygu personas ar gyfer gwasanaeth sy’n canolbwyntio ar y defnyddiwr

Sut all personas helpu i sicrhau bod prosiectau yn canolbwyntio ar y defnyddiwr? Isod mae Dyfrig Williams yn adlewyrchu ar sut maen nhw wedi bod yn rhan o’i waith ar fynd i’r afael â data yn effeithiol.

Llun o bersonas staff Archwilio Perfformiad

Rydw i wedi bod yn gweithio ar arbrawf i gasglu data ar gyfer archwilwyr fel y gallwn weithio’n fwy effeithlon fel rhan o fy ngwaith ar brosiect Archwilio Sydd ar Flaen y Gad.

Rydw i wedi blogio o’r blaen ar fy niddordeb mewn darparu gwasanaethau cyhoeddus digidol achos y ffocws di-baid ar angen y defnyddiwr. Dyw hwn ddim yn safbwynt sy’n newydd i mi – roedd e’n amlwg yn fy nghwaith yn fy swydd flaenorol ar gynnwys dinasyddion i sicrhau bod adnoddau’n cael eu targedu’n effeithiol.

Nawr rwy’n dechrau ar ran ymarferol fy gwaith ar ôl 4 mis o brosiect 6 mis. Ond yn fy hen rôl fe wnes i glywed tro ar ôl tro bod gwasanaethau’n cael eu darparu at hen ragdybiaethau pan nad yw staff yn cael yr amser i ymgysylltu â phobl mewn modd priodol. Doeddwn i ddim eisiau gwneud yr un camgymeriad yn fy ngwaith, felly datblygais personas ar gyfer y prif ddefnyddwyr o ddata mewn timau archwilio er mwyn sicrhau ein bod ni’n canolbwyntio ar adeiladu rhywbeth y byddai pobl yn wir ddefnyddio.

Mae personas yn gynrychioliadau o wahanol fathau o gwsmeriaid neu ddefnyddwyr. Maen nhw’n helpu ni i ateb y cwestiwn o “Pwy ydyn ni’n cynllunio ein gwaith ar gyfer?” Maen nhw’n helpu i alinio strategaeth a nodau i grwpiau o ddefnyddwyr penodol. Gan ein bod ni’n profi’r gwaith yma gyda’r Tîm Archwilio Perfformiad Iechyd, datblygais personas a oedd yn amrywio o Swyddogion Cefnogi Perfformiad i fyny i Reolwyr Archwilio, a hefyd aelod o’r Tîm Technegol Archwilio Ariannol ac Archwilydd Ariannol sy’n gweithio gyda’r byrddau iechyd.

Ble i ddechrau?

Roeddwn i’n edrych mlaen i ddechrau fy ngwaith ar y personas er mwyn gweld sut mae fy meddylfryd ymgysylltu yn ffitio gydag arferion digidol cyfredol. Fe wnaeth fy nghydweithiwr Louise Foster-Key, Swyddog Cyfathrebu Digidol Swyddfa Archwilio Cymru, rhoi ychydig o awgrymiadau i mi o’i waith ar fewnrwyd Swyddfa Archwilio Cymru, ac fe wnes i hefyd edrych ar arfer da ehangach. Mae yna blogbost da ar personas defnyddwyr ar Flog Digidol y Swyddfa Ystadegau Gwladol, ond yn y diwedd fe wnes i benderfynu defnyddio Canllaw Gwasanaeth Digidol y Llywodraeth (GDS) ar Storiau Defnyddwyr fel seilwaith i’m gwaith. Ceisiais ddefnyddio Trello, ond gan fy mod i’n gwneud y gwaith yma ar ben fy hun (a dim ond prosiect bach ydyw) doedd e ddim mor ddefnyddiol ag on i’n ddisgwyl. Felly defnyddiais Xtensio, gwefan sy’n cynnig gwasnaeth a wnaeth Louise awgrymu i mi.

Penderfynais aros gyda fformat GDS ar gyfer strwythur y gwaith, a chafodd y personas ei roi at ei gilydd trwy gyfweliadau a negeseuon e-bost gyda staff mewn rolau allweddol:

  1. Fel rhywun sy’n… (Pwy yw’r defnyddiwr? Ychydig o eiriau am y person sy’n ceisio mynd i’r afael a’r data)
  2. Rydw i angen / Rydw i eisiau / Rwy’n disgwyl … (Beth mae’r defnyddiwr eisiau gwneud?)
  3. Fel bod … (Pam mae’r defnyddiwr eisiau gwneud hyn?)
  4. Mae’r gwaith wedi gorffen pan… (dyma feini prawf y GDS, sef rhestr o ganlyniadau sy’n cael ei ddefnyddio fel rhestr wirio i gadarnhau bod y gwasanaeth wedi gwneud ei waith ac mae’n cwrdd ag anghenion y defnyddiwr)

Ydy’r ymarfer wedi bod yn ddefnyddiol?

Mae gen i ddealltwriaeth gwell o waith archwilwyr ar ôl siarad gyda staff sydd yn y rolau a gafodd eu mapio. Bydd hyn yn ddefnyddiol i mi ymhell tu hwnt i brosiect Archwilio Sydd ar Flaen y Gad, yn enwedig wrth i mi edrych ar sut y gall y Gyfnewidfa Arfer Da gweithio’n fwy effeithiol gyda thimau archwilio, yn enwedig y Tîm Archwilio Iechyd, a wirfoddolodd i weithio gyda ni ar y darn o waith yma.

Prif ddefnydd y personas fydd i wirio pwrpas ein gwaith ac i sicrhau bod ein arbrawf yn cyfateb i’r hyn mae ein harchwilwyr yn dymuno ac yn disgwyl. Nawr maen nhw wedi ein helpu ni i redeg drwy arbrofion damcaniaethol, byddwn yn defnyddio’r personas i stopio ni rhag crwydro’n bell o’r weledigaeth yma.

Bydd eu meddyliau hefyd yn hynod o ddefnyddiol ar gyfer fy rhan i o’r adroddiad terfynol. Gan mai ni yw awduron yr adroddiad, mae’r holl bŵer yn ein dwylo ni – ni sy’n rhoi’r argymhellion ar gyfer blaenoriaethau’r dyfodol. Bydd y gwaith yma’n sicrhau bod fy argymhellion i wedi’u seilio ar waith dydd i ddydd ein staff.

Mae’r personas terfynol bellach ar-lein ac maen nhw wedi cael eu rhannu’n ddwy ran achos cyfyngiadau’r fersiwn rhad ac am ddim o Xtensio. Mae’r set gyntaf o personas yn seiliedig ar rolau Archwilio Perfformiad, ac mae’r ail set yn cynnwys personas sy’n seiliedig ar rolau’r Tîm Technegol ac Archwilio Ariannol.

Mae’r personas yn rhoi lefel o ddisgwyliad i ni ar gyfer ein gwaith. Os yw’r gwaith yn fethiant, maen nhw’n rhoi meini prawf i ni archwilio ein cynnyrch a ddarpariaeth yn erbyn. Ar ochr arall y geiniog, os mae’r gwaith yn llwyddiant fel ni’n gobeithio, mae gennym gyfle i weld os all personas rhoi ffocws glir i ni mewn agweddau arall o’n gwaith wrth i ni ceisio sicrhau bod gwasanaethau cyhoeddus yn wir yn rhoi gwerth am arian cyhoeddus.

Acquiring data for a cutting edge audit office

How is the Wales Audit Office working to ensure that it provides audit that’s fit for the future? Dyfrig Williams blogs below on his work with the Cutting Edge Audit project.

Over the past few months, I’ve been working on the Cutting Edge Audit project, which looks at how the Wales Audit Office can challenge our existing use of data and technology and assumptions that we normally take for granted. We’re thinking radically about how we might use new technology to transform the way that we work.

It’s been a fantastic piece of work to undertake, which has really put that radical thinking into practice. The project’s being led by my colleague Steve Lisle, who is reporting directly to the Auditor General for Wales. This has meant that we’ve moved away from hierarchy into a much flatter structure. We’ve also been outcome focussed – we’ve been testing and prototyping as we go so that our risks are well managed and that we learn from failure.

I’ve been working on how the Wales Audit Office acquires data to give us deeper knowledge and fresh insight.

Data Maturity

data_maturityIt was helpful to think about Data Maturity when we were doing this work. Data Maturity is the journey towards improvement and increased capability in using data. Data Orchard have used this model (which I’ve nicked from a great post by Ben Proctor) of stages in an organisation’s development:

  1. Ad-hoc gathering of data in some areas
  2. Pulling data together centrally
  3. Starting to use data looking backwards
  4. Using data in real time to manage the organisation and move resources rapidly
  5. Modelling the future before making decisions to enable better decisions to be taken
  6. Modelling the future the organisation wants and working backwards to understand what needs to happen now to deliver that future

This is very much a journey for us as an organisation, but it has helped to inform my thinking. It’s helped me think about how we get to point 6, where we’re modelling the future that the organisation is working towards, and ensure that the things that I’m working on set us out on the right path beyond the lifespan of the Cutting Edge project.

My prototypes

I’ve been working on two different tests within this field. The first is an Open Data prototype, which has been more challenging than I expected because the Wales Audit Office is a secondary user of data. This means that we use data that is gathered by others, so we don’t always have the right to share it. I have managed to find a useful dataset though, so my next step is to set it free into the world and look at the challenges around how we can make it as useful as possible.

I’ve been putting the Good Practice Exchange’s principles into practice in this work by visiting other organisations to learn about the work they’re already doing because there’s no point reinventing the wheel. I’ve also been thinking about how we adapt rather than adopt their work to suit our organisational needs, because after all, a one-size-fits-all approach never works.

I’ve blogged before about why the public sector needs to start thinking about its approach to Open Data, and we subsequently ran a Google Hangout to look at why it’s an important topic. Hendrik Grothius has written an excellent blogpost on how organisations can start to publish Open Data, and it will be a brilliant starting point for me as I get to grips with this.

My second piece of work has been looking at how we enable our staff to make better use of data, thereby minimising the audit burden. I’m looking at how we can bring together data from public bodies in a way that makes it easy to access, open to everyone, and give us an improved insight into the performance of the Welsh public sector, and international comparators. I’ve been talking to our staff so that I can better understand what type of approach would be useful to them. I’ve developed personas to help guide our work in this area, which will shape the next phase of this work and ensure that my part of the final report is focused on user need.

Iteration

I’ll be writing future posts to share my approaches, what I’ve learnt and what I would do differently next time. We are working iteratively so that we learn from each development and how we can build on that learning going forwards. If those prototypes don’t work, we’ll be looking to learn from failure and see what the organisation can do differently in the future.

At all our Good Practice Exchange seminars we hear that public services can’t continue to work in the same way in these austere times. It’s been great working on a practical project at the Wales Audit Office, as we’re getting to grips with those same challenges and applying new thinking to our work.

Mynd i’r afael â data ar gyfer archwilio sydd ar flaen y gad

Sut mae Swyddfa Archwilio Cymru yn sicrhau ein bod ni’n archwilio mewn modd sy’n addas ar gyfer y dyfodol? Mae Dyfrig Williams wedi blogio ar ei waith gyda phrosiect Archwilio Sydd ar Flaen y Gad.

Rydw i wedi bod yn gweithio ar brosiect Archwilio Sydd ar Flaen y Gad dros y misoedd diwethaf, sy’n edrych ar sut y gall Swyddfa Archwilio Cymru herio ein defnydd presennol o ddata a thechnoleg a‘r rhagdybiaethau rydyn ni’n cymryd yn ganiataol. Rydym yn meddwl yn radical am sut y gallem ddefnyddio technoleg newydd i drawsnewid y ffordd ni’n gweithio.

Mae fe wedi bod yn ddarn o waith gwych ble rydym yn rhoi meddylfryd radical ar waith. Mae’r prosiect yn cael ei arwain gan fy nghydweithiwr Steve Lisle, sy’n adrodd yn uniongyrchol i Archwilydd Cyffredinol Cymru. Mae hyn wedi golygu ein bod ni wedi symud i ffwrdd o hierarchaeth i mewn i strwythur sy’n lot fwy gwastad. Rydyn ni hefyd wedi bod yn canolbwyntio ar ganlyniadau – rydym wedi bod yn profi a phrototeipio wrth i ni fynd ymlaen fel ein bod ni’n rheoli risgiau yn effeithiol ac yn dysgu o fethiant.

Rydw i wedi bod yn gweithio ar sut mae Swyddfa Archwilio Cymru yn cael data i roi gwybodaeth ddyfnach a mewnwelediad gwell i ni.

Aeddfedrwydd data

data_maturityRoedd yn ddefnyddiol meddwl am Aeddfedrwydd Data wrth wneud y gwaith yma. Aeddfedrwydd Data yw’r siwrne tuag at wella a chynyddu ein defnydd o ddata. Mae Data Orchard yn defnyddio’r model yma (ac rydw i wedi’i ddwyn o Ben Proctor) o gamau yn natblygiad sefydliad:

  1. Casglu data mewn ffordd ad-hoc yn rhai meysydd
  2. Tynnu data at ei gilydd yn ganolog
  3. Dechrau i ddefnyddio data sydd yn edrych yn ôl
  4. Defnyddio data mewn amser real i reoli’r mudiad a symud adnoddau yn gyflym
  5. Modelu’r dyfodol cyn gwneud penderfyniadau er mwyn ein galluogi ni i wneud penderfyniadau gwell
  6. Modelu’r dyfodol y mae’r sefydliad eisiau ac edrych yn ôl i ddeall yr hyn sydd rhaid digwydd er mwyn cyflawni’r dyfodol hynny

Mae hyn yn sicr yn siwrne i ni fel sefydliad, ond mae’r model wedi helpu i lywio fy ffordd i o feddwl. Mae fe wedi helpu mi i feddwl am sut rydyn ni’n cyrraedd pwynt 6, lle rydyn ni’n modelu’r dyfodol mae’r sefydliad yn gweithio tuag ato, a sicrhau bod y pethau rwy’n gweithio arno yn ein rhoi ni ar y llwybr cywir ymhell ar ôl i’r prosiect yma gorffen.

Fy mhrototeipiau

Rydw i wedi bod yn gweithio ar ddau brawf gwahanol o fewn y maes yma. Mae’r cyntaf ar Ddata Agored, sydd wedi bod yn fwy heriol na’r disgwyl achos bod Swyddfa Archwilio Cymru yn ddefnyddiwr eilaidd o ddata. Mae hyn yn golygu ein bod ni’n defnyddio data a gesglir gan eraill, felly nid oes gennym yr hawl i rannu’r data bob tro. Serch hyn, rydw i wedi llwyddo i ddod o hyd i ddata defnyddiol, felly fy ngham nesaf i yw rhoi’r data yma mas yn y byd mawr ac edrych ar yr heriau o amgylch sut y gallwn ni sicrhau bod y data mor ddefnyddiol â phosib.

Rydw i wedi bod yn rhoi egwyddorion y Gyfnewidfa Arfer Da ar waith drwy ymweld â sefydliadau eraill i ddysgu am beth maen nhw wedi gwneud eisoes, achos does dim pwynt dechrau o’r dechrau. Rydw i hefyd wedi bod yn meddwl am sut rydyn ni’n addasu yn hytrach na mabwysiadu eu gwaith ar gyfer anghenion ein mudiad, achos wedi’r cyfan, nid yw ‘dull un maint i bawb’ byth yn gweithio.

Rydw i wedi blogio o’r blaen am pam mae angen i’r sector cyhoeddus i ddechrau meddwl amdano Ddata Agored, ac fe wnaethon ni cynnal Google Hangout i edrych ar pam mae’n bwnc pwysig. Mae Hendrik Grothius wedi ysgrifennu blogbost gwych ar sut y gall sefydliadau ddechrau i gyhoeddi Data Agored, ac mae’n fan cychwyn gwych i mi wrth i mi fynd i’r afael â’r heriau.

Mae fy ail ddarn o waith i wedi bod yn edrych ar sut rydyn ni’n galluogi ein staff i wneud defnydd gwell o ddata, a thrwy hynny leihau’r baich archwilio. Rwy’n edrych ar sut y gallwn ddwyn ynghyd ddata o gyrff cyhoeddus mewn ffordd sy’n ei gwneud yn hawdd i’w cyrchu, mewn ffordd sy’n agored i bawb, sy’n rhoi syniad gwell i ni ar berfformiad y sector cyhoeddus yng Nghymru, ac sydd gyda chymaryddion rhyngwladol. Rydw i wedi bod yn siarad â’n staff er mwyn i mi ddeall pa fath o ddull byddai’n ddefnyddiol iddynt. Rydw i wedi datblygu personas er mwyn llywio ein gwaith yn y maes hwn, ac fe fyddant yn siapio’r cam nesaf o’r gwaith a sicrhau bod fy rhan i o’r adroddiad terfynol yn canolbwyntio ar anghenion defnyddwyr.

Iteriad

Byddaf yn ysgrifennu blogbostau yn y dyfodol agos i rannu fy ymagweddau, beth rydw i wedi dysgu a beth y gallwn wneud yn wahanol y tro nesaf. Rydym yn iteru i weld beth rydym yn dysgu o bob datblygiad a sut y gallwn adeiladu arno wrth symud ymlaen. Os nad ydynt yn gweithio, byddwn yn edrych i ddysgu o fethiant a gweld sut all y sefydliad cymryd ymagwedd wahanol yn y dyfodol.

Yn holl seminarau’r Gyfnewidfa Arfer Da rydym yn clywed na all gwasanaethau cyhoeddus parhau i weithio yn yr un modd mewn cyfnod anodd. Mae fe wedi bod yn wych i weithio ar brosiect ymarferol yn Swyddfa Archwilio Cymru sy’n mynd i’r afael â’r heriau hynny.