Monitoring and evaluation in the rural water sector in Ethiopia – case of a water project in achieving sustainable development goal 6

Abstract

Access to sustainable and safe drinking and household water is a clear precondition for tackling poverty and empowering local communities. But how can progress in these fronts be effectively measured? Definitions, nuance, and classifications are important in development cooperation, and seemingly small adjustments to these can affect the lives of millions of people. There is a trend in monitoring and evaluation (M&E) systems towards more responsive and real-time fol-low-up of results of interventions. This is increasingly the case after the adoption of the Sustainable Development Goals (SDGs) in 2015, which increased the ambition level of data collection as well. This study has analyzed three different strata (micro, meso and macro) covering the M&E system in the case study context of the COWASH Phase III project in Ethiopia’s rural water sector. The aim of the study has been to ascertain the influence of SDG 6 (clean water and sanitation) on M&E processes, whether these processes are encouraging effective data collection and responsive approaches in project interventions, and whether the M&E systems at different strata are integrated with one another seamlessly. These re-search questions were investigated through seven semi-structured interviews with key informants. Indicators for rural drinking water access coverage indicators were also analysed on the three strata of analysis. A novel analytical frame-work and indicator correspondence analysis method were devised for the study by modifying existing methods for stakeholder analysis. Based on the results, there is evidence of the several M&E systems functioning well in isolation, but there seems to be rather little vertical integration between the different systems across the strata, with persisting needs for closer methodological harmonization. Closer attention must be placed on improving the capacity of actors at the local level in improving M&E capacity at the level where beneficiary data originates. There should be greater discussion about the ways in which the SDGs are utilized in the rural water sector in Ethiopia, and the role of local communities in their use should be better incorporated in their implementation. Adoption of novel data collection methodologies must be executed carefully, and attention should be paid to the capacity of systems to utilize data from new sources (such as citizen-reported big data through mobile phone-based technologies) prior to these types of practices being widely adopted for monitoring purposes in project interventions.

Kestävä ja turvallinen kotitalouksien vesihuolto on köyhyyden vähentämisen ja paikallisyhteisöjen voimaannuttamisen selvä edellytys. Mutta kuinka edistystä voidaan näiden osalta tehokkaasti mitata? Määritelmät, nyanssit ja kategoriat ovat kehitysyhteistyössä merkityksellisiä, ja näihin tehdyt näennäisesti pienet muutokset voivat vaikuttaa miljoonien ihmisten elämään. Seuranta- ja arviointijärjestelmien (M&E) kehityssuuntana on ollut herkempi ja reaaliaikaisempi toimenpiteiden seuranta. Tätä on edesauttanut kestävän kehityksen tavoitteiden (SDG) hyväksyminen vuonna 2015, mikä on myös lisännyt myös datajärjestelmiltä vaadittua kunnianhimoa ja vaatimustasoa. Tämä tutkimus on tarkastellut kolmea analyysitasoa (mikro, meso ja makro), jotka kattavat seuranta- ja arviointijärjestelmän COWASH Phase III-hankkeen tapaustutkimuskontekstissa Etiopian maaseudulla. Tarkoituksena on ollut selvittää, missä määrin SDG 6 (puhdas vesi ja sanitaatio) on vaikuttanut tapaustutkimuksen seuranta- ja arviointitoimenpiteisiin, tukevatko käytössä olevat toimenpiteet tehokasta datan käyttöä ja projektin kehittämistä hanketyössä, sekä onko M&E-järjestelmiä integroitu toisiinsa saumattomalla ja johdonmukaisella tavalla. Työn metodi on perustunut pääasiassa seitsemään puolistrukturoituun haastatteluun. Lisäksi on tarkasteltu indikaattorien vastaavuutta juomaveden palvelutason kattavuutta mittaavien indikaattorien osalta kaikilla kolmella analyysitasolla. Tutkimusta varten on kehitetty uudenlainen analyyttinen viitekehys sekä indikaattorien vastaavuusanalyysimetodi aikaisimpia sidosryhmäanalyysin menetelmiä mukauttaen. Tulosten perusteella on näyttöä siitä, että useat käytössä olevat M&E-järjestelmät toimivat hyvin erillään, mutta vertikaalista integraatiota eri tasojen välillä on varsin vähän ja metodologiseen harmonisointiin on yhä tarvetta. Huomiota tulee kiinnittää paikallistoimijoiden seuranta- ja arviointikapasiteetin parantamiseen paikallistasolla lähellä hyödynsaajadatan tuottamista. Kestävän kehityksen tavoitteiden hyödyntämisestä Etiopian maaseudun vesisektorilla tulee käydä laajempaa keskustelua, ja paikallisyhteisöjen rooli tulee huomioida tarkemmin niiden toteuttamisessa. Uudenlaisten datankeräysmenetelmien käyttöönotossa tulee toimia harkitusti, ja järjestelmien kykyyn hyödyntää uusia datalähteitä (kuten kansalaisten raportoimaa mobiilipohjaista massadataa) tulee kiinnittää huomiota ennen tällaisten datalähteiden käyttöönottoa projekti-interventioissa.