Är biståndet relevant? Det kan tyckas vara en viktig fråga när biståndet ska utvärderas och det är också ett kriterium i alla utvärderingar som görs enligt de riktlinjer som fastställts av OECD:s biståndskommitté (DAC) och som också gäller för Sidas utvärderingar. Men ett intressant faktum är att nästan alla utvärderingar konstaterar att biståndet är relevant, vilket naturligtvis kan tolkas som att biståndet alltid har rätt inriktning och utformning. Men det kan finnas anledning att undersöka på vilka grunder denna slutsats dras. Det görs i en rapport från Expertgruppen för Biståndsanalys (EBA): Relevant? Almost Always Relevance in Development Cooperation (EBA Working Paper March 2021) av Joel Samoff.

Vad är då relevans? Det är inte uppnående av de specifika målen för en viss insats och inte heller effektiviteten i att uppnå dessa mål. Det har istället att göra med hur en viss finansierad verksamhet relaterar till övergripande mål. OECD-DAC har formulerat det som att det handlar om att ”göra rätt saker”. För en utvärderare ställer det frågan om vilka som är de övergripande målen och vem det är som avgör vad som är ”rätt saker”. Eftersom uppdraget är att utvärdera en verksamhet som redan existerar och som valts ut av biståndsfinansiären, blir det svårt att säga att den är irrelevant, speciellt som det skulle leda till att all fortsatt utvärdering är meningslös. Det är de viktigaste orsakerna till att nästan alla utvärderingar behandlar relevanskriteriet mycket ytligt och konstaterar att verksamheten är relevant.

Relevans och styrning

Relevans är problematiskt som utvärderingskriterium, men det är samtidigt ett viktigt begrepp. Det borde främst användas som kriterium för val och planering av nya insatser. Ur det perspektivet handlar relevans om att välja inriktning och former av bistånd som är mest användbara för att det svenska stödet ska uppnå de mål som ställs. Detta bör bedömas, av riksdag och regering, för hela det svenska biståndsanslaget. Närmare hälften av det svenska biståndet ges till multilaterala organisationer och styrs av regeringskansliet, främst UD. Riksrevisionen har nyligen granskat detta och funnit stora svagheter i styrningen av det sk kärnstödet till multilaterala organisationer (Svenskt bistånd till multilaterala organisationer – regeringens och Sidas arbete, RIR 2021:28).

Vad gäller det bilaterala biståndet, styrs det främst genom regeringens direktiv till Sida och av ett antal strategier för olika länder och områden. Här är styrningen mycket mer utvecklad än i det multilaterala biståndet, men innehåller ändå problem, något som studerats av Statskontoret och Ekonomistyrningsverket (Verksamhetsanpassad styrning – en översyn av regeringens styrning och Sidas interna effektivitet, ledning och uppföljning, 2020).

Målbilden för det svenska biståndet idag är oerhört komplicerad. Den formuleras främst i det sk policyramverket för svenskt utvecklingssamarbete och humanitärt bistånd, Regeringens skrivelse 2016/17: 60. Endast ett mål för utvecklingssamarbetet är direkt formulerat: ”att skapa förutsättningar för bättre levnadsvillkor för människor som lever i fattigdom och förtryck”. För det humanitära biståndet formuleras ett annat och mer detaljerat mål: ”bidra till att rädda liv, lindra nöd och upprätthålla mänsklig värdighet, till förmån för nödlidande människor som har utsatts för, eller står under hot att utsättas för, väpnade konflikter, naturkatastrofer eller andra katastrofliknande förhållanden”.

Ramverket handlar främst om det långsiktiga utvecklingssamarbetet. Det humanitära biståndet behandlas i en separat strategi: Bilaga till regeringsbeslut 2017-01-26 (UD2017/01299/KH). Det är viktigt att notera att det rör sig om två helt olika typer av bistånd, med olika mål och strategier. Policyramverket behandlar dem dock som en enhet, eftersom allt bistånd relateras till de internationella utvecklingsmålen inom den sk Agenda 2030. Utifrån denna har regeringen formulerat 8 tematiska områden för svenskt bistånd, som också ska genomsyras av fem olika perspektiv. Under de tematiska områdena specificeras totalt 70 olika ”långsiktiga inriktningar” för biståndet (jag bortser då från det speciella avsnittet om humanitärt bistånd). Det sägs i den övergripande texten att inga prioriteringar görs av de långsiktiga inriktningarna. Detta är alltså målstrukturen för det svenska biståndet

Regeringen ger ytterligare styrning genom ett antal strategier för biståndet till länder, regioner och områden. Men även dessa innehåller ett stort antal mål. I landstrategier preciseras i genomsnitt ca 10 mål för varje strategi. När det gäller den geografiska inriktningen betonas främst att det ska styras av behoven, men också att den ska styras av Sveriges möjlighet att bidra till målet för biståndet. Det sägs att ”Val av länder ska göras utifrån en samlad bedömning och baseras på en tydlig bedömningsgrund utifrån var Sverige har särskilda förutsättningar att bedriva ett effektivt utvecklingssamarbete”.

Slutsatsen är att det saknas tillräckliga instrument för styrning av biståndet till sin mest relevanta användning.  Det är en orsak till att bedömning av relevans är svår.

Relevans och ägarskap

En annan dimension av problemet är vad det egentligen är som ska bedömas vid en utvärdering, eller  vid ett första beslut om finansiering. Samoff diskuterar termen ”intervention” som ofta används på engelska och konstaterar att det är en olämplig term, eftersom den fokuserar enbart på vad utomstående aktörer gör. På svenska är den motsvarande termen ”insats”, vilket likställs med ett projekt eller program som Sverige finansierar. Det är en bättre term än ”intervention”, men riskerar ändå att fokusera på vad som kommer utifrån. Men en insats sker ju i en lokal omgivning och antas ha effekter på denna. Det är här som begreppet ”ägarskap” blir aktuellt. En följd av detta är att det inte enbart är finansiärens mål som avgör biståndets relevans, utan även mottagarens mål och deltagande. Det avser mottagare på nationell, lokal och individuell nivå. Biståndet bör alltså inte ses främst som ett externt bidrag, utan som en lokal process. Det borde påverka både beslut, planering och uppföljning av insatser. Men enligt Samoff har det i alla fall inte nämnvärt beaktats i utvärderingar av Sidas bistånd.

Frågan om relevans i biståndet handlar om ett antal val. Några av de viktigaste är:

1. Val av vilket/vilka mål som bör prioriteras utifrån de allmänna målen och formulering av specifika mål för insatsen
2. Val av område/sektor, geografisk och tidsmässig begränsning.
3. Val av teori om hur insatsen förväntas leda till de beslutade målen (förändringsteori)
4. Val av kanaler och aktörer för finansiering, genomförande och uppföljning.

Det är omöjligt att bedöma relevansen hos en insats utan någon form av förändringsteori. Den kan normalt inte vara detaljerad innan insatsen påbörjats, men den måste baseras på några antagna orsakssamband mellan den specifika insatsen och de övergripande målen. Förändringsteorin måste utvecklas, och eventuellt omformuleras, under genomförandeprocessen. Här har uppföljning och utvärderingar en viktig roll.

Det verkar rimligt att basera en bedömning av relevans på finansiärens mål och avsedda effekter av insatsen, men det är också viktigt att ta hänsyn till att insatsen kan ge oavsedda effekter, både positiva och negativa, som påverkar resultaten.  Relevans är inte identiskt med måluppfyllelse, speciellt inte i direkt och kortsiktigt perspektiv. Relevans måste också bedömas i relation till mottagarens nationella och lokala mål, processer och prioriteringar. Detta är mycket komplicerat, speciellt på övergripande nivå.  Det kräver mycket god kunskap om lokala förhållanden och kontinuerlig uppföljning och flexibilitet. En förändringsteori får inte baseras på enkla och statiska samband, utan måste baseras på dynamiska förändringsprocesser. Relevansen förändras över tiden och måste följas upp kontinuerligt. Det bör vara en central del av utvärderingar, men det kan inte bedömas som en dikotomi, om att ett stöd är antingen relevant eller irrelevant. Det handlar alltid om grader av relevans och om hur de förändras över tiden.

Biståndsstrategiernas relevans

En slutsats, baserad på ett antal studier, är att vi inte kan svara på frågan hur relevant det svenska biståndet är. De flesta utvärderingar som gjorts är oanvändbara eftersom de utan närmare analys konstaterar att den insats de ska utvärdera är relevant. Men frågan är om det överhuvudtaget är meningsfullt att bedöma relevans av enskilda insatser. Det borde snarast göras av en portfölj av insatser eftersom man då kan ta hänsyn till både omgivning och förändringsteori. Sida följer också upp insatsportföljens relevans i sina årliga strategirapporter.  Det konstateras, helt riktigt, att Sida måste löpande justera sin förändringsteori och portfölj utifrån olika aspekter: (i) föränderlig kontext och sammanhang, (ii) efter den styrning som myndigheten får och (iii) beroende på om aktiviteter inte gett eller förväntas ge resultat.

Utifrån detta bedöms portföljen under varje strategimål med ett ”trafikljus”: grönt om den är relevant, gult om den är delvis relevant och rött om den inte är relevant. En genomgång av 11 strategier visar att portföljen bedömdes som relevant i 83% av strategimålen och inte i något fall bedömdes den som icke-relevant.  Det är intressant att jämföra med att utvecklingen bedömdes gå framåt i förhållande till målen i endast 8 % av fallen, medan den bedömdes gå bakåt i 30% av fallen. Ett extremt fall är Guatemala där utvecklingen bedömdes gå bakåt i förhållande till alla de 9 strategimålen, men insatserna bedömdes som relevanta i förhållande till 7 av målen. Det verkar alltså som om biståndet bedöms som mycket relevant, men sällan uppnår resultat.

Jag tror inte detta är en korrekt slutsats. Problemet är framförallt hur man bedömer relevansen. Den stora skillnaden mellan resultat och relevans antyder att något inte stämmer i bedömningarna. Detta vore intressant att studera närmare. Portföljen är ju detsamma som ”saker vi gör”. Den kan bedömas på olika nivåer. Strategirapporterna bedömer relevansen för varje delmål i strategin. Den borde också bedömas för hela strategin (vilket bör kunna ingå i strategirapporten, men troligen måste grundas på en oberoende studie) och för biståndet som helhet (vilket kräver en global analys).

En bedömning av relevans bör göras i förhållande bl.a. till de fyra val som nämndes ovan. Ett ytligt intryck är att strategirapporternas bedömning främst koncentreras till den fjärde frågan, valet av kanaler och aktörer, dvs. ”på vilket sätt” biståndet genomförs. Det blir en slags effektivitetsbedömning, men inte på projektnivå utan på en samhällelig nivå. Detta är viktigt, men inte tillräckligt.  Det krävs betydligt ökade resurser i form av analys av biståndets kontext. Men sådana resurser har tvärtom minskat i beredning och uppföljning av svenskt bistånd, till förmån för mer insatsorienterad resultatstyrning.