Mätning och lärande
Sökväg i arbetsmaterialet: movement/09-matning-och-larande.md
Mätning och lärande
Syfte01
Konstruktiva ska mäta för att se bättre, lära snabbare och sätta in stöd där det behövs — inte för att skapa en intern poängtavla där människor och lokalgrupper lär sig att optimera siffror.
Mätning är ett sensorsystem. Den är inte domstolen.
Ett dåligt utfall är först information. Inte skuld.
Detta är särskilt viktigt när en verksamhet redan har problem. Om svaga resultat automatiskt leder till indragna resurser kan styrningen skapa en självförstärkande nedåtspiral:
problem → svagt utfall → mindre kapacitet → ännu svagare utfall → ytterligare sanktion → kollaps.
Konstruktivas styrning ska som huvudregel försöka skapa motsatsen:
problem → signal → diagnos → riktat stöd eller ändrad metod → ny mätning → återhämtning eller ordnad omprövning.
Samma princip ska prägla rörelsen, offentlig styrning och ekonomisk politik där den är tillämplig.
1. Grundprincip: skilj resultat från förutsättningar
Två grupper kan göra lika bra arbete och få olika resultat därför att deras förutsättningar skiljer sig. Två grupper kan också få samma resultat trots att den ena fungerar väl och den andra förbrukar människor och kapital för att hålla siffran uppe.
Därför får ett utfallsmått aldrig ensamt bli ett automatiskt omdöme om kvalitet.
När ett mål missas frågar vi i ordning:
- Är måttet korrekt och relevant?
- Är problemet verkligt eller ett mätartefakt?
- Vilka förutsättningar hade verksamheten?
- Har den haft rimliga resurser och mandat för uppgiften?
- Är problemet kompetens, metod, kapacitet, styrning, incitament eller något utanför verksamhetens kontroll?
- Vilket stöd eller vilken förändring ökar sannolikheten för återhämtning?
- När är fortsatt stöd inte längre rimligt?
Den sista frågan behövs. En stödjande modell får inte bli en modell där misslyckande aldrig får konsekvenser.
2. Återhämtningsprincipen
Huvudregel02
När en samhällsfunktion misslyckas ska den första ekonomiska frågan inte vara vad vi kan ta ifrån den, utan vilken kapacitet som saknas för att funktionen ska kunna återhämta sig.
Det betyder inte att dåligt fungerande verksamheter automatiskt ska få mer pengar.
Mer resurser hjälper inte om problemet exempelvis är:
- felaktig organisationsmodell;
- ledning som inte fungerar;
- korruption eller missbruk;
- fel incitament;
- uppdrag som inte går att förena;
- onödig administration;
- brist på relevant kompetens;
- att verksamheten egentligen bör avvecklas eller ersättas.
Poängen är att resursindragning inte får vara en reflexmässig bestraffning för svaga utfall när resursbrist är en del av orsaken.
Fyra möjliga svar på ett svagt utfall03
1. Stöd
När problemet är kapacitetsbrist och verksamheten i grunden är sund.
2. Ändra
När resurser finns men arbetssätt, styrning eller mandat är fel.
3. Skydda
När verksamheten tillfälligt utsätts för en extern belastning och annars riskerar att skadas av mekaniska prestationskrav.
4. Avveckla eller ersätt
När upprepade försök, rimligt stöd och korrigering inte återställer funktionen, eller när verksamheten i sig inte längre är motiverad.
Stöd ska alltså vara diagnostiskt, inte villkorslöst.
3. Ingen negativ finansieringsspiral
Ekonomiska modeller och styrsystem ska stress-testas för följande fråga:
Kan en verksamhet som får problem förlora just den kapacitet den behöver för att lösa problemen?
Om svaret är ja finns en potentiell negativ spiral.
Det kan uppstå genom:
- vite;
- prestationsbaserad finansiering;
- elev-/patient-/kundflykt;
- automatiska budgetneddragningar;
- bemanningskrav utan finansiering;
- ökade kontrollkostnader efter misslyckande;
- högre riskpremier;
- personalflykt;
- förlorat lokalt förtroende;
- krav på fler rapporter som tar tid från kärnuppgiften.
Det betyder inte att dessa mekanismer alltid är fel. Det betyder att deras andra ordningens effekter måste räknas.
En sanktion som ser rationell ut isolerat kan göra systemet sämre.
Sanktionstest04
Innan en ekonomisk sanktion kopplas till ett kvalitetsmål ska beslutsfattaren kunna svara på:
- Vad ska sanktionen förändra?
- Har den ansvarige faktisk kontroll över utfallet?
- Tar sanktionen bort resurser som behövs för korrigeringen?
- Finns risk att beteendet flyttas från problemlösning till mätoptimering?
- Vem bär kostnaden om sanktionen misslyckas — ledningen eller användarna?
- Finns en bättre mekanism för ansvar?
- Hur avslutas sanktionen när funktionen återhämtats?
Om sanktionen främst försämrar kapaciteten för de människor vars situation redan är dålig är den sannolikt felkonstruerad.
4. Mät inte bara resultat — mät systemets hälsa
Konstruktiva ska använda en balanserad mätbild.
A. Utfall05
Vad blev faktiskt bättre eller sämre?
Exempel i rörelsen:
- löstes ett problem?
- gav ett case användbar kunskap?
- återkom människor?
- startades en fungerande lokalgrupp?
B. Kapacitet06
Kan systemet fortsätta leverera?
Exempel:
- hur många kan leda utan grundaren?
- finns efterträdare i kritiska roller?
- finns tid, pengar och kompetens?
- kan gruppen genomföra arbete utan extraordinär arbetsinsats?
C. Kvalitet07
Hur gjordes arbetet?
Exempel:
- dokumenterades antaganden?
- söktes berörda perspektiv?
- hanterades integritet och rättigheter?
- redovisades målkonflikter?
- korrigerades fel?
D. Hållbarhet08
Vad kostar resultatet människorna och systemet?
Exempel:
- bränner vi ut organisatörer?
- bygger vi teknisk eller organisatorisk skuld?
- koncentreras kunskap och makt?
- finansieras dagens aktivitet genom framtida problem?
E. Lärande09
Blir organisationen bättre på att bli bättre?
Exempel:
- hur ofta dödas felaktiga hypoteser?
- återanvänds fungerande case?
- sprids misstag så att andra slipper upprepa dem?
- ändras arbetssätt när data talar emot dem?
En stark siffra i A får inte dölja kollaps i B–E.
5. Rörelsens viktigaste mått
Vi ska ha få mått som faktiskt hjälper beslut.
Deltagarresa10
- andel förstagångsdeltagare som återkommer;
- tid till första meningsfulla uppgift;
- retention efter 3, 6 och 12 månader;
- andel som går från deltagande till eget ansvar;
- varför människor lämnar.
Det sista är lika viktigt som retentionstalet.
Ledarförsörjning11
- antal personer som självständigt kan leda en fixkväll;
- antal caseledare;
- antal aktiva mentorer;
- andel kritiska funktioner med minst två kapabla bärare;
- antal personer som själva har utbildat en efterträdare;
- antal grupper som klarar 30 dagar utan sin mest centrala person.
Lokal kapacitet12
- återkommande aktivitet;
- avslutade och dokumenterade case;
- andel case som når mätning;
- återanvändning av case/metoder mellan orter;
- bredd i vilka som faktiskt bär uppgifter;
- tillgång till rimlig lokal ekonomi och praktiska resurser.
Begriplighet13
- kan människor efter en kort introduktion återge kärnan korrekt?
- kan de skilja värdering från metod?
- förstår de att systemisk meliorism inte betyder teknokrati eller mittenpolitik?
- förstår de hur de kan delta?
Samhällseffekt14
- dokumenterade problem som blivit bättre;
- förslag som antagits av ansvarig aktör;
- genomförda åtgärder;
- uppmätta effekter;
- replikerade lösningar;
- strukturella mönster som lett till nationell politikutveckling.
Samhällseffekt ska redovisas med bevisstatus enligt 07-publik-pedagogik.md.
6. Vanity metrics
Följande kan vara intressanta men får aldrig ensamma användas som framgångsmått:
- antal medlemmar;
- följare;
- sidvisningar;
- pressomnämnanden;
- antal möten;
- antal lokalgrupper;
- antal publicerade dokument;
- antal case;
- antal utbildade personer;
- antal sociala inlägg.
Problemet är inte siffrorna. Problemet är när organisationen börjar producera det som räknas i stället för det som räknas.
En lokalgrupp som arrangerar 40 möten och löser noll problem är inte nödvändigtvis starkare än en grupp som arrangerar sex.
En rörelse med 10 000 passiva medlemskap kan vara svagare än en med 2 000 människor som återkommer, tar ansvar och bygger nya bärare.
7. Goodharts lag som styrningsrisk
När ett mått blir ett mål tenderar det att förlora värde som mått.
Konstruktiva ska därför utgå från att varje viktigt mått kommer att påverka beteendet.
Innan ett KPI kopplas till pengar, status eller sanktion ska vi fråga:
- Hur skulle en rationell person kunna förbättra siffran utan att förbättra verkligheten?
- Vilka människor eller problem blir rationella att välja bort?
- Kan måttet manipuleras genom klassificering?
- Skapar det selektion av enkla case?
- Straffar det den som är transparent med misslyckanden?
- Gör det organisationen rädd för experiment?
Om svaret är ja behöver måttet kompletteras, omdesignas eller frikopplas från belöningen.
8. Ingen belöning för att gömma fel
Om en lokalgrupp får mindre resurser, lägre status eller sämre framtida möjligheter varje gång den rapporterar problem kommer den snart att rapportera färre problem.
Det betyder inte att problemen har minskat.
Därför ska Konstruktiva skilja på:
- att upptäcka ett problem;
- att orsaka ett problem;
- att misslyckas med att hantera ett problem;
- att dölja ett problem.
De fyra sakerna är inte samma sak.
Att tidigt upptäcka och öppet rapportera ett fel ska normalt ses som organisatorisk styrka.
Att medvetet dölja relevant information för att skydda ett KPI är däremot ett allvarligt styrningsproblem.
Det ska vara billigare att berätta sanningen tidigt än att dölja den länge.
9. Stödtrappa för lokalgrupper
När en grupp visar svaga signaler ska första svaret vara diagnos.
Grön — fungerar15
Gruppen bär sig själv, dokumenterar, utvecklar människor och har rimlig belastning.
Svar: autonomi, lätt stöd, sprid fungerande metoder.
Gul — ansträngd16
Exempel: fallande återkomst, en person bär för mycket, case fastnar, ekonomin är tunn.
Svar: samtal, mentorstöd, förenkla uppdrag, tillfälliga resurser, stoppa expansion.
Orange — återhämtningsläge17
Exempel: återkommande konflikter, nästan all kunskap hos en person, flera avhopp, utebliven leverans, säkerhets-/ekonomiproblem utan akut skada.
Svar: konkret återhämtningsplan, extra mentor/organisationsstöd, tydliga prioriteringar, färre samtidiga åtaganden, uppföljning.
Röd — skydd/ingripande18
Exempel: allvarlig ekonomisk oordning, rättighetsproblem, säkerhetsincidenter, maktmissbruk, systematiskt vilseledande eller organisation som inte längre kan bära sitt mandat.
Svar: skydda människor och gemensamma resurser först; pausa relevanta mandat vid behov enligt stadgar; utred; återuppbygg eller avveckla ordnat.
Färgmodellen är ett stödverktyg, inte ett offentligt betygssystem eller en ranking mellan lokalgrupper.
10. Resurser ska följa behov, potential och ansvar — inte bara prestation
En enkel prestationsmodell skickar mest resurser till dem som redan lyckas bäst. Det kan vara rationellt för vissa investeringar, men destruktivt som generell samhällsmodell.
Konstruktiva ska kunna finansiera minst fyra saker:
- grundkapacitet — det minimum som krävs för att en funktion ska kunna existera;
- behov — större problem kan kräva större insats;
- utveckling — lovande förbättringar behöver kapital för att testas och spridas;
- återhämtning — fungerande verksamheter som hamnat i svårigheter kan behöva tillfällig förstärkning.
Prestationsdata är relevant för beslut om alla fyra, men är inte ensam fördelningsnyckel.
Moral hazard19
En stödjande modell måste också undvika att misslyckande blir ett sätt att få obegränsade resurser.
Därför ska återhämtningsstöd normalt ha:
- diagnos;
- tydligt syfte;
- ansvarig;
- tidshorisont;
- uppföljning;
- stopp-/omprövningspunkt;
- möjlighet att ändra ledning, metod eller struktur om mer pengar inte hjälper.
Vi ska inte straffa svaghet. Vi ska heller inte finansiera samma olösta problem för evigt.
11. Jämförelser ska användas diagnostiskt
Ranking är lockande eftersom den gör komplexa system begripliga.
Men en ranking kan också:
- dölja olika förutsättningar;
- skapa jakt på lätta användare/case;
- göra samarbete irrationellt;
- göra kunskapsdelning till konkurrensnackdel;
- uppmuntra kosmetisk rapportering;
- förvandla små statistiska skillnader till statusordning.
Jämförelser ska därför främst användas för att hitta frågor:
Grupp A lyckas behålla fler nya deltagare än grupp B. Vad gör de olika?
inte för att omedelbart dra slutsatsen:
A är bra. B är dålig.
När en grupp lyckas ovanligt bra ska första impulsen vara att förstå och sprida, inte att göra gruppen till intern vinnare.
12. Kvalitativ data är data
Allt viktigt kan inte reduceras till ett tal.
Konstruktiva ska regelbundet använda:
- korta deltagarintervjuer;
- exitintervjuer;
- retrospektiv;
- öppna fritextsvar;
- observation av möten och deltagarresor;
- casegranskning;
- berättelser om varför människor tog eller lämnade ansvar.
En återkommande fråga bör vara:
Vad är det våra siffror inte visar?
Kvalitativa data ersätter inte kvantitativa data. De hjälper oss förstå vad siffrorna betyder.
13. Mätbördan ska räknas
Mätning kostar tid, pengar och uppmärksamhet.
En organisation kan förbättra sitt kontrollsystem tills den inte längre har tid att göra arbetet som kontrollsystemet mäter.
Därför ska varje återkommande mätkrav kunna motivera:
- vilket beslut måttet hjälper oss fatta;
- vem som faktiskt använder det;
- hur ofta det behöver samlas in;
- vad insamlingen kostar;
- när måttet kan tas bort.
Data utan beslut är ofta administration.
Om ingen kan beskriva vad som skulle göras annorlunda vid ett högt respektive lågt värde bör måttet ifrågasättas.
14. Mätportfölj, inte ett super-KPI
Rörelsen ska inte skapa ett enda sammansatt Konstruktiva-index som avgör vilka lokalgrupper som är bra.
Ett sådant tal skulle dölja målkonflikter och snabbt bli spelbart.
Använd hellre en liten dashboard med separata signaler för:
- deltagande;
- kapacitet;
- ledarförsörjning;
- case/resultat;
- hållbarhet;
- lärande;
- risk.
Signalernas uppgift är att starta rätt samtal och beslut, inte att producera en ligatabell.
15. Lärandecykeln
Varje större aktivitet, case, kampanj eller organisatoriskt experiment bör kunna avslutas med:
Vi trodde → vi gjorde → det hände → vi lärde → vi ändrar.
För större arbete läggs två frågor till:
Vad ska andra återanvända?
Vad ska andra slippa upprepa?
Lärandet är inte klart förrän det går att använda utanför gruppen där det uppstod.
16. Årlig rörelserevision
Minst årligen bör Konstruktiva göra en sammanhållen rörelserevision.
Den ska inte bara fråga hur mycket organisationen vuxit.
Den ska fråga:
Människor
- Kommer människor tillbaka?
- Växer nya bärare fram?
- Vilka lämnar och varför?
- Är deltagandet socialt och praktiskt hållbart?
Organisation
- Klarar grupper ledarfrånvaro?
- Var finns single points of failure?
- Har informell makt koncentrerats?
- Fungerar rörelse–parti-gränssnittet?
Verkan
- Vad har faktiskt blivit bättre?
- Vad har bara producerat aktivitet?
- Vilka case har replikerats?
- Vilka problem kräver nationell politik?
Lärande
- Vad hade vi fel om?
- Vilka mått blev missvisande?
- Vad slutade vi göra?
- Vad har spridits mellan grupper?
Resurser
- Var saknas grundkapacitet?
- Var har mer resurser inte hjälpt?
- Var riskerar finansieringen att skapa negativa spiraler?
- Vilka stödinsatser bör avslutas, ändras eller förstärkas?
Resultatet ska mynna ut i konkreta ändringar, inte bara årsrapport.
17. Princip för offentlig sektor och ekonomisk politik
Lärdomen är större än rörelsens interna styrning.
När staten, kommunen eller annan offentlig huvudman knyter finansiering till resultat ska modellen granskas systemiskt.
En fungerande modell måste skilja mellan åtminstone:
- ansvar — vem är skyldig att agera?
- kapacitet — har aktören möjlighet att agera?
- utfall — blev resultatet bra?
- orsak — varför blev det så?
- konsekvens — vad gör sanktionen eller belöningen med nästa periods förutsättningar?
Att bara mäta utfallet och sedan belöna vinnare och bestraffa förlorare är inte styrning. Det är återkoppling utan systemförståelse.
Ansvar utan kapacitet blir teater. Kapacitet utan ansvar blir slöseri. Bra styrning kräver båda.
Denna princip bör användas vid utformning av skolfinansiering, vårdersättning, kommunala utjämningssystem, myndighetsstyrning, arbetsmarknadsinsatser och andra modeller där ekonomiska incitament kopplas till samhällsresultat.
18. Rörelsens kontrollfrågor
Innan Konstruktiva inför ett nytt mål, KPI, bidrag, bonus, sanktion eller resursfördelningssystem ska vi fråga:
- Vilket beteende försöker vi skapa?
- Kan mottagaren faktiskt påverka måttet?
- Hur kan måttet spelas?
- Vem kommer rationellt att väljas bort?
- Vad händer med dem som börjar med sämst förutsättningar?
- Vad händer efter ett misslyckande?
- Förstärker sanktionen orsaken till misslyckandet?
- Belönar systemet öppen rapportering av fel eller döljande?
- Vad kostar mätningen?
- Vilka kvalitativa signaler saknas?
- När får en verksamhet stöd?
- När ändrar vi metoden i stället för att tillföra pengar?
- När måste ett uppdrag, en verksamhet eller ett stöd avslutas?
- Hur vet vi om själva styrsystemet har blivit problemet?
19. Kärnan
Konstruktiva ska inte bygga en rörelse där lokalgrupper tävlar om att se framgångsrika ut. Vi ska bygga en rörelse där problem blir synliga tidigt nog för att kunna lösas.
Vi ska inte bygga en ekonomisk politik där svaga utfall reflexmässigt leder till mindre förmåga att förbättra utfallet. Vi ska heller inte bygga system där mer pengar är standardsvaret på varje misslyckande.
Mätningen ska hjälpa oss skilja mellan det som behöver stödjas, ändras, skyddas och avslutas.
Mät för att förstå. Styr för att förbättra. Stöd för att återställa kapacitet. Utkräv ansvar för det som faktiskt går att påverka.