Öberg: Riksbankens prognosförmåga
Inledning
”När man minns hur tokigt man tänkt och hur fel man fått och hur annorlunda det faktiskt i regel har gått och hur världen har drabbats av sällsamma metamorfoser, får man årligen mindre och mindre respekt för prognoser.” Det här är ett ganska välanvänt citat av Alf Henriksson. Och det är kloka ord. Men på Riksbanken har vi inte något val, eftersom räntan påverkar inflationen och resten av ekonomin med viss fördröjning. Våra beslut måste därför bygga på prognoser. Frågan jag vill diskutera idag handlar om vår prognosförmåga.
Utvärdering är viktigt för självständiga centralbanker
Erfarenheterna visar att arbetet med att upprätthålla låg och stabil inflation underlättas om centralbanken agerar under stort oberoende. Ökad självständighet ställer samtidigt krav på centralbanken att vara öppen och tydligt förklara sina beslut. Det finns flera skäl till varför detta är viktigt.
En viktig aspekt är att öppenhet gör det lättare att utvärdera och utkräva ansvar, vilket är väsentligt för en centralbanks legitimitet. Öppenheten möjliggör för allmänheten att sätta sig in i vad centralbanken gör. Det ställer i sin tur ökade krav på skärpa i analysen och budskapet från centralbankens sida. Samtidigt som öppenhet gör det lättare att utvärdera penningpolitiken kan man säga att utvärderingar också är en viktig del av öppenheten.
Bara för ett par decennier sedan var centralbanker som regel ganska hemlighetsfulla. Endast en liten del av det som uträttades blev känt för allmänheten. Det är inte någon liten förändring som skett sedan dess. Den utveckling från slutenhet till allt större öppenhet som ägt rum på centralbanker i olika delar av världen har sannolikt bidragit till att penningpolitiken blivit framgångsrik. Jag tänker då på att man lyckats förankra inflationsförväntningarna på en låg och stabil nivå.
Riksbanken är en av de mest öppna centralbankerna av alla. Vi började publicera våra inflationsprognoser 1997 och sedan dess har vi gradvis blivit alltmer öppna med vår syn på den ekonomiska utvecklingen. Även på andra centralbanker går man mot allt större öppenhet. Till exempel började Federal Reserve i USA för bara några dagar sedan att publicera prognoser fyra gånger per år istället för två. De har även förlängt prognoshorisonten från två till tre år, precis som vi gjorde på Riksbanken för ett par år sedan.
Det är alltså angeläget att penningpolitiken utvärderas och diskuteras. Detta gäller både principerna bakom penningpolitikens uppläggning och hur väl vi lyckas med att uppfylla målen. För att detta ska vara möjligt måste det finnas ett tydligt underlag för besluten. Det måste klart framgå vilka principer vi utgått ifrån när vi har fattat de penningpolitiska besluten och på vilken information vi baserat våra slutsatser.
Eftersom penningpolitiken påverkar ekonomin med viss fördröjning måste de penningpolitiska besluten baseras på prognoser, precis som jag nämnde inledningsvis. Bra beslutsunderlag i form av träffsäkra prognoser är alltså en viktig pusselbit för att penningpolitiken ska vara framgångsrik. Men den framtida utvecklingen av inflation och andra variabler är genuint osäker. Dels finns en osäkerhet som är förknippad med de statistiska metoderna och modellerna, eftersom vissa grundläggande parametrar varierar över tiden. Dels finns det ett antal andra faktorer som kan påverka inflationen på ett sätt som är mycket svårt att förutsäga. Det kan till exempel handla om en ökad säkerhetspolitisk oro som driver upp oljepriset eller ett oväntat utbrott av en sjukdom bland djur som höjer livsmedelpriserna mycket snabbt.
När centralbanker gör prognoser blir det därför allt vanligare att de omger prognoserna med ett intervall som mäter osäkerheten i prognoserna. Sådana intervall bidrar till att informera om prognososäkerheten och underlättar också kommunikationen av de penningpolitiska alternativ som kan bli aktuella i framtiden.
Men vad vet vi då om prognosförmågan på Riksbanken?
Prognosförmågan utvärderas både internt och externt
Prognosförmåga kan utvärderas på många olika sätt. Det finns en rad statistiska metoder som kan användas för att analysera hur träffsäkra prognoser är. Ett sätt att mäta träffsäkerhet är att jämföra prognoserna med utfall. Problemet är att man inte vet om ett prognosfel beror på att prognosmetoden är dålig, eller på något genuint oförutsägbart. Det är därför vanligt att man jämför träffsäkerheten med prognoser från enkla tidsseriemodeller för att få perspektiv på om prognosfelen är ovanligt stora eller små.
Vi har själva gjort ett antal utvärderingar av vår prognosförmåga och vi har även utvärderats av externa experter. Under senare år har vi själva utvärderat några av de modeller som används i prognosarbetet. I prognosarbetet används olika typer av modeller för att ta fram bästa möjliga underlag för en bedömning av den ekonomiska utvecklingen. En studie som snart ska publiceras har undersökt träffsäkerheten hos vår allmänna jämviktsmodell och bayesianska VAR-modell(1). En annan studie har utvärderat våra indikatormodeller(2).
Dessutom publicerar vi i ett appendix till vår första penningpolitiska rapport varje år ett underlag för en granskning av den penningpolitik som förts de senaste 2–3 åren. Där jämför vi till exempel våra prognoser både med andra prognosmakares och med utfall. Det material vi tar fram i våra årliga utvärderingar är ett viktigt underlag för Finansutskottets betänkande om penningpolitiken.
Finansutskottet utvärderar varje år på eget initiativ penningpolitiken under de närmast föregående åren. Det har de gjort sedan 1999 då Riksbanken blev självständig. I fjol gjorde dessutom två externa forskare, Francesco Giavazzi och Frederic Mishkin, en mer omfattande utvärdering av penningpolitiken. Det skedde på beställning av Finansutskottet och hela tioårsperioden med inflationsmålspolitik granskades.
Ny studie av Riksbankens prognosförmåga
Som ett led i utvärderingsarbetet har tre ekonomer på Riksbankens avdelning för penningpolitik nyligen gjort en omfattande analys av vår prognosförmåga under perioden 2000-2006(3). De har analyserat prognoserna för de viktigaste variablerna för penningpolitiken – BNP, sysselsättning, produktivitet och inflation(4).
I studien har man försökt att uppskatta hur träffsäkra prognoserna har varit i genomsnitt genom att jämföra dem med utfall. För att få perspektiv på träffsäkerheten har också våra prognoser jämförts med prognoser från en enkel tidsseriemodell. De så kallade AR-modellerna, som ofta används som jämförelsenorm i utvärderingar av det här slaget, fungerar enkelt uttryckt så att man skriver fram variabeln i fråga med hjälp av dess egna historiska mönster. Den typ av tidsseriemodell som valts ut för jämförelsen är trots sin enkelhet svår att överträffa visar flera internationella studier.
Dessutom har man analyserat hur långt in i framtiden vi kan göra prognoser med god träffsäkerhet, det vill säga vilken prognoskraft de olika variablerna har(5). De har även tittat på om det finns tendenser till att vi systematiskt har över- eller underskattat de olika variablerna, det vill säga om prognoserna har någon bias.
Vad visar analysen av vår prognosförmåga?
Låt oss först titta på hela perioden och jämföra våra prognoser för BNP, sysselsättning och KPIX med utfall. KPIX är ett mått på underliggande inflation som fram tills helt nyligen kallades UND1X. Det visar sig att prognoserna föga förvånande varierat i träffsäkerhet (diagram 1). Vi har till exempel underskattat sysselsättningsutvecklingen den senaste tiden (diagram 2). Vi förutsåg inte heller den kraftiga inflationsuppgången våren 2001 i våra bedömningar året innan. Däremot lyckades vi bättre med att fånga upp nedgången i inflationstakten under 2003 (diagram 3). Men hur ser det då ut mer i detalj för de olika variablerna?
Prognoserna för BNP-tillväxten
När det gäller BNP-prognosen så har vi periodvis träffat rätt och hamnat nära utfall, medan vi missat en del vid andra tillfällen (diagram 1). Ofta är det extra svårt att göra prognoser då konjunkturen vänder.
Jämfört med tidsseriemodellen som alltså används för att få perspektiv på prognosförmågan, gör vi bättre BNP-prognoser upp till ett år framåt. När det gäller prognoskraften för BNP, det vill säga hur långt fram i tiden vi kan göra en prognos med något informationsvärde, så sträcker den sig fyra kvartal framåt (diagram 5). Det här stämmer väl med erfarenheter i andra länder. Ett resultat av en utvärdering som analyserat prognoskraften hos kanadensiska och amerikanska makrovariabler visar på att den ofta är begränsad till det första prognosåret(6).
Ett annat sätt att analysera prognosförmågan är att titta på korrelationen mellan prognos och utfall (diagram 9). Korrelationen visar på styrkan i sambandet mellan prognoser och utfall. En korrelation på ett är ett perfekt samband, om den är noll finns inget samband alls, medan minus ett är perfekt negativt samband. Korrelationerna ska alltså helst vara positiva och så nära ett som möjligt.
På ett års sikt är korrelationen mellan BNP-prognosen och utfall drygt 0,6 och på två års sikt är den ca 0,1. Detta stödjer bilden vi fick när vi jämförde vår prognosförmåga med tidsseriemodellens. Vi var bättre än modellen på upp till ett års sikt och vi hade prognoskraft fyra kvartal framåt.
Prognoserna för sysselsättningen
Om vi istället tittar på sysselsättningsprognoserna så trodde vi att sysselsättningen skulle stiga mer 2003 och 2004 än vad den faktiskt gjorde (diagram 2). Istället blev produktivitetstillväxten gång på gång starkare än väntat. Men det senaste året har sysselsättningen å andra sidan blivit starkare än väntat i våra bedömningar. Prognoserna som vi gjort för tillväxten i sysselsättningen är genomgående mer träffsäkra än tidseriemodellens och prognoskraften sträcker sig åtta kvartal framåt (diagram 6).
Om vi däremot bara tittar på utvecklingen de senaste två åren så har Riksbanken lyckats prognostisera sysselsättningen ungefär lika bra som tidsseriemodellen. Det innebär att vi inte lyckats tillföra någon ytterligare information utöver den som den enkla modellen kan fånga upp.
Hur ser sambandet ut mellan sysselsättningsprognoserna och utfall? Korrelationen är knappt 0,9 på ett års sikt och drygt 0,4 på två års sikt (se diagram 9). Sambanden är starkare än för BNP och det överensstämmer med bilden vi fick när vi jämförde prognoserna med tidseriemodellen. Sysselsättningsprognoserna tycks i genomsnitt ha varit mer träffsäkra än BNP-prognoserna.
Prognoserna för produktiviteten
Produktiviteten är en central variabel i den penningpolitiska analysen. Det vanligaste måttet på produktivitet är arbetsproduktiviteten, det vill säga kvoten mellan BNP och arbetade timmar. Detta mått har inte kunnat utvärderas här, eftersom det inte finns tillräckligt med prognosdata över arbetade timmar bakåt i tiden. Istället har kvoten mellan BNP och sysselsättning använts som en approximation.
Analysen visar att vi i prognoserna har underskattat tillväxten i produktiviteten på samtliga prognoshorisonter (diagram 4)(7). Tidsseriemodellen är överlag något mer träffsäker än vad våra prognoser har varit under perioden. Prognoskraften för produktiviteten har endast sträckt sig ett kvartal framåt (diagram 7). Detsamma gäller för korrelationen mellan prognoser och utfall. Den är 0,7 ett kvartal framåt, medan den är noll på både ett och två års sikt (se diagram 9).
Inflationsprognoserna
När det gäller inflationen mätt som den årliga ökningstakten i KPIX, så har vi gjort ganska träffsäkra prognoser en stor del av den period som utvärderats, det vill säga 2000-2006 (diagram 3). Något vi missade var den kraftiga inflationsuppgången våren 2001. Den berodde framförallt på att galna kosjukan bröt ut med stigande livsmedelspriser som följd. Men sedan dess har vi gjort inflationsprognoser som hamnat nära utfall. Nedgången i inflationstakt under 2003 fångades till exempel upp i större utsträckning än uppgången i början av 2001. Inflationsprognoserna är överlag mer träffsäkra än tidsseriemodellens. Prognoskraften för KPIX sträcker sig åtta kvartal framåt (diagram 8).
Korrelationen mellan prognoser och utfall är knappt 0,8 på ett års sikt och knappt 0,5 på två års sikt (se diagram 9). Ingen av de öviga variablerna har lika hög korrelation på två års sikt. Att korrelationen avtar med tiden är naturligt eftersom prognososäkerheten ökar.
Finns det någon bias på ett eller två års sikt i prognoserna?
Låt oss nu titta på om det finns någon bias det vill säga systematisk över- eller underskattning i prognoserna på ett och två års sikt. Ju mindre bias en prognos har desto bättre är det.
På ett års sikt så är biasen för den årliga tillväxten i BNP mycket liten. På två års sikt däremot har prognoserna varit knappt fyra tiondelar för höga i genomsnitt jämfört med utfallen, vilket inte är försumbart (diagram 10).
För den årliga sysselsättningsutvecklingen är biasen knappt tre tiondelar på ett års sikt och två tiondelar på två års sikt. Sysselsättningen har underskattats i båda fallen, det vill säga utfallen har i genomsnitt varit högre än prognoserna.
Även produktiviteten har underskattats på både ett och två års sikt. Produktiviteten har en bias på omkring en tiondel på ett års sikt och knappt sju tiondelar på två års sikt. På två års sikt har vi alltså gjort en förhållandevis stor underskattning av tillväxten i produktiviteten(8).
När det gäller den årliga förändringen i inflationen mätt som KPIX så har prognoserna varit knappt tre tiondelar lägre än utfallen i genomsnitt på ett års sikt. Prognoserna på två års sikt har däremot i genomsnitt varit två tiondelar högre än utfallen, vilket kan betraktas som en liten avvikelse.
Vilka slutsatser kan vi dra utifrån detta? Biasen är relativt liten för de flesta variablerna. Det finns inga tydliga tecken på någon systematisk felbedömning i prognoserna, förutom möjligen vad gäller produktiviteten. Ökningstakten i produktiviteten har systematiskt underskattats under perioden. Det bör dock tilläggas att ingen av variablerna har någon statistiskt signifikant bias.
Jämförelse med andra prognosmakare
I studien har även Riksbankens prognosfel jämförts med Konjunkturinstitutets (KI) och Consensus Forecasts panel, en sammanställning av prognoser från en rad olika prognosmakare. Av studien framgår att Riksbankens prognoser för BNP-tillväxten har varit bland de bättre jämfört med övriga deltagare i Consensus panel (diagram 11). Vid ungefär hälften av tillfällena har vi gjort mer träffsäkra prognoser än 80 procent av de övriga prognosmakarna. Inflationsprognoserna mätt som den årliga ökningstakten i KPI har i knappt 75 procent av fallen varit mer träffsäkra än hälften av prognosmakarna i Consensus panel (diagram 12). Vid en jämförelse av kvartalsvisa BNP- och KPIX-prognoser framgår att Riksbanken sammantaget gjort något mer träffsäkra prognoser än KI. Samtidigt ska sägas att skillnaderna i prognosförmåga inte är statistiskt signifikanta.
Om vi jämför resultaten med en tidigare prognosutvärdering som vi har gjort på Riksbanken, så finns det vissa likheter. I den tidigare utvärderingen så fann vi bland annat att KI gjort bättre produktivitetsprognoser än vi, samtidigt som vi gjort bättre prognoser för just KPIX-inflationen(9).
Det finns givetvis en hel del svårigheter med att göra rättvisande jämförelser av det här slaget, vilket också framgår av studien. Dels är det viktigt att notera att Riksbanken fram till och med den andra inflationsrapporten 2005 gjorde prognoser under antagandet om konstant reporänta. Med den metoden ska ju KPI-inflationen faktiskt överskattas på kort sikt vid en räntesänkning. Det är faktiskt först från och med i år när vi börjat göra prognoser som bygger på vår egen räntebana, som de fullt ut speglar hur vi ser på framtiden.
Dels är prognoserna sällan gjorda vid precis samma tillfälle, vilket förstås försvårar jämförelsen. Men analysen här är utformad så att detta problem ska bli så litet som möjligt.
Prognoser är osäkra och det visar vi med osäkerhetsband
Prognoser är osäkra och det är inte alltid man träffar rätt. Det känner de flesta som gör prognoser väl till. Redan 1997 när vi började publicera prognoser för inflationen redovisade vi osäkerhetsband runt prognoserna. Eftersom osäkerheten ökar med tiden så har osäkerhetsbanden formen av en tratt (diagram 13). Vi publicerar numera osäkerhetsband även för BNP- och reporänteprognoserna.
Den osäkerhet som återspeglas i banden kan delas upp i tre delar. Den speglar att vi är osäkra om nuläget, om hur ekonomin fungerar, och om vilka störningar som kommer att inträffa under prognosperioden. Osäkerhetsbanden är konstruerade för att vara symmetriska runt vårt huvudscenario och för BNP-tillväxt och inflationstakt är bredden på banden beräknade med hjälp av våra tidigare prognosfel. Detta ger incitament till att göra bra prognoser, eftersom stora prognosmissar straffar sig i form av breda osäkerhetsband och risk för minskad trovärdighet för prognoserna.
Osäkerhetsbandet för reporäntan kan inte beräknas på samma sätt, eftersom vi först i år har gjort egna prognoser för reporäntan. Det finns helt enkelt inte tillräckligt många historiska prognoser att bygga på. Osäkerhetsbanden för reporäntan har istället konstruerats med hjälp av prognosfel hos de så kallade implicita terminsräntorna (diagram 14). De implicita terminsräntorna återspeglar marknadens förväntningar på reporänteutvecklingen. Ett problem med denna metod är att de implicita terminsräntorna systematiskt har överskattat den framtida reporänteutvecklingen under ett antal år. Den överskattningen har dock tagits bort ur prognosfelen, med hänvisning till att terminsräntorna även består av en riskpremie som inte ska vara med när man använder dem för prognoser.
Olika centralbanker har valt olika sätt att illustrera prognososäkerhet och vi utbyter ständigt erfarenheter med varandra.
Vi fortsätter att utveckla våra prognoser
Slutsatsen av genomgången är att Riksbankens prognoser på det stora hela är rätt goda, framförallt på ett års sikt.
På ett års sikt har vi gjort bra prognoser för samtliga variabler med undantag för produktiviteten. Det återspeglas i att vi gjort mer träffsäkra prognoser jämfört med tidsseriemodellen och även i att korrelationerna är relativt höga mellan prognoser och utfall. Dessutom är biasen liten för samtliga variabler på ett års sikt.
På två års sikt har vi prognoskraft för både sysselsättningen och inflationen. Korrelationerna mellan prognoser och utfall är visserligen svagare än på ett års sikt men visar ändå på ett tydligt samband. Däremot tyder studien på dålig prognoskraft för BNP och produktivitet på två års sikt. Även korrelationerna mellan prognoser och utfall är svaga för dessa variabler på två års sikt. Vi har sett att biasen är större för de flesta variablerna på två års sikt. BNP och inflation har överskattats något under den studerade perioden och sysselsättningen och produktivitet har underskattats.
Våra inflationsprognoser, i synnerhet för KPIX, har goda egenskaper så som hög korrelation med utfall och prognoskraft som varar länge. Det är värt att påpeka att det är den variabel som är mest central för penningpolitiken. Samtidigt visar osäkerhetsbanden att sannolikheten att inflationen om två år ligger inom Riksbankens toleransintervall 1-3 procent inte är mer än ca 75 procent, trots att vår prognos är att den ska vara två procent.
Våra realekonomiska prognoser däremot är inte fullt lika träffsäkra som inflationsprognoserna, men de står sig trots det rätt väl i jämförelse med tidsseriemodellens prognoser.
Våra prognoser står sig också väl i jämförelse med andra prognosmakare. Resultatet av jämförelsen med andra visar att våra BNP-prognoser upp till ett år framåt ofta är bland de mest träffsäkra. Detta gäller även KPI men här är skillnaden mindre jämfört med KI och Consensuspanelen.
Det här innebär inte att vi inte tidvis gjort stora prognosfel. Men felen är inte så systematiska att det finns skäl tro att de skulle bero på dåliga prognosmetoder. Och det innebär förstås inte heller att vi inte vill eller kan bli ännu bättre. Vi arbetar hela tiden med att förbättra våra metoder. På vissa områden behöver vi arbeta extra hårt för att förbättra vår prognosförmåga. Ett sådant område är produktiviteten.
Det är viktigt att vi fortsätter att regelbundet utvärdera penningpolitiken, inte minst gäller detta prognoserna, både i våra årliga utvärderingar och på andra sätt. Detta behövs både för att vi ska få ökad kunskap om vilka variabler som är svåra att prognostisera och för att se på vilka områden det är nödvändigt med utveckling av metod och analys. En stor fördel med att vi publicerar våra prognoser är att utomstående bedömare också kan utvärdera oss.
Tack för att jag fick komma hit och tala!
Fotnoter: 1. “Modern forecasting models in action: Improving analyses at central banks” Adolfson, M., M. K. Andersson, J. Lindé, M. Villani & A. Vredin, (2007), International Journal of Central Banking, under publicering.
2. ”Riksbankens nya indikatorprocedurer” Andersson, M. och M. Löf, Penning- och valutapolitik 2007:1, Sveriges riksbank.
3. Andersson M. K., J Svensson och G. Karlsson, ”En utvärdering av Riksbankens prognosförmåga”, Penning- och valutapolitik 2007:3, Sveriges riksbank.
4. Prognoserna för sysselsättning och produktivitet har utvärderats under perioden 2002-2006 på grund av att det inte finns kvartalsprognoser dokumenterade längre bakåt i tiden för dessa variabler.
5. Prognoskraften definieras som den längsta horisonten där prognosfelsvariationen (mätt som roten ur medelkvadratfelet) är lägre än seriens variation (standardavvikelse).
6. Se till exempel Galbraith, J. och G. Tkacz, “How far can we forecast?: Forecast content horizons for some important macroeconomic time series”, Department of Economics Working Paper 13 (2006), McGill University.
7. Vi har tidigare analyserat detta inom ramen för en strukturell modell, Ramses. I utvärderingsappendix till Penningpolitisk rapport 2007:1 analyserar vi bland annat effekterna på ekonomin av produktivitetschocker.
8. Under utvärderingsperioden av produktiviteten som sträcker sig mellan 2002-2006 så har vi underskattat såväl BNP som sysselsättning i våra prognoser. Notera att biasskattningen för BNP skiftar tecken beroende på om urvalet avser 2000-2006 eller 2002-2006.
9. Detta resultat från en tidigare prognosutvärdering gäller endast för prognoser för nästkommande år. Resultaten är statistiskt säkerställda.
