Ólafur fæddist að Höskuldsstöðum í Austur-Húnavatnssýslu 3. maí 1731. Faðir: séra Stefán Ólafsson, prestur að Höskuldsstöðum. Móðir: Ragnheiður Magnúsdóttir húsfreyja á Höskuldsstöðum. Ólafur fór í Hólaskóla og útskrifaðist þaðan 1751, sigldi síðan og lauk lögfræðiprófi frá Kaupmannahafnarháskóla 1754. Hann var fyrst bókhaldari við Innréttingarnar en árið 1756 var hann settur varalögmaður norðan og vestan. Síðar varð hann aðstoðarmaður Magnúsar Gíslasonar amtmanns og tók við embættinu er hann andaðist 1766. Þegar landinu var skipt í tvö ömt 1770 varð Ólafur amtmaður í Norður- og Austuramti. Árið 1783 fékk hann lausn frá embætti af því að hann vildi ekki flytja norður í land eins og ætlast var til og var Stefán Þórarinsson skipaður í staðinn. En þegar suður- og vesturamtinu var skipt í tvennt 1787 varð Ólafur amtmaður í vesturamtinu og 14. apríl 1790 varð hann jafnframt stiftamtmaður. 1793 hafði hann amtaskipti og var skiptur yfir suðuramtið. Hann fékk lausn frá embættum sínum 1806 en fékk að búa áfram endurgjaldslaust í Viðey, þar sem hann var þá. Fyrst hafði hann búið á Leirá í Leirársveit, síðan á Bessastöðum, Elliðavatni, í Sviðholti og á Innra-Hólmi.