Foreldrar hans voru Ólafur Briem og Dómhildur Þorsteinsdóttir. Ólafur missti foreldra sína ungur og fór þá í fóstur að Espihóli til Eggerts Ó. Briem og Ingibjargar Eiríksdóttur Briem. Síðar fór hann til sr. Ólafs Þorvaldssonar á Hjaltastöðum og k.h. Sigríðar Magnúsdóttur. Uppúr tvítugu sigldi hann til Kaupmannahafnar og lærði trésmíði. Flutti til Sauðárkróks árið 1886 og byggði þar húsið Bræðrabúð. Ólafur starfaði alla tíð síðan sem trésmiður á Sauðárkróki. Hann var ókvæntur og barnlaus.

Frá Nýjabæ á Álftanesi, þar sem hann ólst upp með foreldrum sínum til fermingaraldurs. 23 ára gamall réðst hann sem kaupamaður að Veðramóti í Gönguskörðum. Þaðan fluttist hann til Sauðárkróks og var þar búsettur upp frá því og stundaði sjómennsku og aðra verkamannavinnu. Árið 1875 kvæntist hann Láru Sigfúsdóttur frá Gilsárvallahjáleigu í N.-Múlasýslu, þau eignuðust tvær dætur.