Fæddur að Rein í Hegranesi. Foreldrar: Jóhann Þorvaldsson, bóndi að Rein og víðar og kona hans Ingibjörg Guðmundsdóttir frá Finnstungu. Þau slitu samvistir þegar hann var ársgamall.
Halldór var um árabil vinnumaður hjá Agli bónda á Merkigili. Hann var bóndi á hluta Gilsbakka 1896-1897, Egilsá 1899-1901, Löngumýri 1901-1904, Vöglum 1904-1912 (eignaðist þá jörð), Vaglagerði 1912-1920. Þaðan fluttist hann að Bakkaseli í Öxnadal og bjó þar í 6 ár. Þar stunduðu þau hjónin m.a. greiðasölu. Þá hættu þau hjónin búskap og dvöldust eftir það á Akureyri í skjóli barna sinna til æviloka. Maki: Jónína Jónsdóttir (1880-1958) frá Króksstöðum. Þau eignðust níu börn. Fyrir hafði Halldór eignast son með Björgu Steinsdóttir, þá vinnukonu á Stóru-Seylu.