原一带的汉军和汉人于是大规模的向南迁移。吕布的母亲黄氏不愿离开五原，她舍不得自己的印染作坊，也舍不得离开父母，吕布的父亲便带着吕布前往太原投靠了当时的并州刺史丁原。

后来，吕良见自己在丁原帐前不受待见，便让吕布留下，自己辞了职务，返回五原去陪伴妻子黄氏了。

鲜卑人和南匈奴人虽然骑马打仗厉害，但是却不通印染，因此对位于九原的吕氏印染作坊很重视，双方约定不可袭扰吕家的作坊和农庄，吕氏一族于是避开了胡人侵扰，在九原附近存留下来。

吕布成年之后，由父母做主，迎娶了雁门楼烦一带富族严氏之女，婚后严氏为吕布诞下一女，之后因为吕布常随丁原在外征战，所以不再有育。

何进招丁原前往京师对付宦官时，吕布派人将妻子严氏和女儿吕雯悄悄的送回了九原，由母亲黄氏代为照顾。

从吕布离开并州至今，算起来，他与父母和妻女已经有两年时间不曾见面了。