对于李母这位发妻，非但不管不顾，甚至还多次当众呵斥责骂。
到后来，李母干脆是被赶到了府中的一个小院子里，只留下几个陪嫁的丫鬟伺候，缺衣少穿，生活悲惨。
就是在这样的环境下，李母一把屎一把尿地将李牧养大。
小李牧倒也争气，从小聪慧，天资不俗，孝敬母亲，多次因为保护母亲而被李父责罚，也从未享受到身为小主人该有的荣耀，甚至连读书习武，都成为了一种奢侈，和府中的一个小杂役差不多，经常被一些下人刁难。
直到有一日，李父终于下定了决心，一意孤行，要休掉李母，要光明正大地娶一个外面的女人为妻，李母才明白，原来当年李父在赴考中举之前，实际上是已经娶妻，且生有一子，并非是未婚，当年追求李母，也不过是想要借助李母家族的势力而已。
这一次事件中，小李牧和知府爆发了巨大的冲突。
最终，年轻气盛的李牧，一怒之下，于李父三击掌，断绝了关系，李牧当着所有宾客的面，扬言要离家求学，不出人头地，绝对不回去，并且要让知府大人后悔，付出代价。
李牧离家出走。
而后，李母被李父安置在府外的一个小院子里，自生自灭。