刘裕自幼家贫，在他很小的时候，母亲就在生完他的弟弟刘磐以后，因为难产而去世了。
他们的父亲养不了这两个儿子，便抛弃了他们。
好在他们的从母，也就是刘表之妻，伸出了援助之手，兄弟两才勉强活了下来。
但是后来，刘表要去洛阳做官，便带着妻子一起离开了家乡。因为嫌弃刘裕兄弟两尚且年幼，所以并没有一起带走。
没有了从母的接济，刘裕一个人落魄到要以砍柴、打鱼、卖草鞋为生，甚至还给地主家做过佃户，才艰难地养活了自己和年幼的弟弟。
虽然穷，但刘裕却十分地讲义气，常常为了其他贫苦的孩子而打抱不平，出手相助，从而在少年时就结交了不少朋友。
后来他听说叔父刘表，在荆州当了州牧、镇南将军。
时年二十九岁的刘裕便带着弟弟，并在乡中纠集了一帮志同道合的好朋友之后，一同前往荆州投奔刘表。
此时，刘裕他们的从母，也就是刘表的妻子早已病逝多年。刘表单骑入荆州，身边并无亲朋。所以在见到刘裕、刘磐兄弟到来，并且还带着自己的部曲之后，很是高兴，便让二人带着部曲，在大将文聘的军中做了军司马。
之后在荆州的数年里，刘裕、刘磐兄弟两分别与荆州的宗贼、益州军、占据南阳的张绣，甚至曹操的军队交过手。这让兄弟两慢慢积累了丰富的军事经验，也从文聘部下的军司马，慢慢都做到了校尉、中郎将，并且有了独领一军的机会。
再后来，也就是大约两年前，曹操降服了南阳的张绣，并且派遣大将曹仁率兵驻守，时常骚扰荆州的北部边境。
于是，刘表就任命刘磐为将军，负责镇守新野。
而刘裕更是迎来了事业的高峰！
这一年，长沙太守张羡率零陵、桂阳三郡反叛，刘表派遣刘裕为主将，领兵一万前往征讨。
在长达一年多的征战中，刘裕常常身先士卒，每一战都能挫败叛军，他的军事才能得到了充分的体现。
他不仅作战勇猛，披坚执锐，冲锋陷阵，而且指挥有方，富有智谋，善于以少胜多。
后来张羡病死，长沙人又立了他的儿子——张怿为主。
刘裕轻轻松松就攻破了长沙，并任命部将昌义之在此地担任守将，接着又先后平定了零陵、桂阳二郡。
在这一年多的时间里，刘裕手下的一万大军也逐渐壮大到了五万人。早年跟随他的乡中好友也大多做到了校尉、中郎将，比如：沈田子、沈林子、王镇恶、王仲德、朱龄石、朱超石、胡藩、孙处等等，另外还有刘裕在荆南先后收服的黄忠、魏延、邢道荣等将。
自刘表丧妻，直至入主荆州以后，才重新续弦，娶了荆州大族蔡家的长女为妻。
刘表十分宠爱这个小娇妻，蔡家的蔡瑁等人因此得权。在娇妻的枕头风下，刘表也对小儿子刘琮十分宠溺，并逐渐冷落了与亡妻所生的长子——刘琦，并且常常有废长立幼的想法。
刘裕在得知这些消息之后十分不满，时常写信给从父。毕竟刘琦生母，也就是刘裕的从母，对他们兄弟两有大恩。若非当年从母的接济和帮助，刘裕兄弟两可能早就饿死在了街头。所以在刘裕的心目中，刘琦这个堂弟，从母的独子，于情于理都该作为继承人！
但如今荆州的大权都掌控在以蔡家为首的大族手中，尤其是蔡瑁、张允二人还掌控了荆州的水师。但同时，刘裕因为手握五万大军，也让蔡瑁等人对其忌惮不已。
后来，衣带诏事件爆发，并州刘渊向袁绍、曹操宣战，刘表也打算发兵响应。