这时的朱元璋，还是郭子兴的手下。郭子兴虽有首义之功，但性格暴燥，忌能护短，爱听闲话。郭子兴对朱元璋本来是十分器重的，还认他做了干女婿，但由于朱元璋的名声越来越大，加之有人从中挑拨，郭子兴便对朱元璋产生了猜忌，不仅削弱了朱元璋的兵权，听说李善长极有才干，还下令要将李善长调到自己身边去。这对于李善长，可谓是个十分严峻的考验。按一般常情，人往高处走，那自然会高高兴兴地投奔郭子兴，因为郭子兴位在朱元璋之上。朱元璋也劝他道：郭子兴是我父亲一样的上级，你怎么能不去呢?然而，李善长作出了非常明智的选择：坚决不离开朱元璋。李善长的选择让朱元璋很感动，朱元璋从此将李善长视作心腹。

　　李善长不仅有参谋和后勤保障之才，也具有相当高的军事才能。朱元璋驻军和阳(今安徽和县)时，亲自带领军队去攻打鸡笼山寨，只留下了少量军队让李善长守城。临行，朱元璋告诫李善长道：若敌来犯，坚守不出即可。元将探知和阳兵少，即来偷袭。李善长并未被动守城，而是预先在城外埋伏下奇兵，结果大败来袭之敌。朱元璋回来得知，连连夸奖李善长是个能人。

　　在整顿军纪、收买民心方面，李善长也协助朱元璋做了大量的旁人不能替代的工作。朱元璋在即将打下采石和太平两城前，李善长经和朱元璋商量后，写下禁令，严格禁止军士侵民扰民，攻下城后，将禁令四处张贴，军士果然没有敢违犯的。朱元璋又决定乘胜攻打镇江。由于接连取得胜利，军队产生了骄傲情绪，在这种情况下，很难约束军队。为了在攻下镇江后不至于出现侵民扰民、特别是滥杀无辜的事，朱元璋、李善长和领兵主将徐达合演了一出“三簧”戏，即朱元璋随便找了个借口将徐达拿下，很愤怒地表示要严处，再由李善长出面求情，朱元璋便以徐达攻下城后决不出现侵民扰民、滥杀无辜等情况为条件将徐达放了。有了这出“三簧”戏，徐达攻下镇江后，果然军纪严明，秋毫无犯，以至民不知有兵。

　　朱元璋自称吴王后，因元朝以右为大，便封李善长为右相国。在这个职位上，李善长充分展示了他的才智。由于他熟知历史，处事快截果断，又长于辞令，朱元璋的军机檄文之类文案工作，全都交给他做。朱元璋自己带兵行军打仗，李善长则留镇后方，诸将无不听从他的调遣，而在他的治下，老百姓也能安居乐业。他还负责朱元璋军队的后勤保障，确保了前线需要。在朱元璋的同意下，他以元朝制度为基础，取利弃弊，制定了一系列法律法规，如经营盐，立茶法，立钱法，开矿冶炼，定鱼税，等等。由于李善长留镇后方精心治理，朱元璋的吴国日益富饶起来。吴国元年，朱元璋论功行赏，封李善长为宣国公。朱元璋后来改官制，不再如元朝那样以右为尊，改以左为大，于是，拜李善长为左相国。