朱元璋率兵返回应天府后，常遇春立即做好攻打衢州城的准备。
把吕公车、仙人桥、长木梯、懒龙爪等攻打使用的器械运到了衢州城下，器械高度差不多与城墙一样高。
又在衢州城西门城下挖通了地道，准备上下一齐进攻。
元军守将宋伯颜不花防御能力及强，他用芦苇杆浇上了油，烧毁了吕公车。
然后用长柄斧头砍断了木梯子，用滑轮秤钩勾走了懒龙爪。
并在城墙内侧脚下筑了防挖穴道进入的隔层，防御部置很周密，他对常遇春的进攻毫不慌乱。
常遇春多次攻打，都无法攻破。后来，采取声东击西，明攻北门，暗袭南门。
宋伯颜不花在南门防御空隙，来不及防备，常遇春从南门攻入了城中，捣毁防御工具，城内元军将士惊慌失措。
院判张斌无能抵抗，派人前往谈判投降，常遇春答应他们提出的条件。
等到半夜，院判张斌打开了西门，迎接常遇春率兵攻进了城中，元军守兵被打败。
宋伯颜不花来不及逃跑，被常遇春活捉，衢州城由此被攻下。
常遇春攻城成功后，返回了宁越府，胡大海挽留常遇春一起驻守宁越府，常遇春不愿意留守。也许是因常遇春攻下了衢州城后，不甘心坐守宁越府吧。
元军参政石抹宜孙，驻守处州城，又派将士到要塞驻守，防御敌人来攻，将士们都玩无斗志。
胡深驻守龙泉，听说胡大海联合耿再成率兵来攻打，知道龙泉保不住，自己就丢下士兵，一个人跑来投降了胡大海。
胡大海问胡深现在处州的详细情况，胡深说防御驻兵薄弱，容易攻打。
胡大海立即率领将士进攻桃花岭、葛渡等寨子，顺利攻下，然后又进攻处州城。
元军参政石抹宜孙出城迎战，打了几个回合后，无能力抵抗，向闽中逃走了。
胡大海率兵进入了处州城，对老百姓进行了安抚。耿再成又率兵攻打建宁七邑，都顺利攻下。
石抹宜孙在召集失散的士兵，准备返回攻打处州，在返到庆元时，遇到耿再成，被耿再杀死。
胡大海立即向应天府上报战况，朱元璋接到战捷后，非常高兴。命耿再成驻守处州城，并做好防御部署，胡大海返回宁越城驻守，并改宁越府为“金华府”。
元至正二十年（公元1360年）三月。
胡大海到处寻求周边的文人儒士，经过走访，得知有四个人才识渊博，并将这四位儒士一一推荐给朱元璋，希望朱元璋能立即征用他们。
朱元璋接到胡大海的推荐后，立即派人带着钱财去聘请这四个人。
其中，有三个已聘请回应天府，他们分别是浦江的宋濂、龙泉的章溢、丽水的叶琛。
另外一个没有请到，这个就是青田有名的儒士，他是江东一带的儒士首席。
这位青田儒士，为什么不愿意接受朱元璋的邀请出山呢？这个人又是谁呢？这个人姓刘，名基，字伯温。
元至顺四年（公元1333年），23岁的刘基一举考中进士，开始步入仕途生涯。
他立志报效国家，由于元朝廷的昏庸腐败，使他20多年的仕途生涯屡遭挫折和磨难，导致他隐归山林。
他学识渊博，又精通天文地理，他是长江以东最出名的人物，被这一带儒士推之为首要人物。
他以诸葛孔明不分上下，民间有“上有诸葛孔明，下有刘基伯温“的说法。
朱元璋又派胡大海带上聘礼前请刘基出山，刘基还是不出山。
朱元璋又命令总督孙炎写信去请，他才感慨地说：“我十年前去西湖游玩，看见西北边有奇怪的云朵出现，那就是所谓的天子气，十年后应当就在金陵。
现在朱家蓬勃发展，又礼贤下士，顺应社会发展的历史潮流，不妨我前往去看看，助他一臂之力，如果他成功了，我也没有辜负自己当初立下的志愿。”
刘基简单地收拾了一下行李，一直向应天府出发。
朱元璋听说刘基到了应天府，于是急忙下台阶来迎接，并给刘基上坐。
不慌不忙地跟刘基谈论起来历史，又向刘基询问现在社会发展的趋势。
刘基说得头头是道，对当时的时局及社会发展趋势，畅谈了十八条。
朱元璋很高兴，便说：“我为天下百姓委屈先生你了，幸好先生你放弃我！如果你对我有什么意见，我愿意接受教诲。”
刘基对朱元璋说：“主公你现在占据了金陵，已经占有了很好的地理优势。
但是东南边有张士诚，西北边有陈友谅，他们多次来侵犯你，已成为主公你的隐患。
我为主公你献计献策，一定能出掉这两个匪寇，这样才能安定中原。”
朱元璋憋了一下气，说：“这两个人势力很强，怎么样才能剿灭他们呢？”
刘基答：“防御敌人应当分个轻重缓急，派调兵力也有前后之分，张士诚是以防御他自己的地盘为主，先不要过多的去担心他。
陈友谅是以进攻掠夺为主，他又占据长江上游，随时都可能来攻打金陵。
现在主公你应该先调集兵力攻打陈友谅，先把陈友谅这个祸害除了。
陈友谅被灭后，张士诚的势力也就被孤立了，然后你集中兵力一举攻打张士诚，张士诚一定能够被你消灭。
最后北向中原，建立王国，主公你是否有过这样的设想？”
朱元璋听后，他建国大业的思路马上清晰了起来，虽然人还坐着在谈论计谋，但是心里早已行动起来了，刘基的计谋确实可行，就这么决定了。
不像前面来拜见那些谋士，只泛泛地谈论业务，而没有可行的军事谋划。
朱元璋说：“先生你深谋远虑，真是妙计，我很佩服你的渊博才识，今后的军事行动，全靠先生你来指导了！”
刘基应了一声：“行。”
朱元璋立即命令司理部的人找了一间上等的贤馆给刘基入住，宋濂、章溢、叶琛三人也住在馆内。
委任宋濂为江西等处儒学提举司长官，并教世子们读书识字。委任章溢、叶深为营田司佥事。
刘基留在军中，委任为参赞军务的谋士。朱元璋无论大事小事，都向刘基咨询、沟通交流。
刘基很高兴遇到知己，也很乐意做朱元璋的参赞谋士，知无不言。
朱元璋称呼刘基为先生，名不虚传，他跟其他人说话，都把刘基比作是“张良”。君臣相遇，如鱼得水。
朱元璋正要简阅军马，准备出发时，突然接到军情：“陈友谅挟持了徐寿辉，率领舟师正在东下，准备攻打太平。”