刘基坚决反对朱元璋尊奉小明王。他认为，在群雄纷争之际，要成大业，必须摆脱别人牵制，自己掌握命运。因此至元十一年(1361)农历正月，朱元璋在金陵中书省设御座，率文武僚属遥拜小明王、行庆贺礼时，刘基独独站在一边不拜。朱元璋召问为何不拜，刘基回答：“他不过是个牧童罢了，为什么要尊奉他？”接着向朱元璋陈说了应该摆脱小明王，自己争夺天下的道理，朱元璋听后很有悟彻。至正二十三年(1363)，张士诚部将吕珍攻韩林儿于安庆(今安徽寿县)，刘福通要朱元璋发兵救援。刘基劝朱元璋不要往救，他说，现在陈友谅、张士诚正虎视眈眈伺机进攻我们，这种时候怎能分散兵力去管别人呢？再说假使将小明王救了出来，又准备如何安置他？逼朱元璋抛弃韩林儿。朱元璋不听，亲自率军往救。陈友谅果然乘虚而入，率领几十万军队袭击朱军辖下的江西重镇洪都(今江西南昌)。为解围，朱元璋星夜兼程回赶，疲于奔命，而韩林儿也终成朱元璋的累赘。事后，朱元璋感慨地对刘基说：“不听您老先生的话，几乎误了大事。幸亏陈友谅攻的是洪都而不是金陵，否则真是不堪设想了。”不多久，朱元璋彻底抛弃了韩林儿，将他杀害了。应该说这是刘基长期影响朱元璋的必然结果。
　　 灭陈友谅、张士诚
　　 至正二十年五月，陈友谅攻下了南京外围的重镇太平，杀了朱元璋的养子朱文逊及守将花云。他还在太平立国，自称皇帝。调集舟师，从江州向东直指应天。声称此役有张士诚配合，攻陷应天，指日可待。在陈友谅的嚣张气焰面前，朱元璋的部将感到局势紧张。有的主张出城决一死战，有的主张弃城转移，也有的主张献城投降。诸说纷纭，莫衷一是。朱元璋也一时拿不定主意，便问站在一边默不作语的刘基。刘基斩钉截铁地回答，先斩主降者和言逃者，才能破敌获胜。他说，陈友谅劫主称帝，骄横一世，其心无日不忘金陵。现在气势汹汹，顺江东下，乃是向我示威，逼我退让。我们不能让其得逞，只有坚决抵抗。他又说，常言道，后举者胜。陈友谅虽兵骄将悍，但他们行军千里来犯我，既是疲军，又是不义，而我们后发制人，以逸待劳，待敌深入后，我以伏兵击之，自当必胜。这一仗对我们来说关系重大，一定要打好。刘基的一番话，坚定了朱元璋抗击的决心，他采纳了刘基的计策，巧出奇兵打败了陈友谅的进攻。朱元璋不仅取得了保卫应天的胜利，还一鼓作气收复了太平，巩固了金陵这块根据地。此役仅在刘基投奔后的两个月，充分显示了刘基卓越的军事才能。
　　 陈友谅虽退守江西、湖北一带，但他和张士诚仍然是朱元璋的主要劲敌。为了扫平群雄，北定中原，最后推翻元朝政权，朱元璋军中对东张西陈两个战略方向，持有不同的看法。多数将领主张先易后难，即先打张士诚。这一战略思想对朱元璋也产生了影响。
　　 刘基的主张则相反，他认为张士诚生性怯弱，胸无大志,只求自保，这种人不足为虑。陈友谅野心勃勃，力量也强，又据长江上游，对我威胁最大。若先打张士诚，陈友谅定会乘虚攻我，可是如果先讨伐陈友谅，张士诚则不一定敢轻举妄动。故当先除陈。陈氏一灭，张氏自孤，存亡便由我了。陈张既平，就可拥麾北上，席卷中原，大业便可告成了。刘基的分析高瞻远瞩，应该说是朱元璋扫平四海、建立大业的惟一正确战略方案。朱元璋采纳刘基之计，决定先征陈友谅，再攻张士诚，在全面胜利的道路上迈出了举足轻重的一步。
　　 至正二十一年(1361)，朱元璋亲率三军溯长江西征陈友谅。先攻安庆不克，刘基知陈友谅重兵驻防安庆，其老巢江州(今江西九江市)必定空虚,便建言马上转攻江州，果然一举而下，陈友谅弃逃武昌。不久，陈友谅部臣江西行省丞相胡廷瑞以保留部队为条件前来议降，朱元璋从刘基劝，接受胡的条件。胡降，其他守将见此纷纷前来纳款，整个江西很快并入朱元璋的版图。至正二十三年(1363)四月，陈友谅乘朱元璋北上解小明王韩林儿安丰被围之际，从武昌率军倾城而出，围攻洪都，想夺回这一重镇。守将朱文正力拒抵抗，两军相持多日。七月，朱元璋率大军南下，与陈友谅决战于鄱阳湖上。刘基日夜侍随朱元璋左右，参与军机。
　　 两军鏖战，血染湖水，双方死伤惨重，最后在湖面上
　　 相持不下。这时刘基向朱元璋献计，建议派重兵扼守鄱阳湖四周出口之处，以困陈友谅。不久，陈友谅率残军突围，想从小港岔口处逃窜，结果被朱元璋军扼住。陈友谅战死，余军大溃。消灭陈友谅势力以后，朱元璋马不停蹄，立即又挥戈东进，征伐张士诚。至正二十七年(1367)九月，攻占平江(今江苏苏州市)，张士诚走投无路，自缢身死。自此长江中下游地区尽归朱元璋所有。朱元璋对刘基说：“先生是我创立江山的第一等功臣。”
　　 刘基的运筹帷幄、神机妙算不仅使同僚下属钦佩不已，也博得了朱元璋的信任与尊敬。朱元璋将他比作汉代谋臣张良、尊称他“老先生”而不呼其名，经常和他一起商量军政大事，有时遇有重大决策，仅召他一人进密室相议，一谈便是半日。朱元璋有时对他几乎到了依赖的程度。刘基母亲故世，他想告假回乡奔丧，朱元璋舍不得他离开，婉言挽留而不准假。后来勉强准了，还不时写信到青田乡里请教军政大计；刘基则详细分析答复，总使朱元璋非常满意。尽管这样，最后朱元璋还是提前召他回来。见人主如此诚意待己刘基也以朱元璋为不世之遇，悉心辅佐，知无不言。为朱氏大明王朝的建立作出了不可磨灭的贡献。
　　 以儒治国
　　 至正二十八年(1368)，朱元璋在北伐大都，推翻元朝统治取得决定性胜利的凯歌声中，宣布了明朝的建立，他登基称帝，改元洪武，定都南京。拜刘基为御史中丞兼太史令和太子赞善大夫。
　　 刘基以传统的儒家思想作为治世的理论基础，主张宽仁之道。早在投靠朱元璋前，他就有一套完整的匡治天下的理论和方法，集中反映在他的《郁离子》一书中。照他看来，治天下就像医生治病一样，关键在于切脉、审证、开方、用药几个环节。医生通过切脉可以知道病人的症状如何,通过辨验症状才能开出方子，而最要紧的还是用药，用药对症，疾病就能得到治疗。治世也是同样道理，一个国家的纲纪就是这个国家的脉象，社会的治乱就是症状，道德和刑法就是
　　 药方，而各级管理人才即大小官吏就如治病的药材，只要把握国家的纲纪、刑德、人才，就能治好天下。他认为，治世的原则应该是德刑并用而以德治为主，就是要首先反对暴虐，反对无止境的榨取，要有仁爱之心，懂得关心和爱护百姓，以仁慈感天下;同时还必须有严明的法纪，有法必依，执法务严，使人有所畏惧，以维护不可动摇的封建秩序。德治威刑，前者是本，后者是辅，只有德治才能真正取胜天下。他还认为，德治的关键在于吏治，即在于选用人才。治好天下应该起用秉公执法、德才兼备的人担任各级官吏。他主张不拘一格选拔人才，唯能为是、量才录用。刘基根据这套理论与方法，对巩固新生的明王朝政权都起了积极作用。
　　 刘基认为开国之初施行仁政的最大障碍莫过于纲纪不整。元朝末年，上贪下暴，无法无天，致使生灵涂炭，群雄四起。元朝的这个教训，朱元璋的体会最为深刻。因此他拜刚直不阿、嫉恶如仇的刘基来领导监察工作。
　　 刘基为了做到依法治国，同丞相李善长在较短的时间内就纂成了《大明律》。刘基把整肃纲纪，建立法令制度当作头等大事，从而解决了建国前军队乱杀无辜的严重问题。刘基出任御史中丞后，又令下属大胆揭发官员违纲乱纪、贪赃枉法之事。丞相李善长的亲信、中书省都事李彬犯贪纵罪，被刘基查获。李彬罪行严重，按律当斩。李善长多次找刘基说情，要求宽缓。李善长是何许人？他是朱元璋起兵不久收用的幕府书记，朱元璋称吴王时，他是左相国，称帝时任命为首届左丞相，在朝廷中位列第一。真可谓居于一人之下，万人之上。可是刘基不讲情面，秉公执法，将李彬处死，在朝野引起了震动。连朱元璋也赞扬他的刚直不阿，说满朝都是党，只有他一个人不从，是好样的。振肃纲纪是为了施行仁政，刘基体谅遭受长期战争动乱的百姓的苦痛，曾几次以天旱求雨为借口，要求明太祖处置天下积案、释放被冤屈关押的无辜良民，抚恤死亡士卒的遗孤以及宽待降将、降卒等，以体现朝廷宽仁之心。就在致仕以后，他还不忘提醒明太祖说，霜雪之后，必有阳春。现在国威已立，应该施行仁政，以德治胜天下。
　　 刘基在举荐贤能，帮助明太祖选用人才方面，尤其识高见著。明太祖曾有辞免李善长丞相职务的打算，征求刘基的看法。刘基向来重视丞相人选，认为实现吏治关键在丞相，“国之大事，莫大乎置相”。尽管李善长常在暗中攻讦排斥他，但他认为李是朱元璋的勋旧，有较高的威望，他在位能起到调和诸将的作用，还是合适的人选。朱元璋奇怪地说，李善长几次想害你，你还为他说话。刘基回答：换相就像换大厦的柱子，必须是栋梁之材才行；如果用几根小木头捆在一起充当梁柱，即使换上去了，也马上就会倒下。不久，李善长辞位，朱元璋想让杨宪接任，与刘基商量。刘基与杨宪私交很好，但不赞成。他对朱元璋说：杨宪有当丞相的才能，但无当丞相的器量。当丞相要持心如水，以礼义为处事的标准，不能有私心，杨宪不是这样的人。朱元璋问汪广洋如何，刘基说也不行，他比杨宪更褊浅小器。又问胡惟庸，刘基答：更不行，当相好比驾车，胡惟庸非但驾不好，恐怕连辕木都会被他毁掉。朱元璋见自己考虑的三人都被刘基否定了，就说看样子只好请你出来了。刘基连忙说，不行，不行！我这个人嫉恶太甚，又不能胜任繁剧的事务，当了会辜负您的期望和重托的。天下哪会没有贤才呢，您只要悉心召求就可以发现了。
　　 但朱元璋既未悉心求才，又偏偏先后选用了杨、汪、胡三人为相，结果不出刘基所料，个个都出了问题。刘基为朱元璋遴选相才，不以恶己者为恶，好己者为好，而是曲直分明、秉公无私，堪为历史上一段佳话。
　　 刘基虽然不受丞相之职，洪武三年(1371)朱元璋论功行赏时还是授他弘文馆学士，封开国翊运守正文臣、资善大夫、上护军、诚意伯等一系列要职和头衔。
　　 刘基是一个见广识远、足智多谋的人，他深深意识到自己直言激愤，为肃纲纪得罪了许多人，包括李善长、胡惟庸为首的淮西派，甚至连朱元璋也经常直谏。因此想从官场及早抽身，急流勇退，回乡过安逸清闲的生活，免遭官场不测之祸，因此多次上书请求告老回乡。洪武四年(1371)恩准致仕，刘基于2月回到故里。在乡间，他谢绝同一切官府往来，每日只是饮酒弈棋、读书吟诗，从不谈论过去功绩。但他终究还是逃脱不了厄运。洪武六年(1373)，胡惟庸出任丞相，他对刘基不荐举自己为相怀恨在心，于是在皇上面前诬陷刘基，说他在家乡谋占了一块有王气之地作自己的墓地，图谋不轨。朱元璋最忌讳的就是有人篡位，于是革掉了刘基的俸禄，准备严加查办。
　　 刘基为避杀头灭门之祸，带着儿子刘琏急忙赶往京师谢罪。之后刘基怕再受诬陷，索性就留在南京。不想在京积忧成疾。洪武八年(1375)三月他重病不起，被送回乡里，居一月去世。(一说为胡惟庸毒死，但是无确凿根据)享年65岁。
　　 刘基死后不久，胡惟庸案发，明太祖追忆刘基以前所言，不禁懊悔莫及。又想起他平时至诚正直，慷慨而有大度，是位难得的忠臣，于是下诏，令其子孙世代承袭诚意伯爵位。
　　 兔死狗烹：与朱元璋的关系变化
　　 朱元璋的褒奖、信任是刘基政治、军事上有所作为的重要条件，但随着明王朝的建立，这些条件正逐渐丧失。群雄剪除之后，朱元璋对勋臣的疑恳心理日渐浓重，刘基与朱元璋的关系也在逐步地产生变化。
　　 君臣恚目
　　 历代帝王中，以布衣出身的仅刘邦与朱元璋二人，因此，朱元璋对刘邦特别推重，视为历代贤明皇帝的范则。汉代国祚长达四百年之久，朱元璋也期望自己所创立的基业被子孙永远传嗣。朱元璋便常以汉高祖自喻，虽然览阅史书不很多，但对《汉书》在戎马倥偬时即认真研读，群臣奏疏也常以明比汉。确实朱元璋以汉高自励，在群雄鼎立时能修明法度、严明军纪，明朝初建也能与民休息，征召贤能，建立制度，恢复生产，这与他们都出身在业农之家，深察民瘼有关。但是，由布衣而登皇位，对皇权拥有的欲望及期望国祚绵远的心理也更为强烈，而他们认为威胁帝位的主要是秉权勋旧。因此，刘邦在汉王朝建立后，便分封同姓王，逐次消灭了韩信、彭越、英布等异姓诸王。朱元璋杀戮功臣的规模有过于刘邦，堪称史无前例。刘基去世前，虽然还未完全展开，但已经暴露了种种迹象。即以中书省为例，徐达、李文忠等人常受命征讨，无暇专理省事，负丞弼之任的仅李善长、汪广洋、杨宪、胡惟庸数人。李善长虽然为人忮刻，但“事朕久，给军食，功甚大”，草昧之初委身戮力，为参谋、预机画，能委曲调护龃龉不睦，使朱元璋的势力得到发展，尤其是郭子兴削夺朱元璋兵权时，曾欲争取李善长以自辅，但李善长坚决谢却，与朱元璋堪称患难之交，因此，对李善长越发倚重。洪武三年(1370)封功臣时，李善长位列第一，褒称甚至，但不久朱元璋“始微厌之”，只得称疾致仕。左丞汪广洋谨厚自守，仅因“奉母无状”的罪名，也被贬徙海南，刘基亡故之后不久，又被赐敕诛死。杨宪性格刻削，专务搏击，洪武三年(1370)七月被诛；虽然其劾奏汪广洋、左安善，确实有过，但罪不当诛。而胡惟庸凶狡自肆，侈权妄法，其后被族诛，成为明代第一大案。这样，中书省总领枢要者，无一得享寿考。朱元璋治吏十分严苛，对权臣勋旧防范更严。至正二十二年(1362)，一同起兵濠梁的骁将邵荣、赵继祖密谋击杀朱元璋，谢再兴叛降张士诚时，朱元璋对部将的疑忌心理便已产生。因此，洪武初年，朱元璋并没有固宠的信臣。对刘基也是信任与疑忌兼有，态度飘忽不定。朱元璋对刘基的首次发怒导致了刘基在明王朝既建以后的第一次告归。