在兴平元年(194年)，曹操为了为父报仇，再次攻打徐州。徐州牧陶谦无力抵抗，向青州刺史田楷请求援助。田楷和刘备一起前去救援，但此时张邈和陈宫叛变，投降了吕布，攻打曹操。曹操的势力遭到了重创，不得不撤回到兖州。陶谦任命刘备为豫州刺史，让他在小沛驻扎。在兴平二年(195年)，陶谦病重，对别驾麋竺说：“只有刘备才能使徐州安定。”陶谦去世后，麋竺领导徐州百姓迎接刘备，让他接管徐州。尽管刘备一开始拒绝了这一提议，但在陈登和孔融的多次劝说下，刘备最终接受了这个职位。
这使得刘备表面上的实力能够与曹操一较高下，而此时曹操还在与吕布争夺兖州。但是，实际上刘备并没有有效地掌控徐州。不久之后，吕布被曹操击败，前来投奔刘备。尽管吕布反复无常的品质早已为人所知，但因为他勇冠三军，他还是被刘备收留了。
建安元年(196年)，曹操任命刘备为镇东将军，封他为宜城亭侯。袁术率领大军进攻徐州，刘备迎击，两军在盱眙和淮阴进行了激战。此时，吕布偷袭下邳，俘虏了刘备的妻子。刘备返回军营，途中军队溃散，只能收集残部东行攻打广陵，但最终被袁术击败。刘备不得不向吕布求和，吕布归还了刘备的妻子，刘备回到了小沛。不久之后，刘备再次招募了万余人的大军，吕布于是率军进攻小沛。刘备战败，只得前往许都投奔曹操。曹操给了刘备兵马粮草，并任命他为豫州牧。此后，人们称刘备为“刘豫州”。
