刘兰在隋朝时任鄱阳郡书佐，研读了很多经史典籍，善于断言成败，性格凶险狡猾。面对隋末天下即将大乱，就和阴险为乱之人交结。当时，北海郡守备完好、百姓富足，刘兰想得到城中的人民和钱财，就和强盗勾结，攻破家乡的城池。

武德年间，淮安王李神通任山东道安抚大使。刘兰率宗族前去投奔。因有功多次升迁至尚书员外郎。

贞观初年，梁师都占领朔方郡。刘兰上书进献攻取之计，唐太宗李世民认为很好，任命刘兰为夏州都督府司马。当时梁师都率突厥兵驻扎在城下，刘兰偃旗息鼓不与交锋，贼兵怀疑，不敢进击，趁夜逃跑，刘兰追击，击破贼兵，然后进军夏州。等到梁师都被平定，刘兰因功升任丰州刺史，又被征任为右领军将军。贞观十一年，唐太宗前往洛阳，任命蜀王李愔为夏州都督，以刘兰为长史总管，都督府事。当时突厥有二心，郁射设阿史那摸末率领部落进入青海地区居住。刘兰使用反间计离间部落，促使颉利可汗怀疑阿史那摸末。阿史那摸末害怕，向唐朝投降。颉利可汗派兵追杀阿史那摸末，受到了刘兰的迎击，大败而归。唐太宗认为刘兰很能干，越级提拔为丰州刺史，两次转任夏州都督，封为平原郡公。