年十四，随兄茶丘见世祖于上京，帝悦，命刘秉忠相之，秉忠曰：“是儿目视不凡，后必以功名显，但当致力于学耳。”令选师儒诲之。至元三年，籍高丽民三百人为兵，令君祥统之。从秃花秃烈、伯颜等军，筑万寿山，复从开通州运河。帝亲谕之曰：“尔守志忠勤，朕所知也。”帝尝坐便殿，阅江南、海东舆地图，欲召知者询其险易，左丞相伯颜、枢密副使合达以君祥应旨，奏对详明，帝悦，酌以巨觥，顾谓伯颜曰：“是儿，远大器也。”

六年，林衍叛，从头辇哥征之。八年，戍河南。九年，掠淮西，破其大凹城。十年，从元帅孛鲁罕袭淮东之射阳湖，俘其男女牛马。十一年，入朝。帝命伯颜伐宋，朝议以宋之兵力多聚两淮，闻我欲渡江，彼必移师拒守，遂命右卫指挥使秃满歹率轻锐二万攻淮安，以牵制之，君祥以蒙古汉军都镇抚从行。后伯颜既渡江，帝命秃满歹还军萧县。时君祥奉使伯颜军中，宋黄州制置使陈奕降，其子知涟水军，伯颜遣三十骑往招之，因令君祥入奏，帝曰：“卿可急还，陈知府降，即偕来也。”及与俱入朝，宴劳甚厚。