1986年，Beyond正在制作首张EP《永远等待》，在听完所有小样后，黄家驹拿出《大地》的样带让经纪人陈健添制作。陈健添觉得该曲有浓厚的中国特色，但他认为假如当时制作，被关注的概率不高，反而会浪费该曲。他认为成功需要一个过程，乐队也需要从一个摇滚的形式变化到呈现出摇滚的状态，而市场也需要时间的打磨逐步形成接纳的心态，并以此为由说服了黄家驹放弃在EP《永远等待》中使用该曲。

1988年，在Beyond筹备第三张专辑《秘密警察》时，陈健添认为推出《大地》的时机已到，但直到准备进棚录音的时候黄家驹才找到《大地》的小样。因为时间仓促，陈健添最后联系刘卓辉来填词。《大地》的小样是黄家驹用录音机录的一段吉他旋律，样带上歌名写的是《长江》（一说《黄河》），刘卓辉看后便意识到该曲想要写中国大陆。《大地》歌词写的是关于刘卓辉叔公的故事。刘卓辉的叔公是一个国民党老兵，在兵荒马乱的20世纪40年代因为生存离开老家潮州当兵，此后音讯全无。20世纪70年代中，刘卓辉的父亲托去台湾的朋友登报寻找，由此开始了分别30年后的书信往来。1988年，刘卓辉第一次去中国台湾，代表父亲去看望了叔公。刘卓辉认为是在其见过叔公后才有足够的真情去写《大地》的歌词，但歌词里的“父亲”是他幻想出来的，更多的是他爸爸见到他叔公的投影。Beyond讨论《大地》的演唱者时，黄家驹认为黄贯中刚拍完电视剧，具有一定的知名度，所以由他来演绎会较易被大众接受，就将该曲交给黄贯中演唱。