此书在宋朝已经出现。在北宋时曾翻译为西夏文，如《宋史·外国传一·夏国上》：“元昊自制蕃书……教国人记事用蕃书，而译《孝经》、《尔雅》、《四言杂字》为蕃语。”一度成为教授儿童的词讼之书。《宋会要辑稿》：“今《四言杂字》皆系教授词讼之书，有犯，合依上条断罪。欲乞行下诸路州军、监司，依条施行。”

此书在清朝在中国各地则为蒙学书籍。

台湾版的多有客家语、民俗，反映清治时台湾客家人的生活。仅管如此，台湾闽南人在私垫也用此书。二十世纪初叶时，李开章在苗栗铜锣一带得到十九世纪台湾客家人张氏版本的手抄本后，去除部分清朝制度与负面事情，如删除光绪八年（1882年）竹南四堡土城居民张庐被劫的描写：“嘉庆己巳，世遭变乱。客人遭劫，祸出非常。人多离散，田屋抛荒。”，写入台湾日治时代的事物，编成台湾流传甚广的斐成堂版，后世也多以此版重印作台湾人的教育。