祁世长十三岁，侍父江苏学政任，幕客俞正燮、张穆、苗夔诸人，并朴学通儒，世长濡染有素，尤笃守宋儒义理之说。咸丰十年（1860）进士，授编修，数任乡试，会试主考官，督学直隶、安徽、浙江。同治九年（1870），服阕，补侍读。累迁内阁学士。光绪初，连督安徽、顺天、浙江学政，清勤爱士。历礼部、吏部侍郎，擢左都御史。光绪十年（1884），勘察山东河工，主张疏浚海口以泄盛涨，修防民埝以保大堤。命偕尚书延煦勘山东河工，疏言：“非疏海口不能泄盛涨。修防以民埝为第一层屏障，守民埝即以守大堤。巡抚陈士杰筑修民埝多在大堤既决之后，殊为失计。请乘时兴修。”从之。迭疏陈时务，多持正议。十六年（1890），迁工部尚书，兼管顺天府尹。两典会试，皆得士。世长清操自励，累世官卿贰，家如寒素，时以称焉。卒，优诏赐恤，谥“文恪”。赐其孙师曾员外郎，子友蒙主事。