此地先秦時(shí)期就有游牧民族活動(dòng)；西漢時(shí)并入中原王朝版圖，屬敦煌郡；后戰(zhàn)事不斷，歸屬屢易，地方政權(quán)、游牧民族勢(shì)力范圍犬牙交錯(cuò)，中央政權(quán)控制力較弱。

公元前265年間，肅北始名昌蒲縣。

東晉時(shí)期改名為子亭。

到了西晉變動(dòng)為新鄉(xiāng)，后來(lái)又叫氐置水；雨后夕照呈紫色，城東大山象個(gè)亭，所以又取名叫紫亭；清代起屬甘肅省，肅北之名，源于1938年在古肅州（酒泉）之北設(shè)立的“肅北設(shè)治局”。

因境內(nèi)蒙古族人口較多，1956年成立肅北蒙古族自治縣。

1950年7月解放，1955年肅北蒙古族自治縣成立。