Қала тарихы Екібастұз көлі маңынан таскөмір кенінің ашылуымен тығыз байланысты.
ХХ-ғасырдың соңы. Бұл кезде Қазақстан Ресей империясының бөлігі ретінде капиталистік дамудың экономикасына көптеп тартылды. Отаршы Ресей мен отаршыл Қазақстанда сауда мен экономиканың дамуы Қазақстаннан Ресейге шикізатты тасымалдауды, керісінше, Ресейден Қазақстанға тауарлар мен ағаш материалдары сияқты басқа да шикізаттарды жеткізу көлемін ұлғайтты.
Осы кезеңде Қ.Пшенбаевтың таскөмір кенін ашуы, кейін XIX-ғасырдағы 90-жылдардың соңында павлодарлық саудагер-миллионер А.И.Деровтың шақыруымен келген ғалымдардың, инженерлер мен геологтардың зерттеулері таскөмірді шахта әдісімен өндірудің алғашқы қадамдарын жасауға әкелді.
Ертіс және Обь көлінде кеме шаруашылығының дамуы, 1886 жылы Челябинсктен Омбыға дейін темір жолының іске қосылуы Екібастұз көмірін Ертіске тасымалдау қажет екендігін анық көрсетті.
Киевтегі қант зауытының иесі Л.Бродский мен діни тәлімгер протоиерей Ионн Кронштадскийдің қолдауымен Артемий Деров Екібастұз көмірін өңдіру үшін акционерлік қоғам құру керек деген шешім қабылдады. Нәтижесінде бұл қоғам «Воскресенское» деген атауға ие болды.
1899 жылдың 18 ақпанында жеке жарғысы бар қоғам құрылды. Воскресенск акционерлік тау-кен өндірістік қоғамы 3 миллион рубль капиталымен Екібастұз кен орнынан Ертіске дейін темір жол салуға кірісті. Акционерлер мен Деровтың алдында маңызды міндет - Ертістің сол жағында кемежайға арналған орынды белгілеу тұрды. Оған Ақсу болысының 5 және 6-ауылдарының аралығында орналасқан Қызыл Шырпы мекені таңдап алынды. 1899 жылдың сәуір айында 2 аралық станциялары бар Ертістен Екібастұзға дейін темір жол құрылысы басталды. Темір жол да акционерлік қоғам сияқты «Воскресенск» деп аталды.
1899 жылы қазан айында темір жол салынып, қоғам мен темір жолға сай «Воскресенск» деп аталған кемежайға жеткізілді. Жолдың ұзындығы 109 шақырым (110 километр) болды. Воскресенск кемежайы үшін жерді Сібір казак әскерінен 99 жылға жалға алды. Ол Ертіс бойымен 1,5 шақырымға дейін созылып, 7,4 шаршы шақырым ауданды алып жатты. Таңдап алынған жер баржалар мен пароходтар аялдау үшін қолайлы болды. Өзен жағалауы бойымен кемелерді қабылдап алу үшін ағаш эстакада (қиылыста бір жолды екінші жолға өткізу үшін салынған құрылым) салынды. Сонымен қатар, жүктерді темір жолдан өзен көлігіне өткізу үшін көпір типтес жер үсті құрылысы салынды. Эстакада ұзындығы 150 метрді, ені 7,5 метрді құрады. Бұған көмір бірден баржаға төгілетін 20 платформа-вагондары сыятын. 427 метр өзен жағасын су шайып кетпеу үшін тас қалқандармен және шырпы шыбықтарын қалқан түрінде өріп, бекініс жасады.
Воскресенск кемежайында қызметкерлер үшін ауданы 2114 шашры метрді құрайтын тұрғын үйлер, жұмыскерлер үшін ауданы 840 шашры метрді құрайтын барақтар, вокзал, паровоз депосы, дүкен, материаллдық қоймалар, кір жуатын орны бар монша, шеберханалар, ағаш кесетін орын, диірмен және т.б. салынды.
Воскрсенск емежайы мен темір жол бірнеше жыл бойы жұмыс істеді. 1900-1903 жылдар аралығында баржаларға тиеліп, темір жол арқылы бір жылда 1,5 миллион пұт көмір жөнелтілді.
1903 жылы қоғам банкротқа ұшырап, темір жол мен кемежай да құлдырады.
Кемежаймен бір мезігілде №5 қазақ ауылының жанында Қызыл Шырпы мекенінде саздан соғылған үйлері бар шағын қоныс пайда болады. Онда кемежай мен темір жолда жұмыс істеген қазақ кедейлері тұрды. Шаруалар қоныс аударғаннан кейін, 1906 жылы поселок халқының саны біртіндеп көбее бастап, «Глинка» қонысының халық саны 1000 адамға жетті. 1912-1913 жылдары бұрынғы кемежай мен Глинка өмірінде өзгерістер болды. Жергілікті казактардың қысымы мен губернатордың жарғысы бойынша кемежай мен поселокқа «Ермак» атауы берілді. 1914 жылы жаңа поселоктың сызбасы бекітілді. Осымен бір мезгілде, 1914 жылдың маусымында Екібастұз көмірін өндіру бойынша жаңа «Қырғыз тау-кен өндірістік қоғамы» құрылды. Он жылдық құлдыраудан кейін темір жол қайта ашылып, іске қосылды. Кемежайдағы жұмыс жандана түсіп, Ермак поселкесі өсіп, ірі селоға айналды.
1917 жылы кемежай мен темір жол жағдайы туралы түсініктеме хатта Воскресенск кемежайында ауданы 35 шаршы метрді құрайтын вокзалдың жолаушылар ғимараты, 4 паравоз сыятын, ауданы 88 шаршы метрді құрайтын, жартылай тастан жартылай темірден жасалған депо болды. Жалпы ауданы 330 шаршы метрді құрайтын, 30-ға жақын ағаш және жер үйлерболды. Кемежайдағы темір жол конторасы ағаштан жасалған, сонымен бірге мұнда паровоз бен бақылаушылар (кондуктор) бригадаларына арналған контора ғимараты да орналасты деп жазылған.
1917 жылғы төңкеріс (революция) оқиғасы кемежай мен Ермак поселкесіндегі тыныш өмірді дүр сілкіндірді. 1918 жылы мамыр айында Екібастұз халық шаруашылығы кеңесінің комиссары және Павлодар депутаттар кеңесінің мүшесі С.И.Царев жергілікті саудагерлердің құрбанына айналып, вокзал маңында айуандықпен өлтірілді. Оның құрметіне сол жерге стэлла орнатылды.
Азамат соғысы кезінде Ермакта жасырын ұйым жұмыс жасады. 1920 жылдан кейін Ермакта революциялық комитет, бұдан кейін поселкелік кеңес құрылды. Ауылдық кеңестің бірінші төрағасы Богаткин, ал 1925 жылы Котельников болды.
1928 жылы А.Котельников пен С.Матвиенконың ұйымдастыруымен Ермакта «Путь Ленина» колхозы құрылды.
1928 жылға дейін Ермак Павлодар уезі болысының орталығы болды. 1920 жылғы санақ бойынша поселокта кентте 1289 адам, 1924 жылы 2433 адам тұрды.
Уезд бен болыстардың жойылуына байланысты 1928 жылы Павлодар округы құрылып, Ермак ауылдық кеңесі бар, қатардағы ауылдар ретінде Павлодар (ол кезде Коряков) ауданының құрамына енді.
Қазақстан Орталық Атқару Комитеті Президиумының 1938 жылғы 14 ақпандағы Қаулысымен Павлодар және Бесқарағай аудандарын ірілендіру арқылы орталығы Ермак селосында орналасқан Каганович ауданы құрылды.
1957 жылы Каганович ауданының атауы Ермак ауданы болып ауыстырылды.
Жаңа қала мен қара металлургия мен энергетика саласының алғашқы алып нысандар құрылысының басталуына байланысты 1961 жылғы 23 қазаннан Қаулысымен Ермак селосы облысқа бағынатын қала мәртебесі берілді. 1992 жылы Ермак ауданының атауы Ақсу ауданы болып өзгертілді. 1993 жылдың 4 мамырында Қазақстан Жоғарғы Кеңес Президиумының Қаулысымен Ермак қаласы Ақсу қаласы болып қайта өзгертілді.
Бірнеше жылдан кейін облыс әкімінің 1997 жылғы 9 шілдедегі шешімімен таратылған Ақсу ауданының аумағы (территория) ауыл аймағы ретінде Ақсу қаласының шекарасына енді, Қалқаман кенті мен ауыл аймақтары Ақсу қаласы әкімшілігінің қарамағына берілді.
2016 жылы 23 қазан күні қаламыз өзінің 55-жылдық мерейтойын атап өтті. Жарты ғасырдан аса уақыт ішінде қаламыз тек Ертіс өңірінде ғана емес, бүкіл Республикадағы алып өнеркәсіп орталығына айналды.