Abancay ya era un centro poblado antes de la llegada de los incas. Fue la frontera cultural incaica, pues más allá del Valle del Pachachaca, empezaba la zona de influencia Chanka. Los españoles nombraron este sitio como Amancay, Villa de Santiago de los Reyes, luego de trasliterar la palabra quechua Amankay, que es una flor nativa de la zona.

Luego de algunos años se cambia el nombre de la ciudad a Villa de Abancay, a principios de la época Republicana y posteriormente es elevada a la categoría de ciudad durante la República.
La decisiva Batalla de Abancay, entre conquistadores almagristas y pizarristas, tuvo lugar en el valle que se encuentra cerca a la ciudad.
Durante la Colonia fue importante lugar de tránsito de mercancías entre las ciudades costeras y la sierra sureste. 

Micaela Bastidas, miembro de una familia de arrieros de la zona, en 1781, junto a su marido Túpac Amaru II, se sublevaron contra el imperio español, en lo que se constituyó como uno de los primeros gritos de emancipación del continente americano.

Abancay fue parte del departamento del Cusco hasta la creación del departamento de Apurímac, el 28 de abril de 1873. Hacia 1940 se construyó la carretera entre Nazca y Cusco, que pasa por Abancay, así como la Vía de los Libertadores, entre Ayacucho y Cusco, convirtiendo a la ciudad en un nudo carretero que ha impulsado su economía.

En los últimos años, con el asfaltado del corredor interocéanico se ha incrementado el movimiento económico de la ciudad y de los distritos y provincias aledaños.

La presencia de familias extranjeras que llegaron a Abancay a partir de 1930, le ha proporcionado características muy peculiares a la ciudad. La influencia se evidencia, por ejemplo, en su comida (tallarines hechos a mano), también en la presencia de numerosos centros de atención como orfelinato, asilo de ancianos, centros de atención médica, centros de apoyo a la juventud, centros de formación educativa básica y superior, internados, etc.
En la actualidad, Abancay es una población heterogénea conformada por personas provenientes de diferentes partes del departamento, del país y del mundo. Esto ha contribuido a ser una ciudad con características de modernidad pese a estar enclavada en una zona muy agreste de la geografía peruana.

Se nota, además, una fuerte inversión privada en viviendas modernas construidas a base de concreto armado. También, llama la atención la presencia de un número creciente de condominios con edificaciones de hasta cinco pisos que albergan numerosos departamentos. Por otra parte, se nota la inversión privada en centros de esparcimiento y de comida. La inversión pública no se ha quedado atrás y se muestra en la construcción de modernos complejos educativos y calles asfaltadas.