J. Enrique Ampudia Mello señala que los archivos de la Administración Pública Federal sufrieron, en la década de los setenta, una explosión documental, en la cual los archivistas de esa época se vieron rebasados por la enorme marejada de papeles. Este fenómeno no fue ajeno al Archivo General de la Nación, el cual —a pesar de encontrarse esparcido en tres distintas sedes: Palacio Nacional; antiguo Palacio de la Secretaría de Comunicaciones y Obras Públicas; y antiguo Templo de nuestra Señora de Guadalupe—, fue insuficiente para hacer frente a la creciente documentación que por su valor histórico tenía que incorporar y conservar dentro de su acervo.
La Secretaría de Gobernación, ministerio que por aquellos años estaba encargada de la buena conducción del AGN, no escatimó recursos en proveer lo necesario para garantizar la operación de esta institución, encargada de resguardar el patrimonio documental y recibir las transferencias secundarias de los archivos con valor histórico. Por lo tanto, el primer problema a resolver era encontrar un lugar digno para concentrar, en un sólo edificio, todos estos acervos, además de lograr unificar su control, conservación y consulta.
El 27 de agosto de 1976, la Penitenciaría del Distrito Federal, conocida popularmente como Palacio Negro de Lecumberri, por sus historias de injusticia, había llegado a su fin, quedando en el abandono y con la posibilidad patente de su demolición. Sin embargo, los historiadores Edmundo O'Gorman, Jorge Alberto Manrique y Eduardo Blanquel; y los arquitectos Flavio Salamanca y Jorge L. Medellín —en aquel tiempo presidente del Consejo Internacional de Monumentos y Sitios ICOMOS México—, lograron frenar la destrucción del inmueble, inaugurado por el general Porfirio Díaz en 1900.
Fue hasta principios de 1977 —gracias a la visión de Jesús Reyes Heroles—, cuando el Palacio Negro fue propuesto como nueva sede del AGN. La arquitectura penitenciaria de fines del siglo XIX sería empleada para resguardar adecuadamente la documentación, ya que el sistema panóptico permitía vigilar los sietes antiguas crujías, que funcionarían ahora como galerías, donde se mantendrían ordenados y organizados los diversos fondos documentales del AGN.
En mayo de aquel año, el edificio fue incluido dentro del proyecto de Remodelación del antiguo centro comercial de la Ciudad de México, que contemplaba la adaptación de edificios abandonados para usos culturales.
El restablecimiento de la antigua Penitenciaría como la nueva casa del AGN, estuvo a cargo del arquitecto Jorge L. Medellín, quien entre los principios que respetó para llevar a cabo la intervención se puede señalar el diseño ambiental, al establecer un jardín público en la parte posterior; la recuperación del sitio para el servicio a la comunidad, puesto que el proyecto incluía crear un centro cultural en una zona urbana que carecía de esos servicios; y por supuesto, el uso contemporáneo de un edificio antiguo, sin hacer una costosa inversión.
El 19 de marzo de 1985, Jesús Reyes Heroles dejaría este mundo y un gran legado como Secretario de Gobernación, al dotar de todos los recursos necesarios para el correcto funcionamiento del AGN.