La Torre de Victoria fue construido especialmente como un "depósito a prueba de fuego para los libros y documentos", como lo exige el concurso para reconstruir el Palacio de Westminster después del incendio del 16 de octubre de 1834, que destruyó el edificio y casi todos los registros de la Cámara de los Comunes. Los registros de la Cámara de los Lores sobrevivieron el incendio porque eran, en ese momento, almacenados en la torre de la joya, que estaba a una distancia del edificio principal y sigue en pie al cruzar la calle de la Torre Victoria.

El diseño de Charles Barry del nuevo Palacio de Westminster ofreció una torre sobre la entrada del Soberano, 12 plantas de las cuales almacenamiento de registros incorporado. Augustus Pugin produjo la mayor parte de los diseños arquitectónicos y elevaciones del proyecto, así como el diseño de interiores. La primera piedra de la torre fue colocada por la reina Victoria el 22 de diciembre de 1843, y la construcción se completó en 1860.

La torre fue originalmente llamada "Torre del Rey" porque el fuego de 1834 que destruyó el antiguo Palacio de Westminster se produjo durante el reinado del rey William IV.