La plaza fue el centro neurálgico de Madrid durante la Edad Media. En los siglos XIII y XIV constituía el foco comercial de la ciudad, como lugar de mercado. Entró en decadencia a partir del siglo XV, cuando el rey Juan II de Castilla ordenó construir la Plaza del Arrabal (precedente de la actual Plaza Mayor), a la que se desplazó la actividad comercial de la villa.

Pese a ello, mantuvo su importancia como lugar de residencia de las principales familias nobiliarias de Madrid. En su entorno estaban situados diferentes palacios (como las casas palaciegas de los Lasso de Castilla y de los marqueses de la Romana, entre otras), de los cuales sólo se conserva el Palacio de los Vargas, apellido vinculado al patriciado urbano desde la conquista cristiana de la ciudad.

El lugar también tuvo una gran relevancia desde el punto de vista religioso. En la plaza se llevaba a cabo una costumbre católica, que se encuentra en el origen de su topónimo y que fue instaurada en el siglo XVI, una vez levantada la Capilla del Obispo en la cara meridional del recinto. Los vecinos de la villa estaban obligados a entregar paja a los capellanes y cabildo de la citada capilla, con la que éstos alimentaban a sus mulas.

En el siglo XIX, los propietarios de los antiguos palacios cedieron sus solares para la construcción de viviendas destinadas a las clases populares, con las que obtenían rentas por alquiler.

Cuenta la leyenda que en la plaza de la Paja, frente a la iglesia de San Andrés, existió hasta el siglo XIX el palacio de los Laso de Castilla, inmenso edificio según Mesonero Romanos que llegó a conocerlo, comunicado con la iglesia de San Andrés por un paso elevado, en el que tuvo lugar una célebre junta de los grandes de Castilla con el cardenal Cisneros quien, al ser interpelado que con qué poderes gobernaba, respondió asomándose al balcón: «estos son mis poderes hasta que el príncipe venga», señalando a la artillería que formaba en la plaza.