Los Jardines tienen su origen entre los años 1630 y 1640, cuando el Conde-Duque de Olivares (Don Gaspar de Guzmán y Pimentel), valido de Felipe IV (1621–1665), le regaló al rey unos terrenos que le habían sido cedidos por el Duque de Fernán Núñez para el recreo de la Corte en torno al Monasterio de los Jerónimos de Madrid. Así, con la reforma del Cuarto Real que había junto al Monasterio, se inició la construcción del Palacio del Buen Retiro. Contaba entonces con unas 145 hectáreas. Aunque esta segunda residencia real iba a estar en lo que en aquellos tiempos eran las afueras de la villa de Madrid, no estaba excesivamente lejos del alcázar y resultó ser un lugar muy agradable por estar en una zona muy boscosa y fresca.

Bajo la dirección de los arquitectos Giovanni Battista Crescenzi y Alonso Carbonell se construyeron diversos edificios, entre ellos el teatro del Buen Retiro que acogió representaciones teatrales de los grandes del Siglo de Oro, Calderón de la Barca y Lope de Vega. Perduran aún el Casón del Buen Retiro, antiguo Salón de Baile, el Museo del Ejército, antaño Salón de Reinos con sus paredes decoradas con pinturas de Velázquez, Zurbarán y frescos de Lucas Jordán y los jardines.

Éstos se levantaron al mismo tiempo que el palacio, trabajando en ellos, entre otros, Cosme Lotti, escenógrafo del Gran Duque de Toscana, y edificándose una leonera para la exhibición de animales salvajes y una pajarera para aves exóticas. El estanque grande, escenario de naumaquias y espectáculos acuáticos, el estanque ochavado o de las campanillas y la ría chica pertenecen a este período inicial.