La planta del palacio la conforma un cuadrado de 63 metros de lado con un patio circular inscrito en su interior. Esta disposición, principal rasgo manierista del palacio, no tiene precedentes en la arquitectura del Renacimiento, y sitúa la construcción en lo que se considera la vanguardia artística del momento. El edificio consta de dos niveles: el bajo es de orden toscano completamante almohadillado, en cuyas pilastras se insertan grandes anillas de bronce decoradas. El piso superior es de orden jónico y sus pilastras alternadas con vanos adintelados provistos de frontón. Las dos fachadas principales ostentan sendas portadas de piedra de Sierra Elvira. El patio circular también muestra dos pisos. El inferior está presidido por una columnata dórica de piedra pudinga con un entablamento muy ortodoxo, formado por triglifos y metopas con motivos de guirnaldas y bucráneos. El piso superior lo forma una columnata jónica, más ligera, con entablamento liso. Esta estructura general del patio muestra un claro conocimiento de la arquitectura imperial romana, y se encuadraría en el más puro Renacimiento de no ser por su disposición curva, que provoca en el espectador desconcierto cuando se penetra por sus fachadas principales, y supedita los espacios interiores y escaleras a la idea generatriz.