Sede original del Observatorio Astronómico Nacional de España, radicada en un pequeño alto del parque del Retiro. Su origen data del reinado de Carlos III, aunque su construcción no empezó hasta 1790, reinando ya Carlos IV. Inicialmente estuvo equipado con un telescopio reflector de 40 centímetros.

La Guerra de la Independencia interrumpió sus actividades, que no se reanudaron hasta mediados del siglo XIX. Durante la segunda mitad de este siglo y la primera del XX el observatorio adquirió nuevo instrumental, pero la Guerra Civil supuso un nuevo parón.

El crecimiento de Madrid hizo que su emplazamiento comenzara a ser poco adecuado, razón por la que a finales de la década de los setenta trasladó sus actividades al observatorio de Yebes, en la provincia de Guadalajara, y al de Calar Alto, en la de Almería.

Desde este observatorio Rafael Carrasco descubrió en 1935 el asteroide número 1.644, al que bautizó con el nombre de Rafita.

A su vez el asteroide número 14.967, descubierto en 1997 desde el observatorio de Mallorca, recibió el nombre de Madrid.