Здание, окутанное мрачным романтическим флёром, проектировал по просьбе самого императора Николая I архитектор Николай Бенуа.
В комплекс императорских конюшен помимо главного здания на 328 лошадей входили манеж, две кузницы, ветеринарная лечебница, жилые дома для служащих. По форме все они напоминают трапецию, что особенно заметно, если смотреть с высоты. А вот массивные башни по углам зданий и зубчатые, словно у средневековой крепости, стены можно заметить и с земли.
Конный двор появился на этом месте за столетие до того, как Бенуа возвёл императорские конюшни. Строительство новых каменных зданий началось в 1847 году, а старые деревянные снесли.
Отдельного внимания заслуживают мелкие детали оформления, сделанные по рисункам скульпторов Дылова и Иенсена. Среди замыслов архитектора был ещё и бассейн для купания лошадей, а также установка конной скульптуры мастера Клодта, но этим планам не суждено было сбыться: началась Крымская война, и бюджет резко урезали.
В 2019 году в здании закончили реставрацию.