Один из самых престижных культурных центров Санкт-Петербурга. В XVIII веке здесь, помимо всего прочего, проводил свои опыты граф Калиостро.
Необычная летопись этого дома открывается указом Екатерины Великой, подарившей здание И. Елагину, поэту и масону, директору Императорских театров России. В доме могущественного и просвещённого сановника читали свои произведения Д. Фонвизин и А. Сумароков, игрались спектакли, проходили концерты и выступления различных знаменитостей.
В XIX веке здание захватывают чиновники: генерал-губернатор, полицеймейстер и прочие «слуги народа». И только царь Александр Освободитель передал этот дом Обществу Поощрения Художеств, для развития отечественного искусства. Стипендии Общества получали лучшие выпускники художественной академии. В этих стенах формировалась история золотого века русской живописи от Товарищества передвижнков до Мира искусства.
После революции 1917 года здание получает Союз художников, владеющий им до сих пор. Здесь проходили авторские выставки Н. Рериха, В. Серова, В. Васнецова, Л. Бакста, К. Коровина, Н. Альтмана, Н. Акимова. Персональная выставка в этом центре означает признание главного культурного центра России.