Когда к 1898 году коллекция Цветкова перестала умещаться в его особняке в Кривоарбатском переулке дом 5, он решил построить для размещения в нем галереи работ русских художников новый дом.
Осенью 1898 года И. Е. Цветков приобрел за 14 тысяч рублей «пустопорожнее место» на берегу Москвы-реки на Пречистенской набережной. Он сам составил план будущего дома с точным расположением комнат. Проект попросил сделать Василия Васнецова.
Позже он вспоминал:
- «Внешний же вид, все 4 фасада сделаны по рисункам и указаниям В. М. Васнецова, по его же рисункам и указаниям сделаны все украшения дома, как изразцами, так и раскраской»
- «Подъезжаем к прелестнейшему особняку, выстроенному по рисунку Васнецова. Спокойные, гармоничные пропорции, славный древнерусский стиль, украшения и фризы майоликовые. И. Е. Цветков выстроил этот дом исключительно для своей картинной галереи. И свет, и распределение комнат — все приспособлено для нее… Поднимаемся по широкой лестнице. Весь вестибюль в картинах русских мастеров. Зала вся сплошь увешана. Вдоль стен витрины с рисунками».
В мае 1909 года Цветков передаёт свою коллекцию и дом на Пречистенской набережной в дар городу Москве. В 1915 году в доме находилось 450 картин, 1373 рисунка и 36 скульптур.
После революции галерея была национализирована и 17 августа 1917 года открыта для свободного доступа посетителей. В 1917—25 Цветковская галерея существовала как самостоятельный художественный музей. В 1926 году была присоединена к Третьяковской галерее, получив статус отдела рисунков. В 1926 году в Государственную Третьяковскую галерею поступили личный архив и библиотека Цветкова.
Затем часть коллекции рисунков и часть собрания живописи (свыше 100 картин) оставили в Государственной Третьяковской галерее, а свыше 300 картин переданы в Государственный музейный фонд и распределены по другим музеям России.
В годы Второй мировой войны, в марте 1942 года для приёма частей авиаполка «Нормандия — Неман» в Москву прибыл генерал Эрнест Пети. Генералу и его помощнику по вопросам авиации капитану Альберу Мирле был выделен особняк Цветкова для создания «Военной миссии».
В настоящее время хозяин особняка — военный атташе Франции. Теперь это обычные жилые апартаменты. В вестибюле располагается небольшая экспозиция, посвященная истории «Нормандии — Неман»: фотографии летчиков — Героев Советского Союза, герб авиаполка, документы и наградные листы, автограф генерала Шарля де Голля.