一九五三年徐悲鴻去世後, 他的遺孀廖靜文主動將徐悲鴻的一千二百餘件原作, 包括素描、油畫和國畫, 以及他收藏的全部美術作品共一千多件全部捐獻給國家。他的收藏包括唐、宋、元、明、清以及近代傑出藝術家的字畫和西方畫家的傑作。一九五四年在畫家故居成立了徐悲鴻紀念館。這是在中國第一個由政府出資, 單獨為一個畫家成立的藝術博物館, 專門展出徐悲鴻的作品及藏品。

一九八三年, 擴建後的新紀念館重新向觀眾開放了, 現在的館址在北京新街口。二零一零年開始的大規模擴建工程竣工後，紀念館在二零一九年在原址重新開放。