В 1845 г. в Гавре открылся Музей изящных искусств. На момент открытия собрание музея состояло из разделов декоративно-прикладного искусства, живописи, скульптуры и естественной истории. В разделе живописи экспонировались произведения представителей различных школ европейской живописи начиная с эпохи Возрождения.
На рубеже XX столетия руководство музея приняло решение пополнять коллекцию в основном произведениями современного изобразительного искусства.
Во время Второй мировой войны в результате бомбардировок Музей изящных искусств Гавра был полностью разрушен. Из всего музейного собрания сохранились только около 1500 картин, которые ранее были вывезены в безопасное место.
В 1951 г. муниципалитет Гавра вынес постановление о построении нового здания музея. Тем не менее открытие нового Музея изящных искусств состоялось только в 1961 г.
В 1999 г. музей был переименован в Музей Мальро, а в 2011 г., вновь поменял название и стал именоваться Музеем современного искусства им. Андре Мальро.
В настоящее время в музее хранится второе по численности собрание картин импрессионистов во Франции, насчитывающее более 200 полотен.
В экспозиции музея представлены произведения Камиля Коро, Камиля Писарро, Эжена Делакруа, Эжена Будена, Гюстава Курбе, Станисласа Лепина, Эдуарда Мане, Пьера-Огюста Ренуара, Эдгара Дега, Клода Моне, Альфреда Сислея, Армана Гийомена, Феликса Валлоттона, Поля Серюзье, Эдуара Вюйара, Альбера Марке, Анри Матисса.
70 картин из собрания Музея современного искусства им. Андре Мальро