Muzeum powstało w 1965 roku pod nazwą Muzeum Architektury i Odbudowy. Założycielem i wieloletnim dyrektorem muzeum był Olgierd Czerner pełniący wcześniej funkcję konserwatora Wrocławia (1965-1999).
Muzeum znajduje się w zespole klasztoru bernardynów (od 1974 r. także jego część kościelną).
W zbiorach muzealnych znajdują się poniemieckie elementy architektury, projekty architektoniczne, ikonografia architektoniczna czy pokaźna kolekcja witraży.
W 2000 roku muzeum połączono z Miejskim Archiwum Budowlanym.