Historia Pałacu Branickich sięga epoki saskiej. Został on wybudowany w XVI wieku. Styl gotycko-renesansowy pokazuje majestatyczność tej budowli.
Został zaprojektowany przez Hioba Bretfusa, który w tamtych czasach był bardzo ceniony, a na koncie ma wiele znanych budowli, tj. Zamek Dolnego w Wilnie Dwór królewski w Knyszynie, czy modernizacja Starego Zamku w Kamieńcu Podolskim, Zamek w Tykocinie. Zamek został przebudowany na styl późnobarokowy. Podczas 2. wojny światowej został zniszczony. Po wojnie został odbudowany i od tego czasu ma miejsce tam Uniwersytet Medyczny w Białymstoku.
Pałac Branickich był znany z tego, że w XVIII wieku na jego terenie miały miejsce ogrody barokowe. W 2012 roku zrekonstruowano je do stanu z tamtych czasów. Odbudowany został Pawilon Chiński, Bramy do Zwierzyńca Jeleni, a także zostały wycięte wysokie drzewa.