Původní panský pivovar se sladovnou ve městě fungoval snad již od 15. století. Dům s dnešním čp. 65 s pozdně gotický jádrem je z první poloviny 16. století a byl asi využíván jako první panský pivovar již v r. 1545, z kterého pochází první zmínky o pivovaru, sladovně a také chmelnici. Sladovna byla umístěna v objektu čp. 61 nedaleko Vídeňské brány, chmel se pěstoval na polích nedaleko zámku na SV okraji Bystřice.
V tomto domě se odehrávalo vlastní vaření piva a zpracování sladu. Sklad sudů s pivem byl také ve sklepích pod dnešní klasicistně přestavěnou budovou zámku ve východním průčelí náměstí. Po požáru v roce 1774 byla budova opravena s novou klasicistní fasádou do náměstí. V roce 1857 bylo vaření piva panského pivovaru v režii velkostatku v majetku šlechtického rodu Riese – Stalburgů přemístěno do bývalého objektu panských lázní, později v 18. století přádelny bavlny (dnes čp. 307 s restaurací Pod Lipkami).
V objektu byla od roku 1850 umístěna sladovna, od roku 1912 s novým sušícím hvozdem, která byla v provozu až do ukončení vaření piva v roce 1928. Budova je po rekonstrukci od 90. let společně se sousední budovou čp. 58 využívána v patře pro městský úřad, vinárnu v přízemí nahradilo dnešní rodinné centrum.