Hlavní hradby byly vybudovány kolem centra města za vlády Jana Lucemburského se dvěma branami při výjezdu směrem na Prahu a na Vídeň. V 16. století byly zpevněny dalším okruhem parkánové hradby s příkopem naplňovaným vodou z rybníka pod hradem a valem s palisádou. U západní Pražské brány byl později vytvořen předsunutý barbakán. Hlavní hradby vznikly v 2. polovině 14. století, jak dokazují její typické znaky pro opevnění té doby – obranné ochozy na silných kamenných zdech o šířce 170 cm a cimbuří – střídání proluk a širokých stínek se střílnami.
Už v roce 1341 se sice uvádí Bystřice jako civitas, což znamená městskou osadu, již nejspíše opevněnou, ale hradby patrně ještě nebyly dokončeny. Podle způsobu provedení byly zřejmě vybudovány až po získání Bystřice královským hofmistrem Konrádem Krajířem z Krajku od krále Václava IV. v roce 1381. V pozdní gotice na sklonku 15. a počátku 16. století byla přidána před tyto zdi ještě další nižší parkánová hradba se střílnami bez ozubů oddělená od hlavní hradby parkánem šířky kolem 5 metrů. Z této doby je i polygonální bašta anebo barbakán na západní straně města. Z toho zůstal zachovalý jen zbytek – zaoblená zeď zabudovaná v domě čp. 181 (Na Můstku) a část ostění dvou bran, jedna s viditelnou rýhou pro zvednutý padací most. Ještě na mapě katastru z roku 1828 je viditelná linie obou hradebních zdí s baštami a parkánem (bašta je zakreslena jako hranice pozemku i v dnešním digitalizovaném katastru), východní Vídeňská brána a potok svedený jako náhon k mlýnu napájený z později v 19. století vypuštěného a zasypaného zámeckého rybníka Meier, dnes plochy parku u zámku.
Josef Novák, autor soupisu památek na Jindřichohradecku popisoval na počátku 20. století tehdejší hradby dle zápisu v kronice takto: Opevnění města jest nejlépe zachováno ještě na straně jižní, kde rovným směrem táhne se hluboký příkop potokem protékaný, až ke svahu náspu 9 m široký. Na straně městské jest místy ještě původní zeď se střílnami, jinde jest jen část zdi podezdívkou plotů zahradních tady zřízených. U nového mostu kamenného, přes příkop vedoucího, stojí stavení na místě bývalé dosti široké věže. V nějaké vzdálenosti od ní na západ poznati lze bývalou čtyřhrannou baštu. Na východním konci strany jižní, viděti jest dvě dlouhé zdi, 1,51 m silné, jednu vyšší a druhou nižší. Ve vyšší střídá se pod střechou pětkrát střílna, dovnitř se úžící, s úzkým oknem, později prolomeným, když za hradbou zřízen seník. Za střílnami mohlo se státi na širší části spodní zdi (posledně byla opravena asi r. 1705). Hradby byly přerušeny dvěma branami, Vídeňskou a Pražskou. Nad Vídeňskou branou bývala do r. 1774 věž. Vně brány býval zvoditý most, zvláštní pro vozy a jiný pro chodce. Druhá brána, Pražská, r. 1825 snesena, jsouc sešlá, byla blíže severozápadního rohu města. V uličce spojující horní náměstí s dolním, jsou viděti zbytky žulových pilířů obou vchodů. Byla 21 kroků dlouhá a u vnějšího vchodu 2,9 m široká.