Ústředí knihovny se nachází ve třech budovách v historickém jádru města mezi Velkým náměstím a Klicperovým divadlem. Knihovna zde spolu s Galerií moderního umění a divadlem vytváří kulturní centrum vhodně umístěné v prostředí městské památkové rezervace. Návštěvníky města zaujme především novobarokní budova knihovny v Tomkově ulici číslo popisné 177 svým architektonicky výrazným exteriérem i krásnými interiéry, které jsou volně přístupné veřejnosti. Budova je propojena se sousedním domem čp.194 v Dlouhé ulici v jeden celek.

Nachází se zde:

-         ústřední půjčovna,

-         čítárna novin a časopisů, spojená se specializovanou půjčovnou literatury o výtvarném umění

-         informační středisko se studovnou,

-         zvuková knihovna pro nevidomé a zrakově postižené (součást hudební knihovny),

-         ředitelství knihovny, odbor knihovních fondů, metodické, ekonomické a provozní oddělení.

Na protější straně Tomkovy ulice, v domě čp.620, je umístěna hudební knihovna s vlastní půjčovnou, studovnou, poslechovým studiem a informačním pracovištěm.

Knihovna má na území města rozsáhlou síť poboček. Všechny pobočky slouží dospělým čtenářům i dětem do patnácti let; při osmi z nich pracují samostatná oddělení pro děti.