Město leží na moravsko-slovenském pomezí při vstupu do Vlárského průsmyku, v severovýchodní části Bílých Karpat, které jsou vyhlášeny biosférickou rezervací UNESCO. Je souměstím čtyř sloučených částí, obcí Brumova, Bylnice a dvou bývalých sklářských osad Svatého Štěpána a Sidonie. Vznik a historie města jsou spjaty se založením a dějinami hradu Brumov, který byl zbudován někde na počátku 13. století jako královský hrad střežící a spravující část východní Moravy proti vojenským vpádům z východu Evropy a z Asie. V průběhu času až do počátku 19. století odolával nájezdům a vpádům Kumánů, slovenské a uherské bouřící se šlechty ( např. Matúše Čáka, Rákoczyovým povstalcům, Boczkayovcům ), stal se důležitou pevností při vpádech Tatarů a Turků na Moravu zejména v 17. století. Po dvou zničujících požárech v letech 1760 a 1820 byl natrvalo opuštěn a r. 1827 se stává ruinou. Osada Brumov v podhradí je r. 1500 králem Vladislavem II. povýšena na město. V roce 1977 je započat na hradní výšině archeologický průzkum spojený s odkrýváním, konzervací a opravami dochovaných stavebních částí a opevnění hradu. Od r. 2000 je hrad zpřístupněn veřejnosti se stálými expozicemi o historii místa aj. V bývalé panské vile pod hradem je umístěno Městské informační centrum a Městské muzeum s expozicemi o historii města a života v podhradí. Dalšími historicky cennými památkami jsou budova radnice spolu se vzácnými sochami a kašnou na náměstí, kostel sv. Václava, budova pivovaru, sklářská dělnická kolonie v Sidonii, Židovský hřbitov či kapličky na celém území města.
