Kostel Všech svatých byl poprvé připomínán v roce 1235. Dochovaly se zde nejstarší části zdiva v Litoměřicích. Před polovinou 16. století byl kostel součástí městského opevnění, z této doby pochází i 54 m vysoká gotická věž. V roce 1719 provedl barokní přestavbu kostela Octavio Broggio, který je i se svým otcem pohřben přímo v kostele.