Cmentarz żydowski w Mikołowie został założony na początku XVIII wieku między dzisiejszymi ulicami Konstytucji 3-go Maja a Starą Drogą. Najstarsza zachowana macewa pochodzi z 1726 roku. Przez ponad dwa stulecia służył jako miejsce pochówku dla lokalnej społeczności żydowskiej oraz mieszkańców okolicznych miejscowości. W styczniu 1945 roku, podczas ewakuacji obozu KL Auschwitz, na terenie cmentarza pochowano 60 więźniów oraz 14 osób rozstrzelanych przez Schutzpolizei. Od strony ul. Konstytucji 3-go Maja znajdował się dom przedpogrzebowy, który został zniszczony w czasie II wojny światowej i później rozebrany.