Gjern Bakker er opstået som en rand foran en gletsjer, der siden er gennemskåret af de store mængder smeltevand under sidste istid. Herved er der opstået en tunneldal fra Gjern by til Gudenåen.
Det højeste punkt er Åshøj der er 104 meter.
Bakkerne har oprindelig været dækket af skov, men det meste forsvandt som følge af hugst til brænde, husbygning. Siden blev bakkerne dækket af lyng. I dag findes kun få rester af den oprindelige skov i form af egekrat, især på skråninger.
Bakkerne har, på grund af det meget kuperede terræn og den sandede jord, kun i meget ringe omfang været dyrket. I 1893 foreslog lokale beboerne derfor Hedeselskabet at bakkerne blev beplantet, da de mente, at området ”på Grund af sin ualmindelige Naturskønhed fortjener en bedre Skæbne”.
Siden er området blevet plantet til med især gran og fyr.