Ku Klux Klan terusik dengan kotbah Earl Little. Mereka menebar teror. Keluarga Little pindah 1926 ke Milwaukee, Wisconsin, dan pindah lagi ke Lansing, Michigan. Di Lansing, keluarga itu sering diganggu oleh Black Legion, sebuah kelompok pendukung supremasi kulit putih.
Tiga tahun kemudian, 1929 rumah keluarga itu dibakar. Earl Little menuduh Black Legion sebagai pelakunya. Dua tahun kemudian, 1931 terjadilah pembunuhan Earl Little. Didorong beberapa orang kulit putih ke arah trem yang sedang melaju. Kesedihan berikutnya terjadi saat usianya 13 tahun. Ibundanya harus dirawat di rumah sakit jiwa. Malcolm melalui masa kecilnya dari satu panti asuhan ke panti asuhan lainnya.[caption id="attachment_280578" align="alignnone" width="900"]