Gardner sinh năm 1889 tại Massachusetts. Ông và gia đình chuyển đến Oroville, California, nơi ông bắt đầu học trung học và tham gia một nhóm đấm bốc. Ông bị đình chỉ học và sau đó bị đuổi khỏi trường