czterokrotnie żonaty: 1. Norma Tillman (03.07.1931 - 04.12.1941, rozwód), 2 dzieci: Anthony i Zoe; 2. Joyce Hunter (04.12.1941 - 1950, rozwód); 3. Susanne Kalish (05.05.1950 - 1957, rozwód), 2 dzieci; 4. Elsie Souls Lee (od 21.09.1965 do jego śmierci)