27.02.1979 r. poślubił swoją wieloletnią przyjaciółkę, Bogumiłę Cielecką z domu Marszałek. Znali się jeszcze z lat, kiedy grywał w zespole kinowym.
Fajt wiele czasu poświęcał na kształcenie muzyczne siostrzeńca swojej drugiej żony - Tomasza Bugaja. Dzięki niemu ukończył on średnią szkołę muzyczną w Częstochowie, a następnie podjął studia dyrygentury oraz muzykologii na Akademii Muzycznej w Warszawie. Obecnie jest znanym dyrygentem.
W ostatnich latach życia (1985 – 1988) po udarze przeprowadził się z żoną z domu przy ul. Krótkiej do mieszkania na ulicy Sokolej. Po śmierci Fajta większość pamiątek rodzinnych zostało wyprzedanych, wśród nich znajdowało się również pianino Henryka Fajta, które obecnie jest własnością Jarosława Dąbrówki.