Prapředek Josefa Hoffmanna Karel Weltz byl ve službách hraběte Tomáše Vinciguerry z Colallto a pak jeho syna Jana Nepomuka jako komorník, hudební skladatel a maestro kapely na brtnickém zámku. Od r.1754 byl hofmistrem hrabat z Colallto ve Vídni.
Jeho bratr Ignác Weltz byl v Brtnici purkmistrem. V roce 1758 získal dům na náměstí od svého tchána a po požáru r.1760 jej barokně přestavěl.
S jeho dcerou Alžbětou se v roce 1790 oženil František Hoffmann, pradědeček architekta Hoffmanna. V roce 1800 se stal podílníkem a ředitelem nově založené bavlnářské manufaktury v Brtnici, která zanikla r.1818. Byl také brtnickým purkmistrem.
Také jeho syn, dědeček architekta Hoffmanna, byl purkmistrem. Zemřel r.1845.
Otec arch.Josefa Hoffmanna, Josef František Karel Hoffmann byl v Brtnici
starostou plných 35 let až do své smrti r.1903. Roku 1866 se oženil v
Přízřenicích s Leopoldinou Tuppy. Měli šest dětí. Dvě zemřely v útlém věku,
přežily tři dcery a syn Josef, budoucí proslulý architekt a designér.