Le Familistère utilise le matériau traditionnel du Nord, la brique. Il en emploie près de 10 millions. Ce matériau bon marché vaudra son surnom, un rien méprisant, à l’édifice : « le tas de briques » !
Pourtant, selon Godin, le Familistère ne doit pas faire « pauvre ». Son plan est inspiré de celui du château de Versailles, et on l’appelle aussi le « palais social ». De plus, la brique à elle seule permet de composer des décorations simples mais réussies. Des reliefs, des enduits rouges ou blancs habillent les murs des bâtiments.