杜，原名杜，接受章太炎的建议，改名杜。

杜是一个严厉的家长。由于自身的经历和教训，杜特别重视家庭教育，对孩子要求严格。他的儿子、儿媳、女儿、女婿众多，全家和睦，儿孙众多。

1948年，蒋经国在上海进行经济改革，严厉打击“奸商和老虎”。为了做个榜样，杜的第三个儿子杜维平被逮捕了。

当他的儿子被拘留时，杜扫了他的脸。他曾对范绍说:“我挟持蒋介石这么多年，连我儿子都被他抓了。现在没有让步。是他们要求我下台的时候了。”

长子杜在台湾银行工作。二儿子杜在联合国总部工作。杜卫平杜卫新，三四儿子，在巴西、美国等地做生意。第五个儿子杜，毕业于黄埔军校，留在了上海。第六个儿子杜维宁也在上海去世。第七个儿子杜维善，先是在台湾地质部工作，后来移居加拿大经商。八个儿子杜伟新在台湾省英年早逝。

大女儿杜美如嫁给了台湾省的一名飞行员，丈夫成为约旦外交官，随后定居约旦。杜很爱这个女儿，很想看到她结婚，可惜她没有等到那一天。

二小姐杜是第四任妻子所生，但她是孟小冬带大的，所以和孟小冬的关系比较好。他晚年照顾孟小冬。第三位小姐杜美娟是孟小冬的养女。孟晓冬与她断绝母女关系，是因为她坚持要嫁给一位华裔美国外交官。为了求得原谅，杜美娟在孟小冬面前跪了一天一夜，但孟小冬依然倔强。孟晓冬去世后，家人发现她把女儿的每一封信都放在身边，反复看。