黄显声的家人并没有过多的被记载，就连黄显声的夫人也没有被过多的提及。只是黄显声的孙子黄文祥曾经说过，奶奶经常说爷爷以前的故事。黄显声的儿子名叫黄耀华，曾任辽宁中心医院的副院长。

当然除了妻子儿女，黄显声还有一位红粉佳人，这也是一段传奇的故事。在息烽监狱，黄显声曾经学过一些艺术，在狱中黄显声救活了一名被控参加学运被捕的福建女大学生黄彤光。在之后的接触中，黄彤光就爱上了这位气宇非凡、儒雅坚韧的将军。1944年出狱后，黄彤光一面全力寻找路线营救将军出狱，一面通过狱中的看守中内线与将军私传书信。最终两人终于定下终身大事，将军答应只要能够出狱，愿与黄彤光结为连理。在定情时，黄彤光交给将军一张红纸，请将军将来用它包结婚戒指来娶自己。

后来黄显声被杨进兴给秘密杀害了，黄彤光得知消息之后，就在黄显声将军死后第五天到红岩山上面找黄显声的遗体，尽管除了黄彤光等几人还有随行的解放军战士等一同帮忙寻找，但是还是没有找到黄显声的遗体。但是就在众人都绝望的时候，黄彤光却在一块心途中看到了一片小纸片，黄彤光立马就跪了下来找到了黄显声的遗体，而这片红纸就是当时黄彤光送给黄显声用来包戒指的红纸。虽然两人没有正式结婚，但是也算黄彤光是黄显声的家人吧。

要说黄显声的故事，除了黄显声和黄彤光在狱中的一段狱中恋情的爱情故事，另外的就要说说黄显声和小萝卜头的故事了。

小萝卜头原名宋振中，是解放战争时期的小烈士。宋振中的父母都是共产党员，父亲宋绮云是杨虎城将军的秘书。宋振中八个月的时候，他的父母被国民党反动派秘密逮捕，他也被带进了监狱。直到九岁去世，宋振中短短的人生中，竟有八年的时间都是在狱中度过的，对于一个孩子来说未免太过可怜了。

宋振中从小跟着母亲徐林侠在女牢中长大，一直到四五岁还没有见过关在男牢中的父亲。由于终年住在阴暗、潮湿的牢房里，吃的是发霉发臭的米饭，小振中长到八九岁时，个头却只有四五岁孩子那么高，直到后来经过多次斗争，才同意由同监狱的政治犯黄显声将军教“小萝卜头”念书。“小萝卜头”学习非常刻苦，记忆力很强，也很懂礼貌，非常尊敬老师黄显声。当然黄显声也教会了小萝卜头许多道理，也让年纪小小的小萝卜头深有党性。

在国民党溃逃之前，特务们安排杀害小萝卜头和他的父母。残酷的敌人用刺刀杀死了他的父母，又逼向小萝卜头。小萝卜头喊着：我没有罪，我要出去。灭绝人性的刽子手劈胸就是几刀，把他杀害了，年仅九岁的小英雄就这样英雄就义了。解放后，人民政府追认宋振中和他的父母为革命烈士。

作为打响东北抗日第一枪的东北军著名的抗日爱国将领黄显声，其壮烈又奉献的一生值得人们去铭记，现在黄显声在辽宁岫岩的故居也被重新修建一心，被作为是爱国教育基地供广大的青少年等前往学习、参观。

经过翔实资料的收集，修建人员对黄显声故居有了精准的规划，精益求精，以“修旧如旧”为思想，将黄家大院，重新展示在人们面前。黄家大院内的5座灰砖瓦房及4座炮台基本按原貌修复，并于2005年9月27日举行了竣工剪彩仪式,黄显声将军的大儿媳赵玉云及孙子黄文祥参加了故居修复竣工剪彩仪式。

在黄显声故居我们首先看到了灰瓦红门的大门楼，门楼上方挂着“黄显声将军故居”的烫金牌匾。走进院内，有一座黄身披大衣、英姿勃勃的黄显声将军的雕像坐落在院中央，这个雕像是由岫岩偏岭镇的白云石打造而成的，也算是对黄显声的一种尊重吧。这座雕像高2.98米，下面的花岗石台座高1.1米，雕像四周的花坛9.18米，象征不忘国耻“九·一八”。黄显声将军故居屋内有黄显声儿时用过的摇篮及桌椅，院内东西两侧原黄家仓库和雇工平房，现被建为岫岩人民抗日斗争纪念馆和黄显声将军生平陈列馆。

黄显声将军一生戎马，没有在战场上殉国，最后却是被国民党的间谍给杀死，对于这样一位将军来说，实在是一件令人愤懑的事情。