黃智賢一家有九兄弟姊妹，爸爸做燒臘小販，一家人去幫手工作。他說：「家中有七男二女，我排第四。以前香港的生活很艱難，爸爸由大陸來香港，小時候我們被訓練，很早就知道要幫忙家庭，一家人齊心合力經營這個家。」