临安伯孙氏出身寒门，第一任老临安伯孙文山曾为帝王太保，膝下唯余一子。但可惜不成气候，便将所有希望寄托在了嫡长孙孙崇身上。

孙崇少有盛名，后娶念汝郎君为夫，育一子，名叫孙衍。孙崇本为爵位首继承人，但因急病猝然长逝，其夫念汝郎君随后携子改嫁

到了第二代临安伯时，孙家后辈基本都处于享乐阶段，直到第三任临安伯独子因溺水而亡，世子之位空悬。

孙家后辈为了爵位斗得你死我活，满城风雨。后来，在女明宗的授意下爵位由孙衍承袭(第四任)。

孙衍为孙崇与念汝郎君的独子，却一直生活在房家。后来，因出色表现被女明帝看重，尚帝王幼子孝心郎君，育九子。

随后，孙衍第三子孙延族(第五任)继承了爵位。孙延族生子孙广扬(第六任)，可惜孙广扬寿命不长，正值壮年意外去世。于是，在死前，并把自己的独子孙锐栢托付给了自己唯一的弟弟孙广名抚养。