杨愔，字遵彦，小字秦王，弘农华阴人氏。父津，魏时官至司空、侍中杨愔孩提时，好像不能说话，但风度深敏，出入门闾，不曾嬉戏。六岁学史书，十一接受《诗》、《易》，喜欢《左氏春秋》。幼年丧母，曾在舅源子恭家生活过一段时间。子恭同他一块吃饭，问读什么书，答：“《诗》。”子恭说：“读到《渭阳》篇了吗？”杨忄音便号哭不止，子恭也跟着杨忄音欷感叹，这样，一顿饭也没有吃完。子恭后来对杨津讲：“我们常说秦王不聪明，从今天开始，当刮目相看。”杨忄音家一门四世同堂，家道隆盛，兄弟读书的三十多人。学馆庭院中有棵李树，李子掉到了地上，儿童们都争着去抢，只杨忄音一个人坐着不动，其叔父日韦刚好有事来学馆，看见此景后大为嗟叹，回过头来对宾客们说：“此儿恬适，有我们家的家风。”宅园中有茂竹，杨日韦就为..在竹林边做了一间房子，让他独处其中，常常用铜盘盛最好的饭菜送给他吃。并且督促别的孩子说：“你们如果也像遵彦那样谨慎好学，自然就会得到竹林别室、铜盘鱼肉之食的。”杨忄音的从父兄黄门侍郎杨昱尤其器重他，曾对人夸赞道：“这小家伙乳齿未落，已是我家的龙文。再过十年，当求之千里之外。