安倍家族背景非常复杂。往近处说，安倍家族与岸家族(以岸信介为代表)和佐藤家族(以佐藤荣作为代表)的亲缘关系非常密切。往远处说，安倍家族与吉田家族(以吉田茂为代表)和麻生家族(以麻生太郎为代表)也有亲缘联系。再远处说，安倍家族甚至于与日本天皇的皇族(宽仁亲王)都可以扯上亲戚关系。
在安倍晋三之前，其祖上一共出过两名首相。一个是岸信介，另一个是佐藤荣作。二人其实是亲兄弟。
岸信介早年被过继到了岸家当了舅舅岸信政的养子，后来岸信政将女儿岸良子嫁与岸信介，育有一子一女，儿子叫岸信和，女儿叫岸洋子。
岸信介长期为日本军国主义政府从事经济工作，战后被定为甲级战犯，但后来侥幸逃过审判，还担任了日本首相一职。
岸洋子长大后，岸信介委托和他关系密切的日本《每日新闻》记者长坂庆一给女儿找对象。长坂庆一便推荐了自己的同事安倍晋太郎，他正是安倍晋三的父亲。
与岸洋子的相识使安倍晋太郎的人生中出现了一抹亮色。通过与她的联姻，安倍晋太郎迅速在日本政坛打开局面。1956年，岸信介担任外相，安倍晋太郎出任他的秘书官。岸信介当上首相后，安倍又成为首相秘书官，俨然是岸信介的心腹。岸信介逐渐淡出政坛后，安倍晋太郎接过其衣钵，开始独立发展。
值得一提的是，安倍晋太郎是小泉纯一郎的政治导师、"恩人"。1988年，正是在他的推荐下，小泉纯一郎才得以进入竹下内阁任职。因此，小泉纯一郎对安倍晋三的提携也可以视作"知恩图报"的表现。
安倍晋太郎与岸洋子育有三子，长子安倍宽信，是三菱商事中国分社社长;次子安倍晋三;幼子过继到舅舅岸信和家做养子，叫岸信夫。
20世纪80年代，安倍晋太郎是福田派内定的接班人，他与田中派继承人竹下登达成"密约"，先由竹下接过中曾根康弘的首相职位，然后传给安倍晋太郎。不料，1991年，安倍晋太郎在即将出任首相的前夕突然病逝，令人扼腕。"一门三首相"的愿望只能通过安倍晋三来实现。
安倍宽早年与大岛义昌的外孙女本堂静子结婚，生下安倍晋太郎，不久即离婚。静子与安倍宽离婚之后与横浜正金银行的银行职员西村再婚，生下西村正雄。西村正雄后来成为日本兴业银行的董事长，与异父兄长安倍晋太郎关系较好。