满族有佟、关、马、索、齐、富、那、郎“八大姓”之说,而佟佳氏之佟姓位列八大姓之首。俗言清代官员佟氏占“佟半朝”。经考证,包括皇后、妃嫔在内,佟佳氏在清廷任职者108人,任职府、知县者577人,说“佟半朝”,确实名不虚传。
满族的佟佳氏人丁兴旺、人才辈出,是满族大姓旺族。佟佳氏先祖本属于满族的前身女真族人,世居辽东佟佳江一带。佟氏的始祖名叫达尔汉,从事贸易开始寓居开原,后来迁移至明朝的抚顺关,遂定居于此。佟图赖13岁那一年。也就是后金天命三年(1618)三月,太祖努尔哈赤挥师攻下抚顺,佟图赖的父亲佟养正带领全家老小主动归附。在佟佳氏家族中,佟图赖的族叔佟养性在后金历史上是一个很有名的人物,家财万贯且学富五车,归顺后金后得到努尔哈赤极高礼遇,不仅委以重任,而且娶后金宗室爱新觉罗家族的女儿为妻,在后金国中他被尊称为“石乌礼额驸”。