В «Родословной книге князей и дворян российских и выезжих», называемой также «Бархатной книгой», записано: «Чаадаевы. Выехали из Литвы. Название получили от одного из потомков выехавшего и прозывавшегося Чаадай, но почему, неизвестно». В «поколенной» росписи дворян Чаадаевых родоначальником назван «Левкей прозвище Субота», внук которого Иван Артемьевич, по писцовым арзамасским книгам 1621–1622 годов, владел селом Своробоярским «с деревнями и пустошами». Имение Ивана Артемьевича постепенно расширялось: по вотчинной грамоте 1625 года, пожалованной царем Михаилом Федоровичем, он числился владельцем «полсела Стригина на пруде» в Муромском уезде, в 1649 году приобрел «сельцо Дубцы с деревнями Фурсово и Кузнецово» и в 1653 году — село Хрипуново. Прослужив несколько лет воеводой в Сибири, Иван Артемьевич вышел в отставку и в 1654 году «справил» все свои владения единственному сыну Ивану Ивановичу.
Иван Иванович, прапрадед Петра Яковлевича Чаадаева, один из значительных и многосторонних деятелей второй половины XVII века, проявил себя и как справедливый воевода, и как искусный дипломат. В 1649 году «государь пожаловал его из житья в стряпчие». В первые годы службы стряпчим он участвовал почти исключительно в выездах царя и в придворных церемониях, а с 1658 по 1666 год находился на юге России, где сначала стольником, а затем думным дворянином занимал должность воеводы в Нежине, Переяславле и Киеве в сложный период войны с Польшей и восстания Богдана Хмельницкого. Все это время Иван Иванович истово и честно, невзирая на лица и сословия, защищал интересы как государства, так и подвластного ему населения, чем снискал (особенно в Киеве) любовь и уважение жителей. Пробыв несколько лет воеводой в Архангельске, Иван Иванович перешел на дипломатическое поприще и приобрел широкую известность сначала в звании думного дворянина, а затем окольничего и ближнего окольничего. Чаадаев несколько раз ездил в Варшаву и «в товарищах» и «великим полномочным послом», побывал у «Леопольда Цесаря Римского», в Вене и Венеции. Особенно заметны его заслуги в улучшении взаимоотношений между Россией и Польшей. При непосредственном участии Чаадаева был заключен «вечный» мир России с Польшей, по которому последняя навсегда отказывалась от Киева.
Жизнь единственного сына Ивана Ивановича, Василия Ивановича, капитана лейб-гвардии, гораздо менее примечательна. Правда, Василий Иванович в отличие от отца имел четырех сыновей, один из которых, Петр (дед Петра Яковлевича Чаадаева), также пошел по военной части и служил офицером в лейб-гвардии Семеновском полку. В чине капитана этого полка он был послан из Петербурга в Москву с манифестом о вступлении на престол Елизаветы Петровны, а в 1743 году отправился по приказу в одну из российских губерний для производства ревизии о числе душ, после чего с ним случилось подлинное или мнимое помешательство. Сумасшествие Петра Васильевича, как замечала Екатерина II в своих «Записках», заключалось в том, что он считал себя персидским шахом. «Персидского шаха» поместили в заведение для душевнобольных, но лечение не помогло ему избавиться от мании величия. Тогда представители духовенства убедили императрицу позволить им изгнать из «персидского шаха» злого духа. Елизавета Петровна сама присутствовала при этой процедуре, которая также оказалась бесполезной. Как писала Екатерина II, находились сомневавшиеся в сумасшествии Чаадаева, поскольку во всем остальном Петр Васильевич отличался отменным здравомыслием. Ходили слухи, что он притворялся сумасшедшим, дабы отвлечь от себя подозрения во взяточничестве во время упомянутой ревизии. (Через много лет, словно по наследству, станут распространяться слухи о повреждении рассудка его внука, Петра Яковлевича Чаадаева.)
Сыновья Петра Васильевича еще детьми, как и многие другие представители аристократии, были записаны в лейб-гвардии Семеновский полк, где и служили затем до определенного времени. Один из них, Иван Петрович, родной дядя Петра Яковлевича Чаадаева, выйдя в отставку, занимался административной и литературной деятельностью. В 1767 году его выбрали депутатом от дворянства Муромского уезда в комиссию по выработке новых законов. В этой комиссии Иван Петрович выступил ревностным защитником привилегий родового русского дворянства и противником улучшения положения крепостных крестьян, найдя мощного союзника в лице известного публициста и историка Михаила Михайловича Щербатова, с которым одно время вместе служил в Семеновском полку.
Младший брат Ивана Петровича, Яков Петрович, отец Петра Яковлевича Чаадаева, в составе лейб-гвардии Семеновского полка участвовал в Шведской кампании и получил Георгиевский крест. Выйдя в отставку в чине подполковника, он служил советником Нижегородской уголовной палаты, где сталкивался со злоупотреблениями должностных лиц. Особенно возмущало его поведение управляющего коллегией экономии в Нижегородской губернии Петра Ивановича Прокудина. Совладать с влиятельным чиновником законным путем оказалось невозможно и, наверное, небезопасно. Поэтому советник уголовной палаты прибегнул к… литературе.