Фрэнсис Брет Гарт родился в Олбани (штат Нью-Йорк) 25 августа 1836 года. Отец его — Генри Гарт — был школьным учителем. Человек широко образованный, любитель и знаток литературы, он не обладал качествами, необходимыми для быстрого делового успеха, и семья, в которой было четверо детей, жила до чрезвычайности скромно. В доме не было ничего лишнего, но зато была прекрасная библиотека. Маленький Фрэнк был «книжным мальчиком». Он редко выходил из дома и был постоянно погружен в чтение. Уже тогда он познакомился с сочинениями Дефо, Фильдинга, Смоллета, Шекспира, Ирвинга, Вальтера Скотта.