Фредерик Уильям Бойтон Смит (1837 — 1919) родился в Дорчестере в сентябре или октябре 1837 года, и его крещение состоялось 13 октября в церкви Святого Петра в Дорчестере. Явно, он родился в музыкальной семье: его отец, также по имени Фредерик Уильям Смит, был музыкантом; его мать, Хелен Бойтон, и её сестра Клара (которая была учительницей музыки) были дочерьми Ричарда Бойтона, профессора и учителя игры на пиано. Хелен родом из Клифтон, Бристоль, где она вышла замуж за отца Бойтона в сентябре 1835 года. Чтобы избежать путаницы с отцом, Фредерик-младший обычно известен как Бойтон Смит.

По данным переписи 1861 года, отец Бойтона Смита изначально был уроженцем графства Кент, родом из Дила, и переехал с Хелен в Дорчестер. Он записан как «профессор музыки и танцев».