Dave nació en Atlantic City, Nueva Jersey, el 2 de julio de 1932. Rex y Auleva Thomas lo adoptaron cuando tenía seis semanas de nacido. Cuando Dave tenía cinco años, Auleva murió y sus primeros años los pasó mudándose constantemente de estado a estado, mientras su padre adoptivo buscaba trabajo.

Los mejores recuerdos de la infancia de Dave eran los veranos que pasaba en Michigan con su abuela Minnie Sinclair. En su familia adoptiva, la persona con la que Dave era más cercano era su abuela y le encantaba el tiempo que pasaba con ella y las lecciones que le enseñaba. Entre otras cosas, le enseñó a hacer lo correcto, a tratar a la gente con respeto y otras importantes lecciones sobre la calidad y el servicio, cosas que más tarde utilizaría en su vida profesional. Minnie le enseño a Dave que “el trabajo duro es bueno para el alma, e impide que sientas lástima de ti mismo, porque no tienes tiempo para hacerlo”. Rex, el padre de Dave, no era un hombre de familia típico, pero a menudo comían juntos en restaurantes, principalmente en restaurantes locales que preparaban buenas hamburguesas. Para Dave, comer fuera era un evento especial porque era la única vez que sentía que tenía a su padre solo para él. Además, a Dave le gustaba ver a las familias sentadas juntas, compartiendo una comida. Cenar afuera se convirtió en una pasión para Dave, y decidió que algún día sería dueño de su propio restaurante.

Como resultado de las mudanzas de ciudad en ciudad, Dave sentía que no tenía raíces, así que buscó refugiarse en el trabajo, con la esperanza de que el trabajo le diera el respeto y el dinero que necesitaba para disfrutar más la vida.