坎摩尔出生于纽约布鲁克林区，延续了来自德国父亲和意大利母亲的血统。父亲詹姆斯·坎摩尔（James Kimmel）是IBM的高管，母亲琼（Joan）则是位家庭主妇。他是三个孩子中的老大。坎摩尔是罗马天主教徒，年幼时曾做过辅祭。他的母亲有意大利血统，父亲的祖先是德国移民。叔叔弗兰克·波坦察曾经自2003年到2011年去世一直作为《吉米·坎摩尔现场》的常规嘉宾出现在节目上。表弟Sal Iacono曾和坎摩尔共同主持《Win Ben Stein's Money》，现在是《吉米·坎摩尔现场》的编剧。