Kilis Çaylak Mahallesi’nde bulunan cami günümüze gelemeyen ancak İbrahim hakkı Konyalı’nın değindiği kitabesine göre Şeyh Hilal tarafından 1631 yılında yaptırılmıştır. Evliya Çelebi de buradan; “Cümleden mükellef ve binayı metin Hacı Hilal Mescididir” diyerek söz etmiştir.
Caminin ilk yapımı ile ilgili bilgi bulunmamaktadır. Zamanla harap olan bu cami 1937 yılında Şerbetçi hacı Ahmet’e satılmış daha sonra halkın yardımıyla ibadete açılmış ve bu yüzden de Şeyh Ahmet Camisi ismi ile anılmıştır. Cami 1985 yılında yeniden onarılmıştır. Bu onarımlar sırasında minaresi dışında eski yapısından hiçbir iz günümüze gelememiştir.
