Rufai Tarikatı’nın ileri gelenlerinden Zeynel Abidin’in 15. yüzyılda bugünkü türbenin bulunduğu çevreye tekke, cami ve çeşme yaptırdığı bilinmektedir. Kayseri’de İmam Sultan adı ile anılan Zeynel Abidin, 1414 yılında Kayseri’de vefat etmiş ve mezarı üzerine bugünkü yerde mütevazı bir türbe yapılmıştır. II. Abdülhamit zamanında, 1886 yılında ise Zeynel Abidin’in mezarının bulunduğu yere mevcut türbe inşa ettirilmiştir. Türbe, kare planlı bir yapı olup üzeri kubbe ile örtülmüştür. Dört tarafında üçer pencere bulunan yapının bütün pencerelerinin üstünde iki satırlık beyitler dolanmaktadır. Türbe mekânının ortasında Zeynel Abidin’in sandukası bulunmaktadır.
Yapının giriş kapısı üzerinde bulunan inşa kitabesinde, oval bir madalyona işlenmiş ll. Abdülhamit’in tuğrası yer almaktadır.