Ereğli ilçe merkezindeki çarşı içinde yer alan kervansaray, üzeri beşik tonoz örtülü on birimden meydana gelen ana mekân, giriş eyvanının sağ ve sol yönündeki birer eyvan, tabhane ve günümüzce mevcut olmayan açık avludan oluşan bir yapıdır. Açık avludan geriye sadece doğu ve batı yönündeki iki giriş kalmış; bunlardan doğudaki girişe Bağdat Kapısı, batıdakine de Konya Kapısı denilir. Sivri kemerli beşik tonozlu giriş eyvanı güney cephenin ortasındadır. Giriş eyvanının her iki yanında daha küçük ölçekli, sivri beşik tonozlu birer eyvan daha bulunur. Tabhanelerin üzerini doğu-batı yönünde birer beşik tonoz örter. Bu mekânlar ana mekândan daha alçak tutulmuştur. Batıdaki eyvandan batıya doğru yan yana mekânlar sıralanır. Bu mekânlar birbirine ve tabhaneye geçişi sağlar. Yapının güney cephesinden, eyvan biçiminde düzenlenmiş girişten ahır bölümüne girilir.
Yapının ortasında yer alan dört fil ayağı birbirine ve duvarlara kemerlerle bağlanır. Duvarlara birbirine simetrik ocaklar yerleştirilmiştir. Duvarlarda ve tonozların aynalıklarda bulunan mazgal pencereler yapıyı aydınlatır.. Yapının inşasında kesme taş ve tuğla kullanılmıştır. Duvarlar kesme taş, tonozların dar yüzeyleri ise tuğla ile örülmüştür. Üst örtü kurşun ile kaplıdır. Mimar Sinan’a ait eserler arasında Vezir-i Azam Rüstem Paşa Kervansarayı’nın adı da geçmektedir. Rüstem Paşa 1565 yılında vefat etmiş; kervansaray da muhtemelen Rüstem Paşa’nın ölümünden sonra vasiyeti üzerine yaptırılmıştır.
Kervansaray günümüzde Millet Kıraathanesi olarak kullanılmaktadır.