Eski çağlardan günümüze kalmış yapıların en önemlilerinden birisi olan Augustus Tapınağı Ulus’ta Hacı Bayram Camii’nin bitişiğindedir. Augustus Tapınağı, Roma İmparatoru Augustus adına bir bağlılık nişanesi olmak üzere yaptırılmıştır. Tapınağın duvarlarında, İmparator Augustus tarafından, ölümünden önce vesta rahibelerine teslim edilen dört belgeden, yaşamı boyunca yaptığı işleri anlatan sonuncu belge “Index rerum gestarum” adlı belge Yunanca ve Latince yazılmış olarak yer almaktadır. Tapınak kısa yanlarında 8, uzun yanlarında ise 15 sütunu kapsayan Korinth düzenindeki bir peristasis ile çevrilmiştir. Bu sütunlarla birlikte tapınağın kapısı önünde 4, arkada 2 adet sütun yerleri bulunmaktadır. Yalnız iki yan duvarı ile kenarları işlemeli olan kapı kısmı eski hali ile ayakta durmaktadır. Kapının yüksekliği 8.4 m., genişliği 3.34 m’dir. Bu büyük ve görkemli kapıdan kutsal yapının iç bölümüne ve pronaos denilen üstü kapalı bir geçide gelinir. Augustus’un yaşamını anlatan Latince metin pronaosun iki duvarının iç yüzlerinde yer almaktadır. Yunanca yazıt ise cellanın güneybatıdaki duvarının dış yüzünde bulunmaktadır. Tapınağın öteki ucunda ise anteler arasında Korinth düzeninde iki sütunu bulunan opisthodomos yer alır. Tapınak, 5. yüzyılda Bizans döneminde çeşitli eklemeler yapılarak, pencereler açılarak kilise haline getirilmiştir. Güneydoğu duvarında görülen üç pencere bu dönemden kalmadır. 15. yüzyılın başlarında tapınağın kuzeybatı köşesine bitişik bir şekilde Hacı Bayram Camii inşa edilmiştir.