Na wzniesieniu, na początku XIV wieku, pierwsi właściciele dóbr racławickich wznieśli siedzibę obronną. Fundatorami budowli byla rodzina Karwacjanów herbu Zadora.

Na środku dziedzińca utworzonego na cyplu wzgórza wzniesiono drewnianą, kwadratową wieżę o boku 5,2m. Budowlę tą wkrótce zastąpiono budynkiem murowanym z kamienia, częściowo podpiwniczonym. Typologicznie był to obiekt pośredni między kamienicą a obronno-mieszkalną wieżą. Budynek miał plan zbliżony do prostokąta o bokach 19,5 x 14m i grubości murów ponad 2m.

Już w połowie XV wieku po zamku nie został żaden ślad. Za powód upadku zamku przyjmuje się wady konstrukcyjne i słaby materiał budowlany (kamień marglowy).

W trakcie badań archeologicznych prowadzonych w latach 1978-1980 i 1983-1986 w ruinach znaleziono między innymi: srebrny denar Władysława Łokietka, 5 zbrojników pancerza, kościane szpile i szydła, 2 kościane kołki do naciągu strun instrumentu.

Pośród fundamentów kamiennych Grodziska rośnie pięć lip, posadzonych w 1894r. dla uczczenia setnej rocznicy Bitwy pod Racławicami. Symbolizują one polskich generałów walczących w powstaniu kościuszkowskim: Tadeusza Kościuszkę, Antoniego Madalińskiego, Jana Śląskiego, Józefa Zajączka i Ludwika Mangeta.

Wśród tych lip stał krzyż postawiony w maju 1918 roku przez młodzież uczestniczącą w manifestacji pod przywództwem Stefana Żeromskiego. W 1955 roku krzyż na skutek zmurszenia drewna przewrócił się. W roku 1982 w ukryciu, nocą ustawiono na jego miejscu nowy krzyż dębowy.