El Señor Ross, administrador de la cuantiosa fortuna de Juana Ross de Edwards, tenía además a su cargo la Hacienda de Nancagua, ubicada en las cercanías de la localidad. En 1885 compra el Fundo Petrén, en Pichilemu, y concibe un visionario proyecto para la localidad, que en su idea, podría convertirse en un activo puerto. Desde el sitial que le brindaba su condición de parlamentario realizó una activa campaña para concretar el proyecto.

Agustín Ross no logró dotar a la localidad de un puerto, pero la convirtió en un balneario de gran auge a comienzos de siglo. Construyó un hotel y una avenida con palmeras que conducía a la playa a través de escalinatas de estilo clásico, y que hacia el oriente enfrentaba un gran parque. Dentro del recinto del parque se edificó entre 1904 y 1906 el Casino, que sería el primer establecimiento de este tipo del país.

El Casino de Pichilemu presenta el aspecto de un castillo francés. Enfrenta la playa sobre una superficie con fuertes desniveles, que se compensaron a través de la instalación de un zócalo que da altura a la parte posterior del edificio. Por sobre toda la construcción se instaló el piso de mansarda que la singulariza, cuya techumbre presenta una pronunciada pendiente. La fachada principal se distingue por los dos pabellones de dos pisos, techados por cuatro empinados faldones, que sobresalen del conjunto. Desde ellos se proyectan dos volúmenes paralelos unificados en el otro extremo por una fachada recta. El piso del zócalo era ocupado por las salas de juego; en el primer piso se distribuían la recepción, el bar, el comedor y algunas habitaciones; la mansarda era ocupada por el personal de servicio.

El Casino de Pichilemu funcionó como tal hasta 1932. Más tarde funcionó en él un hotel y actualemente es el Centro Cultural de Pichilemu.