Desde la conquista de la Isla para el reino de Castilla a principios del siglo XV, la Villa, como llama la gente del lugar a San Sebastián de La Gomera, ha ostentado la capitalidad administrativa y política insular. El casco de este núcleo con quinientos años de historia, a veces agitada, tras de sí, ha ido creciendo y evolucionando desde lo que fue el primer asentamiento a la orilla de un fértil barranco y frente a una bahía abrigada para el fondeo de navíos. El fondeo ya no es necesario y un moderno muelle es hoy la puerta de entrada a esta villa y a la isla, gracias al continuo ir y venir de buques de pasajeros que la comunican a diario tanto con la cercana Tenerife, como con la también vecinas La Palma y El Hierro.
Los fundadores y pobladores de lo que fuen San Sebastián de La Gomera en sus orígenes tenían, junto a la protección de la bahía para sus navíos a vela , unos recursos hídricos que permitían la posibilidad de aguada. Los pozos proporcionaron el necesario líquido hasta hace pocas décadas, extrayendo agua por medio de molinos o norias. Así, las primeras casa fueron construyéndose junto a la misma orilla de la playa y la arteria principal de esta capital, la calle Del Medio, comenzó a dirigir su rumbo hacia el interior de una barranco que , cómo no, se llama De La Villa, confluencia de otros dos, Aguajilva y La Laja, hacia donde también se dirigió el asentamiento de no pocos gomeros.
Guarde San Sebastián de La Gomera interesantes muestras de su pasado con ejemplos arquitectónicos qu eindican al visitante la ectividad religiosa, política, social y militar que este asentamiento ha protagonizado a lo largo de más de cinco siglos, Así, en la misma calle Del Medio se encuentra la Ermita de San Sebastián, una sencilla y humilde construcción, de la primeras en levantarse en la Villa, pues data de 1540, aunque su acabado definitivo es posterior, de 1674. Atravesando su entrada principal de arco de medio punto, encontramos una nave de once metros de largo por cinco de ancho, con una capilla precedida por otro arco de medio punto.

Más cerca del mar, aunque sin el riesgo de antaño cuando fuertes mareas llegaban a inundar la calle Del Medio, se levanta el principal templo de la Villa, la Iglesia de Nuestra Señora de la Asunción, edificada sobre los restos de una antigua ermita. La riqueza del patrimonio que guarda tras sus paredes incluye el artesonado mudéjar, tablas renacentistas y diversas imágenes y obras pictóricas, entre ellas un Cristo crucificado de Luján Pérez, cuya última restauración culminó en 1988.
La iglesia original donde oró Cristóbal Colón antes de inciar su aventura americana, sin embargo, forma parte de la historia y actualmente presenta a nuestros ojos una vista diferenta a la de aquellos que la concibieron, diseñaron y construyeron en tiempos de Hernán Peraza El Joven. Sucesivos ataques piratas entre los siglos XVI y XVII arrasaron la pequeña ciudad en varias ocasiones y el templo de la Asunción no pudao escapar a la destrucción. La actual iglesia mezcla en armonía los estilos medéjar, gótico y barroco. Su fachada tiene un cuerpo central para el entrada principal en toba roja y dos puerta laterales en piedra blanca.

La Torre del Conde, la más importante muestra de la arquitectura militar de Canarias todavía en pie, conoció y padeció aquellos ataques corsarios, aunque, concebida más para resistir motines de la población local que para impedir el desembarco de berberiscos, ingleses u holandeses con intenciones nada pacíficas, poco pudo hacer en defensa de la plaza.Cuando Heran Peraza decidió levantarla en torno al año 1450, en plena conquista del interior de la Isla, ppensaba más en ataques procedentes desde el interior que en los peligros que podrían venirle desde el mar.
Pero San Sebastián de La Gomera ya no es ese pequeño asentamiento que crecía en torno a la calle Del Medio. El eje de su casco gira en torno a tre vís pricipales: la citada calle Del Medio, la paralela calle Ruiz de Padrón, ambas unidas a su vez por pequeños callejones, y la avenida de Colón que las atraviesa y se dirige a la avenida V Centenario, cincunvalación del casco junto al cauce del barranco.
En esas calles encontraremos sedes de instituciones como la del cabildo Insular y de organizaciones sociales como los sindicatos, el Auditorio Insular Infanta Cristina en lo que anteriormente fue un cine, el museo Casa de Colón, el cuál alberga una importante colección arqueológica norperuana con piezas, en su mayoría pertenecientes a la cultura Chimú de los siglos VIII al XVI.