La història ens explica que el castell de Tossa fou erigit l’any 1187 per disposició de l'abat de Ripoll, que posseïa el lloc des de l'any 966 per donació del comte de Barcelona. L'abat de Ripoll concedí també el mateix any de 1187 una carta de poblament, que permetia de construir dins i fora del recinte fortificat, i que es troba a l'origen de la Vila Vella. La senyoria del monestir de Ripoll, molt rigorosa pel que fa als beneficis obtinguts de la pesca, perdurà pràcticament fins a la fi de l'Antic Règim.
D'esquena al mar, als peus del vessant nord-oest del promontori que confronta el cap de Tossa, es troba la Vila Vella, protegida per un clos murat als sectors més vulnerables que donen a la badia i a la costa. La Vila Vella, amb carrers irregulars i estrets per tal de salvar els desnivells del turó, s'estén a redós d'un recinte emmurallat que té un perímetre d'uns 300 metres. D'aquest recinte, actualment se'n conserva el llenç de muralla amb set torres rodones, de les quals tres es diferencien per la major alçada i per l'acabament amb corseres, formades per mènsules escalonades que sostenen petits arcs de punt rodó. Cadascuna d'elles té un nom: la torre d'en Joanàs, situada a l'extrem més oriental, enfilada al rocam per sobre de la mar, la torre de les Hores o del Rellotge, al mig, a tocar de la porta d'entrada a la vila, i la torre del Codolar o de l'Homenatge, al sector de ponent, al costat del que fou el Palau del Governador, avui dia convertit en museu municipal. A la part més alta del promontori no va caldre aixecar muralla ja que el fort pendent del penya-segat actuava com a defensa natural. Tant la muralla com les torres es confegiren amb la pedra granítica, tant abundant a la zona, i amb morter de calç i sorra. Aquestes torres devien tenir tres pisos amb cobertes de volta de pedra, i l'accés al seu interior es feia a través d'una porta des del camí de ronda. Les altres quatre torres amb un diàmetre i una alçada menor són intercalades a la cortina de la muralla, tres entre la torre d'en Joanàs i la del Rellotge, i una entre aquesta i la del Codolar. La muralla està coronada per merlets rectangulars, ornamentats als angles per petites mènsules i amb espitlleres. A l'alçada de les espitlleres, per la cara interna, trobem el camí de ronda que envolta tot el recinte. L'entrada a la vila, oberta al costat de la torre d'en Joanàs, és totalment artificial. El veritable portal d'entrada al sector de ponent, i protegit per la torre del Rellotge, consisteix en una doble porta de punt rodó amb rastell emmarcada per dovelles i per un parament diferenciat de la resta del recinte amb carreus perfectament treballats. Des d'aquesta porta es passa a una plaça que conserva el seu caràcter de pati d'entrada, ja que des d'aquí s'accedeix pròpiament al nucli de població, bé pel carrer del Batlle o del Governador. A la plaça d'armes, hi ha una escala adossada a la part interna de la muralla que porta al camí de ronda. Les cases que trobem entre els carrers estrets són dels segles XV i XVI, amb edificis que presenten certs elements gòtics, com ara el Palau del Batlle, actual Museu Municipal.
El topònim té una etimologia incerta, s'ha donat com a segur que el nom de la vila de Tossa li venia del tossal al peu del qual està edificada, però no acaba d'esser convincent aquesta opinió si tenim presents dues coses: primer, que el nom de Tossa es pronuncia amb o tancada, mentre que la tossa indicadora d'elevació del terreny es pronuncia a moltes comarques, i concretament a La Selva, amb o oberta; i segon, que les formes medievals del topònim són Tussia (any 1379) i Torsa (any 1016), i que ha aparegut la forma Turissa molt més antigament, a mosaics romans trobats en aquella localitat. A Navarra hi ha un topònim Turissa o Iturissa en textos romans, i aquesta forma indueix Coromines a creure probable que tant el topònim navarrès com el català provinguin del basc iturri, ‘font’ (cf. Congr. Barc. 415).
