Durch Ausgrabungen ist bekannt, dass im Gebiet des Rorschacherbergs schon vor der Römerzeit Menschen hausten. Die spätere Entwicklung entsprang aus dem Fürstenland, welches mehr als tausend Jahre unter der Hoheit des Klosters St. Gallen stand. Rorschacherberg entwickelte sich erst spät im Jahr 1803 nach der Gründung des Kantons St.Gallen zu einer eigenen politischen Gemeinde. Das Gebiet bestand während mehreren Jahrhunderten aus verstreuten Weilern, Hofgruppen und beherrschenden Schlössern. In den letzten Jahrzenten entstand in Rorschacherberg durch einen hohen Zuwachs in der Bevölkerung eine dichtere Bebauung, welche hauptsächlich aus Wohnbauten besteht. Dieser Zuwachs ist auf die Enge des Bezirkshauptortes Rorschach zurückzuführen.
Das Loch bildete früher einen kleinen Weiler mit lockerer Wegbebauung entlang dem Rietbach, welche sich über die letzten Jahrhunderte weiter verdichtete. So bildet sich heute eine Bebauung aus ein- bis dreigeschossigen Häusern aus drei verschiedenen Epochen. Dies beinhaltet bäuerliche Holzhäuser aus dem 18. und 19. Jahrhundert, verputzte Massivbauten vom frühen 20. Jahrhundert und jüngere Bauten der gegenwärtigen Baukultur. Die bäuerlichen Häuser aus dem 18. und 19. Jahrhundert stehen für sich und beziehen sich lediglich auf die Himmelsrichtung Osten. Weiter wurde zu dieser Zeit das Haus zur frohen Aussicht erbaut, welches als Solitär auf dem Hügel die restliche Bebauung überragt. Die Bauten aus der ersten Hälfte des 20. Jahrhundert richten sich in Richtung der Lochstrasse und erinnern somit an ein Strassendorf. Die Lochstrasse bildet heute das Zentrum des Lochs. Diese führt entlang dem Rietbach und wird im Süden von der Autobahn aus den 70er Jahren begrenzt. Dadurch bildet sich im Gebiet eine klare Zäsur, da hinter der Autobahn die Bebauung stark abnimmt.