Während Franzosen und Bayern am 4. November 1805 1.800 Tote zu beklagen haben, sind unter Swinburnes Kommando hundert Tiroler gefallen. Der Rückzug der Angreifer in der Dämmerung lässt den Oberstleutnant hoffen, bis zum nächsten Morgen eine Kampfpause zu haben. Doch um zehn Uhr abends erreicht ihn ein Bote mit der Nachricht, dass Leutasch gefallen ist. Swinburne ist klar, dass Scharnitz von hinten angegriffen werden wird. Nun muss er schnell handeln, um den Weg nach Innsbruck freizuhalten und zu verhindern, dass die Franzosen über den Schlossberg nach Scharnitz durchstoßen.
Swinburne befielt seinen Truppen, den raschen Rückzug vorzubereiten. Er selbst bricht noch in der Nacht mit einem Kontingent und zwei Kanonen Richtung Seefeld auf, um den Schlossberg zu sichern. Bei Tagesanbruch, gegen fünf Uhr früh, trifft er dort auf den Vorposten der Franzosen, etwa 200 Soldaten. Es kommt zu Gefechten. Den Tirolern gelingt es, ihre Gegner zu zerstreuen, drei Offiziere und fünfzig Soldaten nehmen sie gefangen. Fürs Erste scheint der Weg nach Innsbruck frei zu sein. Aber Swinburne weiß, dass dieser alles andere als leicht werden wird.
Die Kämpfe am Schlossberg haben Loisons Division alarmiert. Sie bieten eine Verstärkung auf, die kurz vor Seefeld auf das bereits dezimierte Bataillon Swinburnes trifft. Im Kampf gelingt den Dragonern ein Ausbruch, sie stoßen bis fast in den Ortskern vor. Doch die Franzosen sind übermächtig. Swinburne erkennt die Aussichtslosigkeit seines Kampfes. Im Wissen, das Vorrücken der Franzosen Richtung Innsbruck zumindest verzögert zu haben, kapituliert er.
General Loison schickt daraufhin 4.000 Männer nach Scharnitz, die die Porta Claudia wie geplant von hinten übernehmen. Die Tiroler müssen sich ergeben und öffnen Marschall Ney die Tore. Dieser hält sich nur kurz in Scharnitz auf. Er ordnet an, dass die Befestigungsanlage zerstört wird, damit sie künftig kein Hindernis mehr sein kann. Die Porta Claudia wird gesprengt. Ney bricht mit seinen Truppen nach Innsbruck auf. Am 6. November marschiert er in die Stadt ein.
Am 2. Dezember 1805 verliert Österreich die Schlacht von Austerlitz und muss Tirol noch im selben Jahr im Frieden von Pressburg an Bayern abtreten. Nun zeigt sich, dass Napoleon die militärischen Demütigungen durch die Tiroler nicht vergessen hat: Der Name Tirol wird verboten, das Land in die bayerischen Verwaltungskreise Eisack, Etsch und Inn aufgeteilt. Die Beamtenschaft wird ausgetauscht, der Tiroler Landtag aufgelöst.