Die ständigen Grenzstreitigkeiten zwischen Pommern und Brandenburg sorgten dafür, daß sich zwischen 1288 und 1319 sechs Brandenburger Markgrafen regelmäßig oder ständig in der Schwedter Burg aufhielten. So heißt es, daß Konrad der IV. Schwedt zu seiner Residenz erkor und 1304 hier gestorben ist. Der letzte war der Markgraf Woldemar, der kurz vor seinem Tode nachweislich ebenfalls in Schwedt weilte.
Mit dem Aussterben der Askanischen Linie in der Mark Brandenburg begann ab 1320 eine unglückliche Zeit für die einstmals politisch und wirtschaftlich bedeutende Stadt und ihre Bürger. Die Pommern stellten erneute Ansprüche auf die Uckermark und selbst die Herzöge von Mecklenburg versuchten ihren Vorteil aus den Fehden zwischen den Pommern und Brandenburgern zu ziehen und besetzten die Uckermark. Lang andauernde Kämpfe sorgten für viel Verwirrung und Not. Als Schwedt im Zuge dieser Auseinandersetzungen 1354 wieder zu Pommern gelangte, war die Stadt schon ziemlich am Boden. Die Verlegung der Zollstation nach Gartz gab ihr den Rest und das Stadtrecht schien vollends in Vergessenheit zu geraten.
Die Fehde zwischen Brandenburgern und Pommern spitzte sich allerdings immer weiter zu. 1434 belagerte der brandenburgische Kurfürst Friedrich I. die Stadt Schwedt, mußte sich aber erfolglos zurückziehen. Nachdem die Brandenburger mehrfach bis 1437 bei Vierraden und Stendell von den Pommern geschlagen wurden, setzten sie sich ab 1468 doch durch und Schwedt gelangte mit dem Vertrag zu Prenzlau (28.06.1479) dauerhaft zur Mark Brandenburg. An die Zeiten, in denen Schwedt zu Pommern gehörte, erinnert heute noch der pommersche Greif im Stadtwappen.
1481 erwarb der Graf Hans von Hohenstein die Burg Vierraden ca. 2 km nördlich von Schwedt und anschließend für 300 rheinische Gulden vom Schwedter Amthauptmann Hans von Aschersleben die Stadt Schwedt samt Schloß. Unter der Linie der Grafen von Hohenstein gelangte Schwedt fast wieder zu altem Glanz. Sie sorgten dafür, daß 1515 das Stadtrecht erneuert wurde. Ab 1518 verlegten sie ihren Wohnsitz dauerhaft von der Burg Vierraden nach Schwedt, wo jetzt an Stelle der Burg ein kleineres Schloß (Amtshaus) stand. Dieses wurde von den Grafen zu einem Renaissanceschloß ausgebaut. 1572 wurde die Stadtkirche baulich erweitert und reichhaltig ausgestattet. 1580 wurde ein Rathaus auf dem Markt errichtet. Einen ersten 3 km langen Oderdamm quer durch das Odertal verdanken wir ebenfalls den um ihre Stadt wohl bedachten Grafen. Mit dem Tode des letzten Grafen von Hohenstein im Jahre 1609 fiel die Stadt als offenes Lehen an den Kurfürsten zurück.