Północny fragment granicy polsko-niemieckiej długi na 607 km oddzielał terytorium Polski od prowincji Prusy Wschodnie powiększonej w 1920 r. o wschodnią część dawnej prowincji Prusy Zachodnie po przekazaniu Polsce Pomorza Gdańskiego na mocy Traktatu Wersalskiego. Na zachodzie fragment ten kończył się trójstykiem polsko-niemiecko-gdańskim koło Białej Góry (po stronie miemieckiej), a na wschodzie trójstykiem polsko-niemiecko-litewskim w pobliżu Wiżajn. Podzielony został na pięć sekcji granicznych oznaczonych cyframi rzymskimi. W około 2/3 pokrywał się z dawną granicą niemiecko-rosyjską (część wschodnia jako sekcja V). W miejscu przecięcia starej granicy przez drogę z Mławy do Nidzicy w okolicy Napierek zaczynała się nowa granica (sekcje I-IV).
Zaraz po odzyskaniu przez Polskę niepodległości w listopadzie 1918 r. do czasu ustalenia na konferencji pokojowej w Wersalu nowych granic Niemiec na wschodzie obowiązywała granica polsko-niemiecka zgodna z dawną granicą niemiecko-rosyjską. Jednak z powodu przedłużającej się ewakuacji wojsk niemieckich z Ukrainy i Białorusi możliwej tylko przez Prusy Wschodnie dostęp do granicy w okolicy Grajewa Polacy uzyskali dopiero z końcem lutego 1919 r. W rejonie Augustowa i Suwałk nastąpiło to z końcem sierpnia po wyparciu z niego wojsk litewskich, którym odchodzący Niemcy wcześniej przekazali całą Suwalszczyznę. Linia demarkacyjna polsko-litewska oparta została o tzw. Linię Focha zaproponowaną przez Radę Najwyższą państw Ententy jeszcze w lipcu 1919 r. W przyszłości linia ta stała się podstawą do wytyczenia granicy polsko-litewskiej.
Podpisany 28 czerwca 1919 r. Traktat Wersalski w artykule 28 określał przebieg granic Prus Wschodnich. Na odcinku polskim granica miała prowadzić od styku z granicą Wolnego Miasta Gdańska głównym korytem żeglownym Wisły, następnie wzdłuż południowej granicy powiatów kwidzyńskiego i suskiego w Prusach Zachodnich, dalej wzdłuż granicy pomiędzy powiatem ostródzkim Prus Wschodnich i lubawskim Prus Zachodnich i odcinać południowo-zachodnią część wschodniopruskiego powiatu nidzickiego z Działdowem dochodząc do dotychczasowej granicy na północ od Mławy. Dalszy ciąg granicy odpowiadał dawnej granicy niemiecko-rosyjskiej. Granica na wschód od Wisły w przybliżeniu odpowiadała przedrozbiorowej granicy województwa chełmińskiego z Prusami. Decyzję o włączeniu wschodniopruskiego Działdowa z okolicą podjęto ze względów ekonomicznych dla umożliwienia połączenia kolejowego Warszawy z Pomorzem Gdańskim przez Brodnicę i Grudziądz.
Postanowienia Traktatu Wersalskiego weszły w życie z dniem 10 stycznia 1920 r. Do czasu zakończenia prac delimitacyjnych nowa granica traktowana była jako tymczasowa linia demarkacyjna. Wycofywanie się niemieckich wojsk z powiatów sąsiadujących z nową granicą i przekazywanych polskiej administracji trwało od 17 do 28 stycznia 1919 r.
11 lipca 1920 r. przeprowadzono plebiscyt na Mazurach,Warmii i Powiślu, w wyniku którego zdecydowano o przyłączeniu do Polski tylko pięciu miejscowości położonych na wschodnim brzegu Wisły i trzech położonych przy granicy w powiecie ostródzkim. W tym samym czasie ruszyła ofensywa bolszewicka na wschodzie i w sierpniu wojskom bolszewickim działającym wzdłuż granicy z Prusami Wschodnimi udało sie dotrzeć aż pod Toruń i zająć Brodnicę. 18 sierpnia w decydującej bitwie pod Brodnicą zmuszono wroga do odwrotu. Sukces wojsk polskich w bitwie warszawskiej umożliwił stopniowe odzyskanie dostępu do granicy. Do końca września zdołano też wyprzeć Litwinów z Suwalszczyzny, którzy ponownie zajęli ją w końcu lipca.
Międzynarodowa komisja delimitacyjna rozpoczęła pracę w październiku 1920 r. Przy ustalaniu szczegółowego przebiegu granicy komisja miała prawo dokonywania niewielkich korekt, co najczęściej próbowali wykorzystywać Niemcy. Sporny okazał sie też odcinek wzdłuż Wisły, ponieważ artykuł 97 traktatu przewidywał pozostawienie Polsce pełnego nadzoru nad rzeką. Wobec oporu ze strony Niemców ustalono przebieg granicy po wewnetrznej stronie wałów przeciwpowodziowych na wschodnim brzegu, bez samych wałów, o co walczyła strona polska. Ostateczne przekazanie wytyczonej granicy do obsadzenia wojsku polskiemu i niemieckiej straży granicznej nastapiło 31 marca 1922 r.