Po pokonaniu opozycji Piłsudski 4 grudnia 1930 r. zrezygnował ze stanowiska premiera. Motywował to złym stanem zdrowia. Mówił wręcz o bliskiej śmierci. Najwyraźniej nie opuszczały go obawy, trapiące od dnia ataku apoplektycznego. Zdecydował się też na najdłuższy w swym życiu wypoczynek, na liczący trzy i pół miesiąca pobyt na Maderze, portugalskiej wyspie na Atlantyku.

W dwa dni po powrocie z Madery, 31 marca 1931 r., złożył wizytę Mościckiemu, w czasie której poinformował, że coraz bardziej traci siły i nie chce brać w tej sytuacji na siebie nowych obowiązków. Zastrzegł, że nadal będzie interesował się wojskiem i sprawami zagranicznymi. Inne kwestie pozostawiał w gestii swoich współpracowników. Marszałek coraz więcej spraw zaczął powierzać swoim najbliższym współpracownikom, choć nadal dla siebie zastrzegał decyzje w kwestiach najistotniejszych. Podejmował je coraz rzadziej, na ogół bez dyskusji z zainteresowanymi, co bynajmniej tym ostatnim życia nie ułatwiało.

Z biegiem czasu Marszałek coraz bardziej zamykał się w sobie. Najbliżsi upatrywali źródło tej reakcji w czymś groźniejszym niż głośno deklarowane rozczarowanie do świata i rodaków. Choroba już widoczna, choć nie rozpoznana przez lekarzy, których nie znosił i nie dopuszczał do siebie, odciskała się wyraźnie na jego psychice. Stał się jeszcze nieufny, podejrzliwy, nawet w stosunku do ludzi, których do niedawna obdarzał największym zaufaniem. I choć różne były stopnie wtajemniczenia, jeśli chodzi o wiedzę o stanie zdrowia Marszałka, jedno było pewne że podwładni, w kontaktach z obcymi skrzętnie ukrywali informacje o znanych im dziwactwach. Przedstawiali go jako silnego, w pełni sprawnego, troszczącego się o każdy szczegół życia państwowego ojca narodu. Tego wymagała legenda. To stanowiło fundament władzy, które w większym lub mniejszym stopniu byli udziałowcami. Nie ulega wątpliwości, że w ostatnich latach życia Piłsudski coraz częściej cierpiał na chwilowe utraty świadomości i nasilające się ataki agresji. Było to rezultatem choroby, ale po części wynikało też z prowadzonego przez niego bardzo niezdrowego trybu życia. Pracował niemalże wyłącznie nocami, pod koniec śpiąc już tylko parę godzin na dobę.

Piłsudski najbardziej interesował się wojskiem i sprawami zagranicznymi. Spośród państw europejskich, Polska wciśnięta między Niemcy i Związek Radziecki, miała trudną sytuację geopolityczną. Z tego względu Piłsudski uważał za swoje zadanie doprowadzenie do takiego układu wzajemnych stosunków, aby oba państwa uznały obecność Polski na mapie świata. Wyrazem tych dążeń było podpisanie paktu o nieagresji w 1932r. ze Związkiem Radzieckim i w roku 1934 układu z hitlerowską Rzeszą. Komendant nie wierzy jednak i przestrzega, by nie uważać, że to ułożenie pokojowych stosunków między Polską a dwoma sąsiadami miało trwać wiecznie; Komendant oblicza, że dobre stosunki między Polską a Niemcami mogą trwać może jeszcze cztery lata ze względu właśnie na przemiany psychiczne, które dokonują się w narodzie niemieckim. Za więcej lat Komendant jednak nie ręczy. Gdy komendanta zabraknie, będzie ten układ rzeczy bardzo trudno utrzymać, gdyż to on posiada dar inwencji odwleczenia czy postawienia sprawy inaczej, gdy tego potrzeba.

23 kwietnia 1935 r. prezydent podpisał uchwaloną przez parlament nową ustawę zasadniczą. Konstytucja kwietniowa w stosunku do marcowej ograniczała władzę parlamentu, zwiększając uprawnienia władzy wykonawczej, a prezydent miał jedynie wobec Boga i historii ponosić odpowiedzialność za losy państwa. Choroba czyniła zatrważające postępy. Piłsudski nie potrafił już nawet utrzymać kart do ulubionego pasjansa. 21 kwietnia zgodził się w końcu na przybycie z Wiednia profesora Wenckenbacha, znanego specjalisty od chorób nowotworowych. Badanie odbyło się w cztery dni później. Diagnoza brzmiała jak wyrok: rak wątroby nie nadający się do operacji.

Józef Piłsudski zmarł 12 maja1935 r. o godzinie 8.45 wieczorem. Uroczystości pogrzebowe miały iście monarszą oprawę. Przez trzy dni trumna ze zwłokami Marszałka wystawiona była w Belwederze. Przeszły przed nią tysiące ludzi. Hołd Marszałkowi składała także zagranica. We Francji, Niemczech i ZSRR zarządzono nawet oficjalną żałobę. 15 maja wieczorem trumnę przewieziono na armatniej lawecie do warszawskiej katedry. Tłumy przesuwały się przed nią przez dalsze dwa dni. Siedemnastego, po mszy pontyfikalnej celebrowanej przez kardynała Kakowskiego orszak udał się na Pole Mokotowskie, gdzie przed trumną zmarłego wodza odbyła się ostatnia defilada armii. Kiedy się miała ku końcowi, zerwała się silna burza. Niebo rozjaśniły błyskawice, rozległy się grzmoty, tak jakby przyroda przyłączyła się do żałobnej ceremonii. Na zgromadzonych zrobiło to wielkie wrażenie. Następnie, specjalnym pociągiem, oświetloną reflektorami trumnę przewieziono do Krakowa. Podróż trwała całą noc, a zmarłego żegnały wszędzie rozpalone wzdłuż toru ogniska-znicze. W Krakowie po krótkich uroczystościach na dworcu kondukt ruszył na Wawel. Przy biciu "Zygmunta" generałowie wnieśli trumnę do katedry. Arcybiskup odprawił kolejną mszę pontyfikalną, po czym generałowie ponownie wzięli trumnę na ramiona i zanieśli ją do krypty świętego Leonarda. Znów odezwał się "Zygmunt" i zabrzmiało sto jeden wystrzałów armatnich. W całej Polsce zapanowała trzyminutowa cisza. Zgodnie z ostatnią wolą Marszałka jego serce złożono w Wilnie, a mózg poddano badaniom w Uniwersytecie Stefana Batorego.