En 1962, Charles de Gaulle, président de la République, le nomme Premier ministre, fonction qu’il exerce durant plus de six ans, soit le plus long passage à Matignon de la Ve République. Souhaitant moderniser le pays et notamment son industrie, il met en place la politique d’aménagement du territoire (création de la DATAR, projet de nouvel aéroport international « Paris Nord », premier plan neige, développement du réseau autoroutier, etc.), et lance des projets comme le plan Calcul et le Concorde. Par ailleurs, il réinstaure la police nationale et crée l’ANPE. Lors de la crise de Mai 68, il conduit des négociations qui aboutissent aux accords de Grenelle ; après la victoire du parti gaulliste aux législatives qui suivent, il est remplacé par Maurice Couve de Murville à la tête du gouvernement. Il se met alors « en réserve de la République » et siège comme député du Cantal. Avant le référendum constitutionnel de 1969, il fait part de son souhait de se présenter à une élection présidentielle à venir.

À la suite de la démission du président de Gaulle consécutive à l’échec du référendum, il se porte candidat à l’élection présidentielle anticipée : il est élu président de la République avec 58,21 % des suffrages exprimés au second tour, face au président par intérim, le centriste Alain Poher.