Józef Oleksy urodził się 22 czerwca 1946 roku w Nowym Sączu.
Ukończył studia na Wydziale Handlu Zagranicznego SGPiS w Warszawie. Następnie uzyskał stopień doktora nauk ekonomicznych. Na macierzystej uczelni pracował jako wykładowca. Pełnił funkcję sekretarza komitetu uczelnianego PZPR w SGPiS.
Do Polskiej Zjednoczonej Partii Robotniczej należał od 1969 do 1990 roku. Zasiadał w prezydium zarządu głównego Socjalistycznego Związku Studentów Polskich. W latach 1970–1978 był tajnym współpracownikiem wojskowego Agenturalnego Wywiadu Operacyjnego. W 1977 przeszedł do pracy w aparacie partyjnym w Wydziale Pracy Ideowo-Wychowawczej KC PZPR. Od 1981 do X Zjazdu kierował biurem Centralnej Komisji Rewizyjnej PZPR. W 1989 zajmował stanowisko ministra ds. współpracy ze związkami zawodowymi. Uczestniczył w rozmowach okrągłego stołu ze strony rządowej.
W 1990 był jednym z założycieli powstałej na bazie PZPR Socjaldemokracji RP. W latach 1996-1997 był przewodniczącym tego ugrupowania.W 1999 przystąpił do SLD. Od czerwca 2003 pełnił funkcję wiceprzewodniczącego SLD, a od grudnia 2004 do maja 2005 – przewodniczącego. Z partii odszedł w 2007 roku na 3 lata. 28 kwietnia 2012 na V kongresie SLD został wybrany na wiceprzewodniczącego ugrupowania.
W latach 1989–1991 sprawował mandat posła na Sejm kontraktowy z ramienia PZPR, następnie do 2005 posła na Sejm I, II, III i IV kadencji wybieranego z listy SLD. Od maja do lipca 2004 był posłem do Parlamentu Europejskiego. W wyborach parlamentarnych w 2005 bezskutecznie kandydował do Senatu.
W latach 1993–1995 pełnił funkcję Marszała Sejmu. Od 7 marca 1995 do 7 lutego 1996 zajmował stanowisko Prezesa Rady Ministrów. Ustąpił po oskarżeniu go przez Milczanowskiego o działalność szpiegowską na rzecz Rosji pod pseudonimem Olin.
Od stycznia do kwietnia 2004 zajmował stanowisko wicepremiera i ministra spraw wewnętrznych i administracji w rządzie Millera. Wybrany na urząd Marszałka Sejmu IV kadencji 21 kwietnia 2004. Podał się do dymisji po niekorzystnym dla niego nieprawomocnym wyroku sądu lustracyjnego I instancji.
Członek Stowarzyszenia Odynacka.
Chciał by pochowano go w obrządku kościelnym.