Son père était inspecteur à la Compagnie des chemins de fer économiques. Sa mère, née Marceline Pénin, était secrétaire. Ses grands-pères étaient respectivement ouvrier et sacristain.
Le 27 décembre 1951, il épousa Annie Lacroix. Ils auront deux enfants : Sylvie et Catherine.
Il fit ses études au lycée de Saint-Cloud (à l'époque, annexe du lycée Hoche de Versailles) de 1936 à 1943, au collège d'Issoudun de 1939 à 1940 et au lycée Louis-le-Grand de 1943 à 1945. Il étudia à l'École Normale Supérieure (Ulm) de 1945 à 1949. Il fut agrégé de philosophie en 1949. En 1964, il est diplômé de l'EPHE, section des Sciences religieuses. Il devint docteur ès lettres en 1969 avec une thèse principale portant sur Arts du langage et théologie chez Abélard ; sa thèse complémentaire traite de L'Intellect selon al-Kindi.
Il fut maître-assistant à la section des Sciences religieuses, de 1965 à 1970, puis directeur d'études ("Religions et philosophies dans le christianisme et l'Islam au Moyen Âge") de 1970 1993.
Jean Jolivet a été professeur aux lycées Carnot (Dijon) de 1949 à 1950, d'Évreux de 1950 à 1952, Bugeaud (Alger) de 1952 à 1955. Il fut chercheur au CNRS de 1955 à 1961, maître-assistant à la Sorbonne de 1961 à 1964, à l'Université de Nanterre de 1964 à 1965.
Jean Jolivet fut également membre du Conseil scientifique du CNRS.
Philosophie et théologie médiévales dans le christianisme et l'islam.
Shahrastani et son histoire des religions.
- Godescalc d'Orbais et la Trinité : la méthode de la théologie à l'époque carolingienne (1958).
- La Philosophie médiévale en Occident (dans Histoire de la philosophie de l'Encyclopédie de la Pléiade, I (1969), p. 1198-1956.
- Arts du langage et théologie chez Abélard (1969 ; 1982 ; 2000).
- Abélard ou la philosophie dans le langage (1970 ; 1994).
- L'intellect selon Kindi (1971).
- Aspects de la philosophie médiévale : Abélard. Doctrines du langage (1987).
- Shahrastani, Livre des religions et des sectes, II : les philosophes : introduction (partielle), traduction et notes (1993), p. 14-51, 175-485.
- Philosophie médiévale arabe et latine (1995).
- La théologie d'Abélard (1997).
- Œuvres philosophiques et scientifiques d'al-Kindi, vol. 2 : Métaphysique et cosmologie (en collaboration avec R. Rashed, 1998).
- La théologie et les arabes (2002).
Il se dit d'extrême gauche, et a co-fondé le premier Comité Maurice Audin en 1957.