Jako piłkarz grał w takich klubach jak Eintracht Frankfurt, Viktoria Sindlingen, Rot-Weiß Frankfurt. czy 1. FSV Mainz. W 2001 roku został trenerem 1. FSV Mainz. Osiągnął z nim bardzo dobre wyniki, dzięki czemu w 2008 roku podpisał kontrakt z Borussią Dortmund. Z klubem tym pracował w latach 2008–2015, dwukrotnie zdobył mistrzostwo Niemiec i doprowadził klub do finału Ligi Mistrzów w 2013 roku.
W 2015 roku został trenerem Liverpoolu. Poprowadził klub do zwycięstwa w Lidze Mistrzów w sezonie 2018/19 i mistrzostwach Anglii w 2020 roku.
W 2024 roku poinformował o zakończeniu pracy w Liverpoolu po sezonie 2023/2024.