Joe Fraziers Amateurkarriere begann, als er von den Trainerlegenden Yancey Durham und Willie Reddish entdeckt wurde. Der Boxer musste kaum Niederlagen einstecken und verbuchte auf seinem Steckbrief eine außergewöhnlich hohe K.o.-Rate im Amateurboxen. Im Jahr 1964 unterlag Joe Frazier im Finale der Ausscheidungskämpfe für die Olympischen Spiele seinem Kontrahenten Buster Manthis senior. Dennoch trat er an Stelle von Manthis bei den Spielen in Tokio an, da dieser aufgrund einer Handverletzung passen musste. Der damals 20-jährige Joe Frazier holte bei den Olympischen Spielen von 1964 schließlich die Goldmedaille.
Nach diesem Erfolg fand Joe Frazier genügend Sponsoren, um eine Profikarriere zu starten. Unvergessen sind seine Kämpfe gegen den legendären Boxer Muhammad Ali. 1971 traten die beiden das erste Mal gegeneinander an. In der letzten Runde schlug Joe Frazier seinen Kontrahenten K.o. und verpasste Muhammad Ali damit die erste Niederlage seiner Profikarriere. Dieser Kampf gilt auch heute noch als Klassiker unter den Schwergewichtstitelkämpfen. Fast noch spektakulärer war die dritte Begegnung der beiden Weltklasse-Boxer. Diesmal unterlag Frazier in der 14. Runde durch technischen K.o. Beide Boxer konnten sich nach dem Kampf kaum noch auf den Beinen halten. Auch Ali brach noch im Ring vor Erschöpfung zusammen.
Mit seinem offenen Kampfstil machte sich Joe Frazier als Boxer einen weltweiten Namen. Er wurde vom "Ring Magazine" dreimal zum "Boxer des Jahres" gewählt und war an vier Kämpfen beteiligt, die als "Kampf des Jahres" in die Geschichte eingingen. Mit seinem Erzkonkurrenten Muhammad Ali versöhnte sich Joe Frazier 2001, als die Töchter der beiden Profiboxer ebenfalls im Ring gegeneinander antreten sollten.