Fat Joe wuchs im New Yorker Stadtteil Bronx auf, in einer eher armen Nachbarschaft. Angeblich musste der Rapper schon in seiner Jugend stehlen, um damit seine Familie, die in einer Sozialwohnung leben musste, zu ernähren. Über seinen Bruder landete er aber bei der Rap-Musik und wurde vor allem von seinem Freund Big Pun in der Wahl seiner Texte und seinem Sound beeinflusst. Aufgrund der Wurzeln seiner Familie in Lateinamerika versuchte er mit seiner Musik einen eigenen Stil zu entwickeln und begann Anfang der 1990er unter dem Künstlernamen "Fat Joe da Gangsta" aufzutreten.
Der Rapper konnte schließlich einen Plattenvertrag in seinem Steckbrief abhaken, wobei er ganz zu Beginn seiner Karriere noch nicht mit einem eigenen Album aufwartete, sondern vor allem mit anderen Künstlern kollaborierte. 1993 war es dann aber soweit, sein Album "Represent" kam heraus. Von Album zu Album begann sich Fat Joe zu steigern und konnte schließlich immer mehr Einheiten seiner Tonträger verkaufen. Ende der 1990er gründete er außerdem seine eigene Rap-Gruppe "Terror Squad", aus der später ein eigenes Plattenlabel hervorgehen sollte.
Auf dem sechsten Album von Fat Joe, welches 2005 herauskam, war unter anderem auch ein "Diss-Track" enthalten, der auf 50 Cent abzielte. Das löste eine lange Fehde zwischen den beiden Musikern aus, die aber vermutlich noch die Aufmerksamkeit für den Rapper erhöhte. In seiner Karriere arbeitete Fat Joe aber auch immer wieder freundschaftlich mit unzähligen anderen zusammen, so auch auf seinen allerneuesten Alben. Seit einiger Zeit versucht der Rapper übrigens, aktiv sein Gewicht zu reduzieren und hat bereits einige Pfunde verloren. Wegen einer Steuerhinterziehung über einer Million Dollar wandert Fat Joe im August 2013 für vier Monate ins Gefängnis.