50 Cent, Tony Yayo, Sha Money XL, Domination und Bang 'Em Smurf gründeten die Gruppe im New Yorker Viertel Jamaica im Bezirk Queens im Jahre 1998. (Bang 'Em Smurf und Domination sind heute die Silverbac  Gorillaz) Später kam der in Baltimore geborene Lloyd Banks hinzu, der bei der Gruppengründung noch als zu jung angesehen worden war. Ihm gelang erst die Aufnahme, als 50 Cent angeschossen wurde und Banks sich in dieser Situation als guter Freund von 50 Cent erwies. Im Jahr 2005 überraschte 50 Cent seine Fans mit einigen Signs bekannter Acts, sodass die G Unit durch Olivia, Mobb Deep, M.O.P. und Ma$e größer geworden ist, dazu wurde der abgewanderte The Game durch Spider Lochersetzt. Kürzlich signte G Unit auch noch den Newcomer Hot Rod sowie 40 Glocc, Willy Northpole und Carnegie. Durch ein Abkommen von BME Clique und G Unit sind beide Labels berechtigt Alben mit den gleichen Artisten zu veröffentlichen. Der erste, der davon Nutzen trägt, ist der bereits berühmte Lil Scrappy. Scrappy denkt darüber nach den Song, welcher 50 Cent berühmt gemacht hat "How to Rob" zu covern.

Maßgeblich zum Erfolg der Gruppe trug Eminem bei. Er hörte das Mixtape God's Plan, bot sich daraufhin als Producer der Gruppe an und war an 50 Cents Hit-Album Get Rich Or Die Tryin beteiligt.

Als die Gruppe bereits erste Erfolge mit Mixtapes hatte, stieß Young Buck (* in Tennessee) zur Gruppe. Der erste große Erfolg gelang, nachdem 50 Cent mit Wanksta und In Da Club Hits als Solo-Rapper hatte, die das Interesse auch an der Gruppe vergrößerten. Tony Yayo erlebte diese Zeit im Gefängnis, da er zwischenzeitlich eine Haftstrafe aufgrund illegalen Waffenbesitzes und eines gefälschten Ausweises verbüßte und erst nach Erscheinen des ersten G Unit Albums Beg For Mercy wieder in Freiheit kam.

Zwischenzeitig gehörte The Game (aus Compton) zur G Unit und veröffentlichte in dieser Zeit im Januar 2005 sein Album The Documentary. Produziert haben das Album u.a. Dr. Dre, Eminem und Just Blaze. Nachdem er sich dann aber von der Gruppe trennte, sah es so aus, als bliebe dies sein einziges von Eminem produziertes Album. Eine zwischenzeitliche Versöhnung von ihm mit 50 Cent hielt nicht lange an und im Juni 2005 flammte der Streit erneut auf.

Anfang 2006 ist Hot Rod dazugekommen,welcher am 3.November.2006 sein Debüt Album Fastlane herausbrachte.

2004 überraschte 50 Cent die Fans mit einem neuen Mitglied der G Unit. Olivia, eine R&B-Sängerin, war die erste weibliche Person, die bei 50 Cent's Label unterschrieb. Mittlerweile rekrutierte 50 Cent weitere Künstler und so holte er 2005 Spider Loc, M.O.P., Mobb Deep, Fitze "Da Shit" Compto und Mase. Während Spider Loc ein Newcomer ist, haben M.O.P. (Billy D & Lil' Fame), Mobb Deep (Havoc & Prodigy), sowie Mase bereits seit Jahren einen guten Namen in der Szene.

Sha Money XL ist heute Manager, DJ und Producer der Gruppe. G Unit haben ein eigenes Sublabel G Unit bei Interscope, das eng mit Aftermath Entertainment (Dr. Dre. Label) und Shady Records (Eminems Label) zusammenarbeitet. Das Label G Unit besitzt wiederum zwei Sublabel: The Infamous Records von Mobb Deep und Cashville Records von Young Buck.