Llegaron a la fama gracias al remix que hicieron en 2003 del tema del grupo Simian, "Never Be Alone", creado para un concurso de remixes de la emisora de radio de una universidad parisina. Ese remix hizo que el dúo fuera fichado por Ed Banger (que lanzó el remix), se convirtió en un himno de los clubes y tuvo éxito en Internet. La canción fue relanzada en 2004 en el International DeeJay Gigolo Records de DJ Hell y se le dio eventualmente un lanzamiento comercial en el Reino Unido en el verano de 2006, bajo el título de "We Are Your Friends", en Ten Records, una discográfica filial de Virgin Records.

Después del lanzamiento original de "We Are Your Friends", Justice trabajó en mezclas para varios grupos franceses (Vicarious Bliss, Scenario Rock) así como para artistas tan populares como Britney Spears, N*E*R*D, Fatboy Slim y Daft Punk.
El primer sencillo de Justice, Waters of Nazareth, fue lanzado en Ed Banger Records en septiembre de 2005, siendo pista clave de los repertorios de Dj's tales como Erol Alkan, Tiga, 2 Many Dj's e Ivan Smagghe. La pista fue relanzada en el 2006 con mezclas adicionales.

El prolífico trabajo de remezclas del dúo continuó, con mezclas para Franz Ferdinand, Mystery Jets, Soulwax y Mr. Oizo.

Justice ganó el premio a Mejor Video en los MTV Europe Music Awards 2006, por Justice vs. Simian "We Are Your Friends". Augé y De Rosnay no estuvieron presentes en la ceremonia y el premio fue recogido por el director del vídeo Jérémie Rozan y el director de arte So_Me.

So_Me fue famosamente interrumpido por el rapero norteamericano Kanye West, que subió al escenario arguyendo que él debía haber ganado el premio.

El álbum debut de Justice, titulado "†", fue lanzado con Ed Banger Records el 11 de junio de 2007 (10 de junio en EE.UU.). El álbum fue precedido por el EP, D.A.N.C.E. el 28 de mayo, que contenía las pistas "B.E.A.T." y "Phantom".