Venu à Paris en 1951, il exerce la profession de journaliste, puis de barman dans un piano-bar, ce qui l'amène à fréquenter des personnalités du monde musical de l'époque. Il entend ainsi Georges Brassens se produire un soir, et c'est pour lui une révélation. Il n'aura de cesse par la suite de faire référence à son maître, allant jusqu'à adopter son prénom. En 1958, il rencontre Édith Piaf, pour laquelle il écrira une de ses chansons les plus connues, Milord. Il aura avec elle une relation fougueuse, mais courte. Tout au long des années 1960, il se positionne comme un compositeur parolier pour les grands noms de la chanson française comme Yves Montand, Barbara et surtout Serge Reggiani. Il crée alors des chansons qui resteront parmi ses plus grands succès : Sarah, Ma solitude, Joseph et Ma liberté ou encore La Longue Dame brune qu'il interprète alors en duo avec Barbara. Sa devise est « l'homme descend du songe »[réf. nécessaire].
En 1968, artiste engagé au moment des événements de mai 68, il écrit, compose et interprète Le Métèque, une ballade romantique qui parle d'un étranger un peu éthéré, doux rêveur, sans attache. C'est un grand succès international qui marque un nouveau début de sa carrière d'artiste. En janvier 1970, il fait son premier grand concert en vedette à Bobino. On découvre alors un artiste qui privilégie une ambiance chaleureuse, de proximité avec son public. Il est aussi proche des mouvements trotskistes comme le montre sa chanson Sans la nommer où il personnifie la révolution permanente, une des théories principales de Trotski.
Pendant les trois décennies suivantes, il parcourt le monde pour se produire, mais surtout pour trouver de nouvelles inspirations.
Il a une fille, Pia, née en 1954 de son union avec Yannick, seule femme qu'il ait épousée.
En 2010, le premier Prix Georges-Moustaki de l'album autoproduit et/ou indépendant est créé par Thierry Cadet et Matthias Vincenot. Il sera remporté par Melissmell (2011), Vendeurs d'Enclumes (2012) et Askehoug (2013). « Ce Prix Georges-Moustaki me fait honneur par la qualité des artistes qui ont présenté leur candidature et par sa vocation de récompenser un album autoproduit ; c’est-à-dire réalisé en toute liberté et en toute indépendance. Je remercie tous ceux qui ont rendu cette aventure possible et le public qui participe à cette célébration. Je suis en phase avec les deux jeunes gens qui s’en occupent. J’avais quelques réticences à m’embringuer là-dedans, mais ils sont terriblement sympathiques, et ils savent ce qu’ils font. Ce sont des gens que j’estime beaucoup. J’ai eu envie de les suivre. Je vois ce qu’ils font tout au long de l’année. On est dans la même cour » déclarera-t-il au magazine Platine.
Le 8 janvier 2009, Georges Moustaki monte sur scène, à Barcelone, et explique au public que ses problèmes respiratoires ne lui permettent pas d'assurer le concert4. Le 14 octobre 2011, le chanteur annonce à la presse qu'il est définitivement incapable de chanter5.
Lors de l'élection présidentielle 2012, il donne son soutien au candidat du NPA Philippe Poutou6.
Georges Moustaki est mort le 23 mai 2013 à l'âge de 79 ans.