Das weltweit erste Farbklassifizierungssystem für Diamanten entstand in Indien, im sechsten Jahrhundert. Das System beruhte auf der alten Klassenstruktur des Landes. Mitglieder verschiedener Statusstufen oder Kasten durften nur Diamanten einer bestimmten Farbe besitzen und tragen. So dienten Diamanten als Rangabzeichen.

Die Priester und Herrscher, die Brahmanen, durften Diamanten besitzen, die "am weißesten von der Muschel, vom Lotus oder vom Bergkristall" waren (weiß bis farblos). Den Landbesitzern und Kriegern wurden Diamanten zugewiesen, die "die braune Farbe des Hasenauges" hatten. Die Kaufleute durften nur Diamanten besitzen, die die "hübsche Nuance eines Blütenblattes eines Kadls" (gelb) hatten. Den Angehörigen der unteren Klassen wurden Diamanten mit dem Glanz eines polierten Schwertes" (grau oder schwarz) zugewiesen. Königen hingegen stand es frei, Diamanten in jeder Farbe zu besitzen.

Seit dieser Zeit haben sich die Systeme zur Einstufung von Diamanten in verschiedene Farben stark weiterentwickelt. Heute gibt es bewährte Methoden zur Beurteilung der Farbe von Diamanten, die auf weit mehr als dem Vergleich mit Muschelschalen, Kaninchenaugen und Blütenblättern beruhen. Und die einzigen Einschränkungen für den Besitz verschiedener Farben beruhen auf der Verfügbarkeit und Erschwinglichkeit.

Obwohl farbige Diamanten traditionell nur einen kleinen Teil des Diamantengeschäfts ausmachen, haben ihre Beliebtheit und Verfügbarkeit in den letzten Jahrzehnten zugenommen. In den 1980er Jahren begann die Argyle-Mine in Australien mit der Vermarktung ihrer braunen Steine unter Handelsnamen wie "Champagne" und "Cognac". Argyle erreichte sein Ziel, die Öffentlichkeit für farbige Diamanten zu sensibilisieren und stellte seine Marketingkampagne in den späten 1990er Jahren ein. Bis 2021 wurden in der Argyle-Mine immer noch braune Diamanten gefördert, aber sie ist eher als die weltweit wichtigste Quelle für seltene rosa Diamanten bekannt.

Die bekanntesten historischen und aktuellen Quellen für Fancy-Diamanten sind Indien, Südafrika und Australien. Auch in anderen Diamantenminen, darunter in Brasilien, Venezuela, Guyana und Indonesien, werden farbige Diamanten gefördert.