Ich bin auch kein Farbsystem-Experte, aber ich weiss zumindest, dass es Unterschiede zwischen der additiven Farbmischung (farbiges Licht) und der subtraktiven Farbmischung (Licht, das von Farbpigmenten zurückgeworfen wird) gibt. Du möchtest mit dem Sensor den Farbwert einer Oberfläche erhalten (subtraktive Farbmischung), der Sensor kann aber nur das Licht analysieren (additive Farbmischung). Die beiden Systeme sind nur bedingt ineinander überführbar, was natürlich den Anwender massiv verwirrt.
Dein Sensor beleuchtet die Oberfläche mit einer Lichtquelle und misst dann, wieviel Licht im roten, grünen und blauen Spektrum zurückgeworfen wird. Dies wird mit einer Art Phototransistor gemacht, der von farbigen Filtern abgedeckt ist. Diese sind nur in den verschiedenen Farben unterschedlich empfindlich, womit sich Verschiebungen der Werte ergeben. Wenn Du Figure 5 auf Seite 7 des Datenblatts ansiehst, ist gut erkennbar, dass der Sensor z.B. im blauen Bereich deutlich weniger empfindlich ist als im roten.
Den Wert, den Du herauskriegst, kannst Du auch mit dem Gain-Register deutlich beeinflussen. Damit Du RGB-Werte mit je 8 Bit Auflösung erhältst, musst Du wahrscheinlich erst Tests machen und für bekannte Ausgabewerte die Sensorwerte erfassen. Mit etwas Glück ist die Beziehung linear und Du kannst einfach einen Korrekturfaktor nehmen.