Fra le problematiche maggiori vi fu quella di capire con quale schema porre di fronte ai fotodiodi i filtri colorati, nonché il colore dei filtri stessi. Il problema non è certo semplice. Si trattava infatti di capire quali degli innumerevoli colori presenti nello spettro fossero più congeniali alla ricostruzione postuma di un'immagine digitale a colori fedeli. Potrebbe sorgere spontanea una domanda: perché non puntare direttamente ai primari in senso assoluto, ovvero giallo, ciano e magenta, e dalle informazioni raccolte mediate dall'algoritmo procedere con le relative mescolanze e conversioni?
Sicuramente ci provò, ma alla fine la scelta ricadde su rosso, verde e blu (RGB, Red, Green, Blu), ritenuti primari nel contesto di una mescolanza additiva (non sono primari in senso assoluto, ma solo nel singolo contesto). La scelta affonda le proprie radici nel confronto con fisiologi, oculisti e con le conoscenze sull'occhio umano in genere, molto sensibile di suo alle lunghezze d'onda del verde.
Alla fine il pattern che risultò più azzeccato, mediando fra complessità di calcolo e fedeltà colore, era quello di una matrice 2x2, ovvero 4 filtri di fronte ad altrettanti fotodiodi, costituita da 2 filtri verdi, uno rosso e uno blu. La matrice venne poi replicata per tutta la superficie del sensore. Ogni fotodiodo, quindi, legge la luminosità specifica in quel punto per un solo colore.
Interviene a questo punto un processo particolare, chiamato demosaicizzazione. In parole semplici, un algoritmo è in grado di elaborare i colori che mancano prendendo come riferimento i valori ottenuti dai fotodiodi adiacenti, utilizzando l'interpolazione. Il processo è stato ovviamente semplificato al massimo, poiché esistono algoritmi più o meno raffinati evolutisi nel tempo operanti in maniera differente, sfruttando anche matrici differenti, ma serve a capire l'importanza del sistema nel suo complesso.
La risultante del tutto è un'informazione costituita dai valori di rosso, verde e blu riferiti al singolo pixel, sebbene il fotodiodo corrispondente abbia captato, di fatto, solo la luminosità relativa a un solo colore (quello del filtro posto fra il fotodiodo stesso e la fonte di luce).
Oggi esistono anche altri tipi di sensori, ad esempio i Foveon, che fanno vita all'immagine e al colore in maniera differente. Eppure la quasi totalità degli apparecchi digitali, siano essi videocamere o fotocamere comprese quelle integrate dei telefoni, sfruttano a distanza di quasi 40 anni il filtro Bayer.
