颜色特征是人类感知和区分不同物体的一种基本视觉特征，是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。颜色特征对于图像的旋转、平移、尺度变化都不敏感，表现出较强的鲁棒性。颜色模型主要有HSV、RGB、HSI、CHL、LAB、CMY等。常用的特征提取与匹配方法有：

颜色直方图(color histogram)是最常用的表达颜色特征的方法，它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像，且计算简单，对图像中的对象的平移和旋转变化不敏感；但它无法描述图像中颜色的局部分布及每种色彩所处的空间位置。

当颜色特征并不能取遍所有取值时，在统计颜色直方图时会出现一些零值，这些零值对计算直方图的相交带来很大影响，使得计算的结果不能正确反映两幅图像之间的颜色差别。为解决上述问题，可利用累积直方图法。

颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似，首先将图像从RGB颜色空间转化成视觉均衡的颜色空间(如HSV空间)，并将颜色空间量化成若干个柄(bin)。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系。因为颜色集表达为二进制的特征向量，可经构造二分查找树来加快检索速度，这对于大规模的图像集合十分有利。

颜色矩(color moments)是另一种简单而有效的颜色特征提取与匹配方法。该方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。由于颜色分布信息主要集中在低阶颜色矩中，因此仅采用颜色的一阶中心矩、二阶中心矩和三阶中心矩就可以表达图像的颜色特征，它们分别表示图像的平均颜色、标准方差和三次根非对称性。该方法的另一个优点是它无需对颜色特征进行向量化。但因为没有考虑像素的空间位置，该方法仍存在精确度和准确度不足的缺点。

其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。

在目前图像处理的硬件条件下，直接对彩色图像的处理与分析是复杂而又耗时的，因此对彩色图像的处理通常都是先转化为灰度图像，然后再按照灰度图像处理方法进行处理。