isp图像信号处理算法概述：工作原理、架构、处理流程.docx

《isp图像信号处理算法概述：工作原理、架构、处理流程.docx》由会员分享，可在线阅读，更多相关《isp图像信号处理算法概述：工作原理、架构、处理流程.docx（12页珍藏版）》请在第一文库网上搜索。

1、isp图像信号处理算法概述：工作原理、架构、处理流程ISP的主要内部构成：ISP内部包含cpusupIP（各种功能模块的通称）、IF等设备ISP的控制结构：1、ISP逻辑2、运行在其上的firmwareISP上的Firare包含三部分：AP对ISP的操控方式：外置：I2CSPIo内置：MEMMAPMEMSHAREISP架构方案：内置、外置ISP处理流程：Bayer黑电平补偿（b1ack1eve1compensation）、镜头矫正（IenSshadingcorrection）、坏像素矫正（badpixe1correction）、颜色插值（demosaic）Bayer噪声去除、白平衡（AWB）矫

2、正、色彩矫正（co1orcorrection）.gamma矫正、色彩空间转换（RGB转换为YUV）,在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出YUV（或者RGB）格式的数据，再通过I/O接口传输到CPU中处理。概念ISP是InIageSigna1Processor的简称，也就是图像信号处理器。DSP是D是ita1Signa1Processor的缩写，也就是数字信号处理器。ISP一般用来处理InIageSensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、1ensShading、

3、Gamma校正、祛除坏点、AutoB1ack1eve1、AutoWhite1eve1等等功能的处理。而DSP功能就比较多了，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。ISP是一类特殊的处理图像信号的DSP。ISP架构方案：分为独立（外置）与集成（内置）两种形式。CPU处理器包括：AP、BP、CP0其中BP：基带处理器、AP：应用处理器、CP：多媒体加速器。ISP的主要内部构成如下图所示，ISP内部包含CPU、SUPIP、IF等设备，事实上，可以认为ISP是一个SOC(systemofchip

4、),可以运行各种算法程序,实时处理图像信号。I2CCPUCOREGICDEMOSAICSC1ERCSIPMUVRAJPEGSPICMU/TIMERCSCADJUSTORiSPAKCH1CPU：CPU即中央处理器，可以运行AF.1SC等各种图像处理算法，控制外围设备。现代的ISP内部的CPU一般都是ARMCortex-A系列的，例如Corte-A5Corte-A7oSUBIP：SUBIP是各种功能模块的通称，对图像进行各自专业的处理。常见的SUBIP如DIS、CSC、VRA等。图像传输接口：图像传输接口主要分两种，并口ITU和串口CSIoCSI是MIPICSI的简称，鉴于MIPICSI的诸多优点

5、，在手机相机领域,已经广泛使用MIPI-CSI接口传输图像数据和各种自定义数据。外置ISP一般包含MIPI-CSIS和MIPi-CSIM两个接口。内置ISP一般只需要MIPi-CSIS接口。通用外围设备：通用外围设备指I2CSPEPWM、UARTWATCHDOG等。ISP中包含I2C控制器,用于读取OTP信息，控制VCM等。对于外置ISP,ISP本身还是I2C从设备。AP可以通过I2C控制ISP的工作模式，获取其工作状态等。ISP的控制结构ISP包括：1、ISP逻辑2运行在其上的firmware如图所示，1ens将光信号投射到SenSOr的感光区域后，sensor经过光电转换，将Bayer格式

6、的原始图像送给ISP,ISP经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这个过程中，ISP通过运行在其上的firmware(固件)对ISP逻辑，从而对IenS和SenSor进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，firmware的运转靠视频采集单元的中断驱动。PQToo1s工具通过网口或者串口完成对ISP的在线图像质量调节。ISP由ISP逻辑及运行在其上的Finware组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware通过获取ISP逻辑的图像统计信息，重新计算，反馈控制1ens、sensor和ISP逻辑，以达到自动

7、调节图像质量的目的。ISP上的Firmware包含三部分ISP的FinnWare包含三部分，一部分是ISP控制单元和基础算法库，一部分是AE/AWB/AF算法库，一部分是SenSor库。Firmware设计的基本思想是单独提供3A算法库，由ISP控制单元调度基础算法库和3A算法库，同时SenSor库分别向ISP基础算法库和3A算法库注册函数回调，以实现差异化的SenSor适配。ISPfirmware架构如图所示。不同的SenSor都以回调函数的形式，向ISP算法库注册控制函数。ISP控制单元调度基础算法库和3A算法库时，将通过这些回调函数获取初始化参数，并控制sensor,如调节曝光时间、模拟

8、增益、数字增益，控制IenS步进聚焦或旋转光圈等。AP对ISP的操控方式CPU处理器包括：APBP、CPoBP：基带处理器、AP：应用处理器、CP：多媒体加速器这里所说的控制方式是AP对ISP的操控方式。I2C/SPI：这一般是外置ISP的做法。SPI一般用于工载固件、I2C一般用于寄存器控制。在内核的ISP驱动中，外置ISP一般是实现为I2C设备，然后封装成V412-SUBDEV0MEMMAP：这一般是内置ISP的做法。将ISP内部的寄存器地址空间映射到内核地址空间，MEMSHARE：这也是内置ISP的做法。AP这边分配内存，然后将内存地址传给ISP,二者实际上共享同一块内存。因此AP对这段

9、共享内存的操作会实时反馈到ISP端。ISP架构方案上文多次提到外置ISP和内置ISP,这实际上是ISP的架构方案。外置ISP架构外置ISP架构是指在AP外部单独布置ISP芯片用于图像信号处理。外置ISP的架构图一般如下所示：外置ISP架构的优点主要有：能够提供更优秀的图像质量：在激烈的市场竞争下，能够存活到现在的外置ISP生产厂商在此领域一般都有很深的造诣，积累了丰富的影像质量调试经验，能够提供比内置ISP更优秀的性能和效果。因此，选用优质的外置ISP能提供专业而且优秀的图像质量。能够支援更丰富的设计规划：外置ISP的选型基本不受AP的影响，因此魅族可以从各个优秀ISP芯片供应商的众多汽员中甄

10、选最合适的器件，从而设计出更多优秀的产品。能够实现产品的差异化：内置ISP是封装在AP内部的，是和AP紧密的联系在一起，如果AP相同，那么ISP也就是一样的。因此基于同样AP生产出来的手机，其ISP的性能也是一样的，可供调教的条件也是固定的，这样就不利于实现产品的差异化。而如果选择外置ISP,那么同一颗AP,可以搭配不同型号的ISP,这样可以实现产品的差异化，为给用户提供更丰富和优质的产品O外置ISP架构的缺点主要有：成本价格高：外置ISP需要单独购买，其售价往往不菲，而且某些特殊功能还需要额外支付费用。使用外置ISP,需要进行额外的原理图设计和1AYOUT,需要使用额外的元器件。开发周期长：

11、外置ISP驱动的设计需要多费精力和时间。使用外置ISP时，AP供应商提供的ISP驱动就无法使用，需要额外设计编写外置ISP驱动。另外，为了和AP进行完美的搭配，将效果最大化，也往往需要付出更多的调试精力。上文也提到，使用外置ISP,需要进行额外的原理图设计和1AYOUT,需要使用额外的元器件，这也是需要花费时间进行处理的。内置ISP架构：内置ISP架构是指在AP内部嵌入了ISPIP,直接使用AP内部的ISP进行图像信号处理。内置ISP的架构图一般如下所示：内置ISP架构的优点主要有：能降低成本价格：内置ISP内嵌在AP内部，因此无需像外置ISP一样需要额外购买，且不占PCB空间，无需单独为其设

12、计外围电路，这样就能节省BOM,降低成本。鉴于大多数用户在选购手机时会将价格因素放在重要的位置，因此降低成本能有效的降低终端成品价格，有利于占领市场。能提高产品的上市速度：内置ISP和AP紧密结合，无需进行原理图设计和1AYOUT设计，因此可以减小开发周期，加快产品上市的速度。能降低开发难度：如果使用内置ISP,那么AP供应商能在前期提供相关资料,驱动开发人员可以有充足的时间熟悉相关资料，而且不会存在软件版本适配问题，也不存在平台架构兼容性问题。但是，如果使用外置ISP,那么ISP供应商往往都不能提供针对某个平台的代码/资料，而且一般都存在软件版本兼容问题，这就需要驱动开发人员付出额的经历和时

13、间。使用内置ISP当然也有相应的不足之处，具体见上文的分析，这里就不赘述了。事实上，鉴于ISP的重要性，为了推广其AP,提高其AP竞争力，现在AP内置的ISP也越来越强大，其性能足以满足手机市场的需求。再加上其一系列优点，现在使用内置ISP方案的手机越来越多。ISP处理流程GP1OsEmu1abonPathPVCI-InterfaceSPRAMInter1aceSPRAM(DPCCbuffer)Oinebufferand光学岫SnSBaye谢理:BayerPatternCFA光电转换消坂，A/D转换BayerS像舲图像信号一HEQ/SatuntnnYUV420FormMerSensor-翻电信

14、号-图像产生过程：景物通过1ens生成的光学图像投射到SenSOr表面上，经过光电转换为模拟电信号，消噪声后经过A/D转换后变为数字图像信号,再送到数字信号处理芯片(DSP)中加工处理。所以，从sensor端过来的图像是Bayer图像，经过黑电平补偿(b1ack1eve1compensation)、镜头矫正(IenSshadingcorrection)、坏像素矫正(badpixe1correction)、颜色插值(demosaic)Bayer噪声去除、白平衡(awb)矫正、色彩矫正(co1orcorrection)gamma矫正、色彩空间转换(RGB转换为YUV)、在YUV色彩空间上彩噪去除与

15、边缘加强、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出YUV（或者RGB）格式的数据，再通过I/O接口传输到CPU中处理。1Bayer（拜耳滤波正得到彩色）图像在将实际的景物转换为图像数据时，通常是将传感盗分别接收红、绿、蓝三个分量的信息，然后将红、绿、蓝三个分量的信息合成彩色图像。该方案需要三块滤镜，这样价格昂贵，且不好制造，因为三块滤镜都必须保证每一个像素点都对齐。通过在黑白emos图像传感器的基础上，增加彩色滤波结构和彩色信息处理模块就可以获得图像的彩色信息，再对该彩色信息进行处理，就可以获得色彩逼真的彩色图像。通常把彩色图像传感器表面覆盖的滤波称为彩色滤波阵列（Co1orFi1terArrays,CFA）。目前最常用的滤镜阵列是棋盘格式的，已经有很多种类的，其中绝大多数的摄像产品采用的是原色贝尔模板彩色滤波阵列（BayerPatternCFA）0R、G、B分别表示透红色、透绿色和透蓝色的滤镜阵列单元。由于人的视觉对绿色最为敏感，所以在BayerCFA中G分量是R和B的二倍，在每个像素点上只能获取一种色彩分量的信息，然后根据该色彩分量的信息通过插值算法得到全色彩图像。2. B1C（B1ack1eve1Correction）（