FPGA的视频图像处理算法范文

《电子科技》2014年第五期

1FPGA模块的实现

FPGA内部系统对视频图像的处理如图2所示。主要分为帧存储模块、分割模块、插值模块3部分。

1.1帧模块及存储模块DVI接口是将显卡中经过处理的待显示R、G、B数字信号与水平同步信号(Hsync，行同步信号)、垂直同步信号(Vsync，场同步信号)进行组合，按最小非归零编码，将每个像素点按10bit(8bit像素数据和2bit控制信号)的数字信号进行并串转换，把编码后的R、G、B数字流与像素时钟4组信号按照最小化传输差分信号(TransitionMinimizedDifferentialSignal，TMDS)方式进行传输。FPGA的分时切换逻辑是依据输入视频流的垂直同步控制信号Vsync发生由高电平到低电平的转换，以此作为新数据帧到来的标识，如图3所示。当FPGA内部的信号控制采集信号为0时，采集系统停止工作，地址发生器不计数。当其为1时，系统处于采集状态。首先只有Vsync上升沿到来后，才允许Hsync通过，从而保证采集的图像为完整的一帧图像。当Vsync上升沿到来后，对所有计数器及触发器清零。Vsync上升沿后，场消隐延时用来对Hsync计数，场消隐期后，可以采集图像。行同步计数器对Hsync进行计数。在计数的每一行中，当Hsync上升沿到来时，行消隐延时对其计数。行消隐过后，点同步计数器开始对其计数。当行同步计数停止计数时，一帧图像采集完毕，等待下一个Vsync到来。数据缓冲区为两片SDRAM，以一帧图像为单位进行切换控制。采用乒乓存储机制完成数据的无缝缓冲与处理。乒乓操作可以通过“输入数据选择控制”和“输出数据选择控制”按节拍、相互配合地进行来回切换，将经过缓冲的数据流没有停顿地送到“后续处理”模块。

1.2分割模块由于一个像素的输出值只取决于输入图像的相应像素值，因此，可通过对每个输入像素依次进行处理这种流水化的处理模式，来实现对图像的点操作。由于每个像素是单独处理的，所以点操作很容易并行实现。因此，可以把图像分割成若干部分，然后再对每个部分单独进行处理。视频分割模块实现单帧视频图像的分割剪裁，得到4路完整格式的子视频像素流，并控制4个子视频的相互时序关系，各个拼接屏幕的像素点的扫描规律相同，均为逐行扫描形式，并且子视频像素点显示同步，即行同步和场同步。

1.3双线性插值算法的实现实现图片处理的插值方法有很多，例如最近邻插值、双线性插值、双三次插值等。最近邻插值是最简单的插值方式，但当图像中的像素灰度级有细微变化时，该方法会在图像中产生人工的痕迹。双三次插值可以得到更平滑的结果，但在存储管理更复杂，并增加了逻辑资源的消耗。因此，选取了双线性插值方法。与点操作的图像分割不同，双线性插值属于几何变换，其输出的像素通常并不是来自同一个输入像素位置。因此需要一些形式的缓存来处理由几何形状改变而引起的延迟。本文采用预载入缓存的方法来缓冲图像数据，并使用双端口RAM来实现行缓冲器的设计方案。

采用双口RAM可在一个时钟周期内同时在每一行上提供两个输入像素，即提供了所有的4个像素。然后将数据输送到插值计算模块。而整幅图像的存储将保存在外部的帧缓存中，每个时钟周期只能对其进行一次访问。每个像素应仅从外部存储器中读取一次，然后暂存在片上缓存中用于随后的窗口。将数据预载入缓存，每次访问时直接从缓存中读取像素，如图4所示。共需计算两次:一次用于载入缓存;一次用于执行插值。输入和输出像素间的映射采用前向映射。视频插值模块实现对视频按比例因子进行双线性插值放大处理。双线性插值算法的基本原理如图5所示，图中的下标i和f表示各自坐标的整数和小数部分。双线性插值是采用可分离的线性插值将4个最近的像素值组合，如式(1)。线性插值的结果与插值的顺序无关。先进行y方向的插值，然后进行x方向的插值，所得结果相同。将式(1)进行分解，则有当输入分辨率有所变化而引起缩放因子变化时，FPGA内的数字逻辑能实时计算出式(2)中的系数xf和yf。而非仅计算几种固定缩放比例，从而提高了算法模块的利用率。若以将摄像机1024×576分辨率的图转化为1366×768的图为例，则水平缩放因子sc_x和垂直缩放因子sc_y均为0.75。若将水平因子直接带入编写程序，则会报错。采用浮点数表示法，转换后得到的10位16进制数，计算出系数xf和yf均为h300。

在实际设计中，为避免运算过于复杂，把复杂的运算分成几个步骤，分别在不同的时钟周期完成。插值计算的逻辑结构模块如图6所示。系统包含3种不同的时钟频率:原像素点频率clkin、输出像素点频率clkout和系统主时钟频率clksys。令系统主时钟频率为4倍的原像素点频率，则使用Verilog语言及ModelSimSE10。1a和QuartusII仿真环境进行编译，得到双线性插值计算模块的仿真波形如图7所示。为程序书写方便，将采集的4个像素值标为a、b、c、d，经过插值模块后的输出像素值为p。从仿真波形可看出，完成了双线性插值计算模块的实现。

2结束语

针对大屏幕特点，从拼接控制器入手，提出了一种基于FPGA实现的视频实时处理系统。主要采用双线性插值法，讨论了如何用FPGA实现，并进行逻辑结构的优化，提高系统性能，并对双线性进行仿真，验证了算法在拼接显示系统中的可行性。围绕拼接控制器这个应用方向，还有更多的问题需要进行研究，例如画面自由叠加与漫游，单屏分割，自动图像识别重建等。

作者：赵贝单位：大连交通大学电气信息学院