dnn神经网络_OpenCv-C++-深度神经网络（DNN）模块-使用FCN模型实现图像分割-白红宇

dnn神经网络_OpenCv-C++-深度神经网络（DNN）模块-使用FCN模型实现图像分割

阅读量：798 次

发布时间：2023-04-05

本文共 2679 字，大约阅读时间需要 8 分钟。

全卷积网络（FCN）是一种在计算机视觉领域的经典模型，它通过将传统卷积神经网络（CNN）中的全连接层替换为卷积层，从而简化了网络结构。与传统CNN不同，FCN的特点是所有的层都采用卷积操作，这使得网络更加高效且易于训练。

FCN的核心思想

FCN的核心思想是通过卷积操作逐步提取图像中的特征，而无需使用全连接层。这种结构使得网络能够直接从特征图中获取全局信息，从而避免了传统CNN中信息丢失的问题。

FCN的实现步骤

图像预处理

首先，需要对输入图像进行预处理，包括调整图像大小、归一化等。例如，在下面的代码中，图像被缩放到500×500的尺寸。

网络结构

FCN网络由多个卷积层组成。例如，FCN-8s网络包含8层卷积层，最后两层分别对应1000个类别的概率和位置信息。

前向传播

将预处理后的图像输入网络进行前向传播，得到最终的分数矩阵。这个过程可以通过以下代码实现：

结果处理

通过对分数矩阵进行分析，可以确定图像中最可能的类别。例如，在代码中，最大值对应的类别颜色被选用。

图像合并

最后，将原始图像与分类结果合并，生成最终的输出图像。例如，通过加权融合的方式将分类结果与原始图像混合。

代码示例

#include 
   
    
#include 
    
     
#include 
     
      
using namespace cv;
using namespace std;
using namespace cv::dnn;
const size_t width = 500;
const size_t height = 500;
string label_file = "D:/test/dnn/fcn/labelmap.txt";
string deploy_file = "D:/test/dnn/fcn/fcn8s-heavy-pascal.prototxt";
string model_file = "D:/test/dnn/fcn/fcn8s-heavy-pascal.caffemodel";
int main(int argc, char **argv)
{
    Mat src = imread("D:/test/person_bike.jpg");
    if (!src.data)
    {
        cout << "图像文件未找到!!!" << endl;
        return -1;
    }
    resize(src, src, Size(500, 500), 0, 0);
    vector colors = labels_color();
    Net net;
    net = readNetFromCaffe(deploy_file, model_file);
    float t1 = getTickCount();
    Mat inputblob = blobFromImage(src);
    net.setInput(inputblob, "data");
    Mat score = net.forward("score");
    float t2 = getTickCount();
    float t = (t2 - t1) / getTickFrequency();
    cout << "运行时间:" << t << endl;
    const int rows = score.size[2];
    const int cols = score.size[3];
    const int chns = score.size[1];
    Mat maxCl(rows, cols, CV_8UC1);
    Mat maxVal(rows, cols, CV_32FC1);
    for (int c = 0; c < chns; c++)
    {
        for (int row = 0; row < rows; row++)
        {
            const float *ptrScore = score.ptr(0, c, row);
            uchar *ptrMaxCl = maxCl.ptr(row);
            float *ptrMaxVal = maxVal.ptr(row);
            for (int col = 0; col < cols; col++)
            {
                if (ptrScore[col] > ptrMaxVal[col])
                {
                    ptrMaxVal[col] = ptrScore[col];
                    ptrMaxCl[col] = (uchar)c;
                }
            }
        }
    }
    Mat result = Mat::zeros(rows, cols, CV_8UC3);
    for (int row = 0; row < rows; row++)
    {
        const uchar *ptrMaxCl = maxCl.ptr(row);
        Vec3b *ptrColor = result.ptr(row);
        for (int col = 0; col < cols; col++)
        {
            ptrColor[col] = colors[ptrMaxCl[col]];
        }
    }
    Mat dst;
    addWeighted(src, 0.3, result, 0.7, 0, dst);
    imshow("FCN-demo", dst);
    return 0;
}

FCN的核心思想

FCN的实现步骤

代码示例

相关资源