自制深度学习推理框架-实现我们的第一个算子Relu-第三课

  2023-01-03 01:44:56

我们的课程主页

https://github.com/zjhellofss/KuiperInfer 欢迎pr和点赞

手把手教大家去写一个深度学习推理框架 B站视频课程


(资料图片)

Relu算子的介绍

Relu是一种非线性激活函数,它的特点有运算简单,不会在梯度处出现梯度消失的情况,而且它在一定程度上能够防止深度学习模型在训练中发生的过拟合现象。Relu的公式表达如下所示,「如果对于深度学习基本概念不了解的同学,可以将Relu当作一个公式进行对待,可以不用深究其背后的含义。」

我们今天的任务就是来完成这个公式中的操作,「值得注意的是,在我们的项目中,x和y可以理解为我们在第二、第三节中实现的张量类(tensor).」

Operator类

Operator类就是我们在第一节中说过的计算图中「节点」的概念,计算图的另外一个概念是数据流图,如果同学们忘记了这个概念,可以重新重新翻看第一节课程。

在我们的代码中我们先定义一个「Operator」类,它是一个父类,其余的Operator,包括我们本节要实现的ReluOperator都是其派生类,「Operator中会存放节点相关的参数。」例如在「ConvOperator」中就会存放初始化卷积算子所需要的stride, padding, kernel_size等信息,本节的「ReluOperator」就会带有「thresh」值信息。

我们从下方的代码中来了解Operator类和ReluOperator类,它们是父子关系,Operator是基类,OpType记录Operator的类型。

enumclassOpType{kOperatorUnknown=-1,kOperatorRelu=0,};classOperator{public:OpTypekOpType=OpType::kOperatorUnknown;virtual~Operator()=default;explicitOperator(OpTypeop_type);};

ReluOperator实现:

classReluOperator:publicOperator{public:~ReluOperator()override=default;explicitReluOperator(floatthresh);voidset_thresh(floatthresh);floatget_thresh()const;private:floatthresh_=0.f;};

Layer类

我们会在operator类中存放从「计算图结构文件」得到的信息,例如在ReluOperator中存放的thresh值作为一个参数就是我们从计算图结构文件中得到的,计算图相关的概念我们已经在第一节中讲过。

下一步我们需要根据ReLuOperator类去完成ReluLayer的初始化,「他们的区别在于ReluOperator负责存放从计算图中得到的节点信息,不负责计算」,而ReluLayer则「负责具体的计算操作」,同样,所有的Layer类有一个公共父类Layer. 我们可以从下方的代码中来了解两者的关系。

classLayer{public:explicitLayer(conststd::string&layer_name);virtualvoidForwards(conststd::vector>>&inputs,std::vector>>&outputs);virtual~Layer()=default;private:std::stringlayer_name_;};

其中Layer的Forwards方法是具体的执行函数,负责将输入的inputs中的数据,进行relu运算并存放到对应的outputs中。

classReluLayer:publicLayer{public:~ReluLayer()override=default;explicitReluLayer(conststd::shared_ptr&op);voidForwards(conststd::vector>>&inputs,std::vector>>&outputs)override;private:std::shared_ptrop_;};

这是集成于Layer的ReluLayer类,我们可以看到其中有一个op成员,是一个ReluOperator指针,「这个指针中负责存放ReluLayer计算时所需要用到的一些参数」。此处op_存放的参数比较简单,只有ReluOperator中的thresh参数。

我们再看看是怎么使用ReluOperator去初始化ReluLayer的,先通过统一接口传入Operator类,再转换为对应的ReluOperator指针,最后再通过指针中存放的信息去初始化「op_」.

ReluLayer::ReluLayer(conststd::shared_ptr&op):Layer("Relu"){CHECK(op->kOpType==OpType::kOperatorRelu);ReluOperator*relu_op=dynamic_cast(op.get());CHECK(relu_op!=nullptr);this->op_=std::make_shared(relu_op->get_thresh());}

我们来看一下具体ReluLayer的Forwards过程,它在执行具体的计算,完成Relu函数描述的功能。

voidReluLayer::Forwards(conststd::vector>>&inputs,std::vector>>&outputs){CHECK(this->op_!=nullptr);CHECK(this->op_->kOpType==OpType::kOperatorRelu);constuint32_tbatch_size=inputs.size();for(inti=0;iempty());conststd::shared_ptr>&input_data=inputs.at(i);input_data->data().transform([&](floatvalue){floatthresh=op_->get_thresh();if(value>=thresh){returnvalue;}else{return0.f;}});outputs.push_back(input_data);}}

在for循环中,首先读取输入input_data, 再对input_data使用armadillo自带的transform按照我们给定的thresh过滤其中的元素,如果「value」的值大于thresh则不变,如果小于thresh就返回0.

最后,我们写一个测试函数来验证我们以上的两个类,节点op类,计算层layer类的正确性。先判断Forwards返回的outputs是否已经保存了relu层的输出,输出大小应该assert为1. 随后再进行比对,我们应该知道在thresh等于0的情况下,第一个输出index(0)和第二个输出index(1)应该是0,第三个输出应该是3.f.

TEST(test_layer,forward_relu){usingnamespacekuiper_infer;floatthresh=0.f;std::shared_ptrrelu_op=std::make_shared(thresh);std::shared_ptr>input=std::make_shared>(1,1,3);input->index(0)=-1.f;input->index(1)=-2.f;input->index(2)=3.f;std::vector>>inputs;std::vector>>outputs;inputs.push_back(input);ReluLayerlayer(relu_op);layer.Forwards(inputs,outputs);ASSERT_EQ(outputs.size(),1);for(inti=0;iindex(0),0.f);ASSERT_EQ(outputs.at(i)->index(1),0.f);ASSERT_EQ(outputs.at(i)->index(2),3.f);}}

本期代码仓库位置

gitclonehttps://gitee.com/fssssss/KuiperCourse.gitgitcheckoutfouth

相关新闻

猜你喜欢

自制深度学习推理框架-实现我们的第一个算子Relu-第三课

2023-01-03

奥维通信拟合资建5GW高效异质结光伏项目 构建军工+光伏双主业

2023-01-02

今日热讯:【手慢无】性价比碾压RTX 3060!一线RX 6600秒杀价1899元

2023-01-02

热消息:美年健康董事长俞熔2023年新年贺词:以医者仁心前瞻性地解决客户病痛隐患

2023-01-01

茄子去皮怎样保存新鲜 削了皮的茄子如何保存

2023-01-01

2022年A股IPO募资额创历史新高,三成新股首日破发

2022-12-31

【快播报】为配合元旦交通管制,上海63条公交线将临时绕改道

2022-12-30

环球微资讯!本周盘点(12.26-12.30):白银有色周涨1.96%,主力资金合计净流入637.19万元

2022-12-30

天天观天下!融e贷逾期十天有上征信的吗

2022-12-30

每日观察!乾照光电:海信视像增持公司3.19%股份 拟最终取得公司控制权

2022-12-30

为何我国会成为水稻进口大国?

2022-12-29

AAC瑞声科技首发三大技术新品 全新仿生振感马达将于明年1月上市

2022-12-29

沪指震荡收跌0.44% 医药生物板块大涨

2022-12-29

热文:佛山市2023年护士执业资格考试报名条件

2022-12-29

贝索斯在美国滑雪,53岁女友的拉链开到肚脐,身姿挺拔嘴是真大

2022-12-29

索尼:正在考虑VR眼镜无线解决方案 天天播报

2022-12-29

十字架的爱情句子精选200句_世界观天下

2022-12-28

重量级老艺术家要回归春晚!赵本山,郭德纲,陈佩斯的呼声最高

2022-12-28

恒星科技:公司金刚线不存在重大工艺问题 该产品目前产能达380万公里/月-环球快看点

2022-12-28

【天天快播报】信邦智能(301112)12月27日主力资金净卖出429.77万元

2022-12-28

当前热议!羽绒服机洗后棉团一起了怎么办?

2022-12-27

[快讯]盛弘股份:关于公司控股股东减持股份计划预披露|每日热门

2022-12-27

​机器学习数据不满足同分布,怎么整?_环球滚动

2022-12-27

【环球新要闻】风华高科(000636)12月26日主力资金净卖出275.99万元

2022-12-27

投资其实就是一场修行,又是一场自选题目的考试!

2022-12-26

精彩图集