https://github.com/zjhellofss/KuiperInfer 欢迎pr和点赞
手把手教大家去写一个深度学习推理框架 B站视频课程
【资料图】
Relu是一种非线性激活函数,它的特点有运算简单,不会在梯度处出现梯度消失的情况,而且它在一定程度上能够防止深度学习模型在训练中发生的过拟合现象。Relu的公式表达如下所示,「如果对于深度学习基本概念不了解的同学,可以将Relu当作一个公式进行对待,可以不用深究其背后的含义。」
我们今天的任务就是来完成这个公式中的操作,「值得注意的是,在我们的项目中,x和y可以理解为我们在第二、第三节中实现的张量类(tensor).」
Operator类就是我们在第一节中说过的计算图中「节点」的概念,计算图的另外一个概念是数据流图,如果同学们忘记了这个概念,可以重新重新翻看第一节课程。
在我们的代码中我们先定义一个「Operator」类,它是一个父类,其余的Operator,包括我们本节要实现的ReluOperator都是其派生类,「Operator中会存放节点相关的参数。」例如在「ConvOperator」中就会存放初始化卷积算子所需要的stride, padding, kernel_size等信息,本节的「ReluOperator」就会带有「thresh」值信息。
我们从下方的代码中来了解Operator类和ReluOperator类,它们是父子关系,Operator是基类,OpType记录Operator的类型。
enumclassOpType{kOperatorUnknown=-1,kOperatorRelu=0,};classOperator{public:OpTypekOpType=OpType::kOperatorUnknown;virtual~Operator()=default;explicitOperator(OpTypeop_type);};
ReluOperator实现:
classReluOperator:publicOperator{public:~ReluOperator()override=default;explicitReluOperator(floatthresh);voidset_thresh(floatthresh);floatget_thresh()const;private:floatthresh_=0.f;};
我们会在operator类中存放从「计算图结构文件」得到的信息,例如在ReluOperator中存放的thresh值作为一个参数就是我们从计算图结构文件中得到的,计算图相关的概念我们已经在第一节中讲过。
下一步我们需要根据ReLuOperator类去完成ReluLayer的初始化,「他们的区别在于ReluOperator负责存放从计算图中得到的节点信息,不负责计算」,而ReluLayer则「负责具体的计算操作」,同样,所有的Layer类有一个公共父类Layer. 我们可以从下方的代码中来了解两者的关系。
classLayer{public:explicitLayer(conststd::string&layer_name);virtualvoidForwards(conststd::vector>>&inputs,std::vector>>&outputs);virtual~Layer()=default;private:std::stringlayer_name_;};
其中Layer的Forwards方法是具体的执行函数,负责将输入的inputs中的数据,进行relu运算并存放到对应的outputs中。
classReluLayer:publicLayer{public:~ReluLayer()override=default;explicitReluLayer(conststd::shared_ptr&op);voidForwards(conststd::vector>>&inputs,std::vector>>&outputs)override;private:std::shared_ptrop_;};
这是集成于Layer的ReluLayer类,我们可以看到其中有一个op成员,是一个ReluOperator指针,「这个指针中负责存放ReluLayer计算时所需要用到的一些参数」。此处op_存放的参数比较简单,只有ReluOperator中的thresh参数。
我们再看看是怎么使用ReluOperator去初始化ReluLayer的,先通过统一接口传入Operator类,再转换为对应的ReluOperator指针,最后再通过指针中存放的信息去初始化「op_」.
ReluLayer::ReluLayer(conststd::shared_ptr&op):Layer("Relu"){CHECK(op->kOpType==OpType::kOperatorRelu);ReluOperator*relu_op=dynamic_cast(op.get());CHECK(relu_op!=nullptr);this->op_=std::make_shared(relu_op->get_thresh());}
我们来看一下具体ReluLayer的Forwards过程,它在执行具体的计算,完成Relu函数描述的功能。
voidReluLayer::Forwards(conststd::vector>>&inputs,std::vector>>&outputs){CHECK(this->op_!=nullptr);CHECK(this->op_->kOpType==OpType::kOperatorRelu);constuint32_tbatch_size=inputs.size();for(inti=0;iempty());conststd::shared_ptr>&input_data=inputs.at(i);input_data->data().transform([&](floatvalue){floatthresh=op_->get_thresh();if(value>=thresh){returnvalue;}else{return0.f;}});outputs.push_back(input_data);}}
在for循环中,首先读取输入input_data, 再对input_data使用armadillo自带的transform按照我们给定的thresh过滤其中的元素,如果「value」的值大于thresh则不变,如果小于thresh就返回0.
最后,我们写一个测试函数来验证我们以上的两个类,节点op类,计算层layer类的正确性。先判断Forwards返回的outputs是否已经保存了relu层的输出,输出大小应该assert为1. 随后再进行比对,我们应该知道在thresh等于0的情况下,第一个输出index(0)和第二个输出index(1)应该是0,第三个输出应该是3.f.
TEST(test_layer,forward_relu){usingnamespacekuiper_infer;floatthresh=0.f;std::shared_ptrrelu_op=std::make_shared(thresh);std::shared_ptr>input=std::make_shared>(1,1,3);input->index(0)=-1.f;input->index(1)=-2.f;input->index(2)=3.f;std::vector>>inputs;std::vector>>outputs;inputs.push_back(input);ReluLayerlayer(relu_op);layer.Forwards(inputs,outputs);ASSERT_EQ(outputs.size(),1);for(inti=0;iindex(0),0.f);ASSERT_EQ(outputs.at(i)->index(1),0.f);ASSERT_EQ(outputs.at(i)->index(2),3.f);}}
gitclonehttps://gitee.com/fssssss/KuiperCourse.gitgitcheckoutfouth
关键词: 是否已经 卷积算子 激活函数
相关新闻
由于需求担忧再度抬头,油价势将连续第二周下跌,抵消了沙特阿拉伯单方面承诺减产所推动的涨幅
加强团队建设 增强团队凝聚力_谁知道团队建设最重要的什么
孟浩然写了哪些古诗 孟浩然的古诗有哪些
河南省安阳市2023-06-09 08:48发布高温橙色预警
暗黑4采血者的威能介绍 世界新视野
原油:回调或有限,暂时企稳-环球观点
香港怪谈2023_香港怪谈|当前看点
河粉要泡多久 河粉用什么水泡开
全球新动态:惠城环保(300779.SZ):广东石化建设的高硫石油焦制氢气项目是全国首套装置
天天讯息:苹果电脑降价幅度
世界播报:太平洋给予海德股份买入评级 海德股份:重视个贷不良资产处置中的AI+司法应用
中远海控(01919):辜忠东辞任副总经理
中国移动股票代码600941(中国移动股票代码)
【世界新视野】人民日报最新资讯(西陶村人:《人民日报》9天8次发文谈防疫)
聚焦:如何拿第一?一汽奔腾NAT青岛节能挑战赛冠军访谈
新型电力系统建设全面启动,挑战有哪些|数说中国
世界热推荐:建行龙卡信用卡还款日期
天天快看:40个老小区项目,536幢房屋,惠及居民近两万户——市水务工程公司全力推进老旧小区供水设施改造工程
杜成义_关于杜成义的介绍 焦点精选
全球快播:天津一区局部地面沉降,初步原因查明
6月8日东方红智选三年持有混合C净值上涨0.07%-环球观天下
福森药业6月8日回购10.60万股 耗资14.05万港币
又一家外资公募来了!施罗德基金获准开业,外商独资公募动作频频-环球今头条
环球快消息!2023年养老金上涨3.8%,各地养老金调整细则将公布,7月底补发?
全球即时看!2023年安徽养老金调整方案将公布,退休人员涨多少?很难涨133元吗?
新劲刚:特定股东彭波拟减持不超1.69%公司股份 实时焦点
成都大运会火炬火种搭乘“大运号”飞赴北京
见利忘义的利字是什么意思_见利忘义意思简单介绍|世界讯息
上海警方侦破医美产品领域妨害药品管理案,涉案金额达1400余万元
橡树资本首席投资官Bruce Karsh:坚定不移长期投资中国 看好中国国有企业
重庆新农村建设修建如何给
资讯:新知言_关于新知言简介
热推荐:给高考生的11条饮食建议,家长们快收好|高考加油站
*ST新纺:公司生产经营正常,公司控股股东是新野县财政局|天天快播
世界今热点:特斯拉车祸后,林志颖为小鹏G6“代言”
环球播报:意法半导体将与三安光电在重庆设合资企业 制造200毫米碳化硅器件
内蒙古民警暴雪中徒步8小时 寻回走失牛群
就业
理论
菜鸟列日数字物流中枢在比利时正式启用
“双11”观察:新面貌与老毛病并存 平台竞争仍需更加有序
“信用培植”助中小微企业破解融资难
1
2
3
4
5
6
7
教育
相关新闻