2024年3月9日发(作者：佟佳文茵)
ISSN1009-3044ComputerKnowledgeand年Technology第17卷第6期(20212月)电脑知识与技术Vol.17,No.6February2021E-mail：*************.cnComputerhttpKnowledgeandTechnology电脑知识与技术：//：+86-551-6569基于InceptionV3的高校学生课堂行为识别研究柯斌1，杨思林1，曾睿1，代飞2，强振平2（1.西南林业大学现代教育技术中心，云南昆明650224；2.西南林业大学大数据与智能工程学院，云南昆明650224）摘要：随着人工智能和深度学习在教育领域的交叉融合，行为识别技术为学生课堂行为观察提供了一种有别于传统的新方法。以云南省X高校课堂视频为基础，经过预处理，获得六大类行为（听课、看书、书写、拍照、低头玩手机、桌面玩手机）30000张图像样本，运用InceptionV3算法模型进行了研究，实验结果：六大类行为总识别率达到88.10%，但各个行为识别率有所不同，其中“拍照”和“听课”识别率较高。通过进一步的混淆矩阵分析，得到结论：模型对动作姿态单一的行为特征提取效果较好，但模型对手机、笔、课本等重要用具不够重视，不能识别书写动作和眼神角度，导致“看书”“书写”“低头玩手机”和“桌面玩手机”行为因人体动作姿态相似容易混淆。关键词：InceptionV3；深度学习；学生课堂行为；行为识别中图分类号：TP391.41文献标识码：A开放科学（资源服务）标识码（OSID）：文章编号：1009-3044(2021)06-0013-03ResearchonActionRecognitionofStudentClassroomBehaviorinUniversitiesBasedonInceptionV3KEBin1,YANGSi-lin1,ZENGRui1,DAIFei2,QIANGZhen-ping2(EducationalTechnologyCenter,SouthwestForestryUniversity,Kunming650224,China;eofBigDataandIn⁃telligentEngineering,SouthwestForestryUniversity,Kunming650224,China)Abstract:Withthecross-integrationofAIanddeeplearninginthefieldofeducation,actionrecognitionprovidesanewmethodforstudentclassroombehaviorobservation,nclassroomvideoinXuniversityofYun⁃nanprovince,thispapercollectstheoriginaldatabyshootingstudents'reprocessing,thedatasetof30000sam⁃plesofsixcategoriesofbehavior(watch,read,note,picture,eye-down,phone-desk)ally,actionrecognitionofcl:thetotalrecognitionrateofsixcategoriesofbehavioris88.10%,buttherecognitionrateofeachbehaviorisdifferent,"picture"and"watch"behaviorarehigher,otherbe⁃hfurtheranalysisofconfusionmatrixanderrorrecognitionsamples,conclusionisdrawn:Themodelhasahigherrecognitionrateofsimpleactionposture,r,themodeldoesnotattachenoughimportancetotheimportantpropslikephone,penandbook,italsocannotrecognizethe"writingaction"and"eyeangle"verywell,whichleadstotheconfusionof"read","note","eye-down",and"phone-desk"ds:InceptionV3;DeepLearning;StudentClassroomBehavior;ActionRecognition课堂观察最早是由Flanders提出的对课堂教学进行观察和研究的基础方法，通过它可以评价教师的教育理念和教学效果，同时结合学生的课堂学习表现情况进行有针对性的反馈和改进[1]，因此课堂观察不仅可以提高教师的教学能力，也可以提高学生的学习效果。而传统的学生课堂行为是通过教师对学生进行人工课堂观察来实现，由于种种原因，效果并不理想，在实际中并没有发挥它应有的作用。随着人工智能和深度学习的快速发展，行为识别技术为学生课堂行为观察提供了一种新的可能性。深度学习通过大量的样本训练，学习并提取学生课堂行为的视觉特征，最终形成特征模型，后期通过软件平台实现学生课堂行为这一教学过程数据的挖掘利用[2-3]：教学过程监测；教学策略调整；学生成绩预测[4-6]，问题学生诊断及预警干涉[7]；教师教学评估等等。可见学生课堂行为在智慧教育、个性化教育等方面都具有重要的现实意义。研究以云南省X高校的学生上课视频为原始数据，运用InceptionV3卷积神经网络模型对学生课堂行为识别进行了研究，并根据实验结果结论提出了几个后继研究方向。1数据采集、预处理和标注1.1视频采集学生课堂行为数据来源于高校学生上课视频，在阶梯教室共拍摄26课时，统一使用SONYNEX-FS700CK高清摄像机1920×1080分辨率拍摄。拍摄时，采用三脚架高角度固定构图拍摄以便采集到更好的方便预处理的视频。收稿日期：2020-10-13基金项目：云南省教育厅科学研究基金项目(2019J0203)资助作者简介：柯斌（1982—），男，硕士，助理研究员，主要研究方向：智慧教育、学生课堂行为识别；通信作者：代飞（1982—），男，博士，教授，主要研究方向：大数据、深度学习。本栏目责任编辑：唐一东本期推荐13
ComputerKnowledgeandTechnology电脑知识与技术1.2数据预处理数据预处理包括视频编辑、图像序列抽帧、样本抠图三个步骤：（1）视频编辑，对原始视频进行后期剪辑，剪去课前课后和课中休息的与正常教学无关的废镜头，MPEG最终导出25帧/对视频进行采样抽帧；视频文件；（2）图像序列抽帧，（3）样本抠图，实验使用实验使用PHOTOSHOP2秒1帧的频率秒的对图像序列进行自动批处理裁剪得到单个学生样本，抠图基本原则是学生个体不能有前景遮挡且背景尽量不要出现其他学生的脸部。1.3学生课堂行为分类与标注在进行样本训练前，应把所有样本进行初步分类，找出典型的值得研究的学生课堂行为。与中小学生不同，大学生的课堂行为较随意也更加多样化，在分类过程中，发现当代大学生喜欢用手机拍课件，这种课堂行为虽然发生次数不多且持续时间不长但是很普遍，严格来讲它属于学习行为，是记笔记的一种形式，和往常“手机在课堂中起负面作用”的印象是相反的，可见手机作为一种出现在课堂中的“道具”具有两面性，研究也把这个典型的课堂行为纳入其中。然后对非典型的课堂行为如喝水、打哈欠等）和样本数量较少的课堂行为（如睡觉、举手等）进行二次清理，最终根据学生课堂行为姿态特征分为6大类（听课、看书、书写、拍照、低头玩手机、桌面玩手机），具体行为姿态画面特征如表1所示。表1六大类课堂行为及其姿态画面特征课堂行为行为姿态画面特征编码1听课抬头平视前方看黑板2watch看书小角度低头看桌面书本，桌面必须有书本资料3read书写在课桌上书写记笔记，必须有笔和书写动作4拍照双手举起手机拍课件，必须有手机和拍照动作picturenote5低头玩手机大角度低头目视正下方，画面中无手机eye-down6桌面玩手机在桌面上低头目视、操作手机，桌面有手机phone-desk图1学生课堂行为分类分类完成后经过人工标注，最终得到六大类学生课堂行为样本总共30000张，其中“听课”10870张，“看书”2480张，“书写”8310张，“拍照”580张，“低头玩手机”4220张，“桌面玩手机”3540张，各种行为比列基本符合高校课堂实际情况，其中学生A的课堂行为样本如图1所示。2算法模型与实验结果2.1InceptionV3算法模型深度学习DeepLearning，源于人工神经网络，通过模仿人14本期推荐第17卷第6期(2021年2月)类大脑的思维方式以及神经网络的接收反馈方式进行计算机模拟学习，是人工智能领域最具有发展前景的一个分支。卷积神经网络ConvolutionalNeuralNetworks，简称CNN，是深度学习领域的代表算法和引领者，CNN模型由输入层、核心部分、输出层组成，而核心部分由卷积层、池化层和全连接层组成。如图2所示，在样本训练时，CNN一般通过3x3卷积核对224x224x3图像进行卷积操作生成特征图，通常在比较浅的卷积层中，卷积操作可以提取到比较细节的特征，在比较深的卷积层中，卷积操作把之前提取到的细节特征进行组合和二次提取，得到更高级、抽象的特征，最终在多神经元组成的全连接层中得到特征矩阵；SOFTMAX在样本测试时，实验使用GoogLeNet多分类器中输出结果，经过卷积操作和特征矩阵计算最终在的InceptionV3数值最大的即是识别结果。模型，其网络结构共有22层，模型对图像进行1x3和3x1非对称多尺度并行卷积处理，将多个不同尺度的卷积核，module量，并且使得网络深度进一步提升的同时还增加了非线性表达模块，这种机制带来的一个好处是大幅度减少了参数数池化层进行整合，形成一个Inception能力。图2CNN结构示意图2.2实验结果实验使用Anaconda运行环境平台，Tensorflow深度学习框架，(TM)系统运行环境如下：械硬盘；i7-6800K显卡AMD，3.40GHzWIN7Radeon(TM)；DDR464位操作系统；CPUIntel(R)CoreRX内存46016GGraphics；250G固态硬盘；，4G显存。2T机实验把标注好的数据集按照9：1比例划分，90%样本数据作为训练数据（27000张），10%样本数据作为测试集（3000张）。另外，为了分析训练集样本数量对各种行为测试识别率的影响规律，实验测试集Testset（3000张）始终不变，把27000张训练样本再划分为5个训练集依次进行训练和测试，如表2所示，是数据集划分和最终训练测试数据，结果表明：训练集的样本数量对测试结果是有影响的，在Trainset1和Trainset3区间，随着训练样本数量的增加，总识别率得到大幅提升，由78.80%上升到Trainset587.70%，说明此区间深度学习效果较率只有微幅提升和波动，区间，虽然训练样本数量的成比例增加，好；在最终达到88.10%，说明此区间训练样但是总识别Trainset3和本数量对深度学习效果影响不大，接近于收敛状态。表2五个训练集测试结果数据训练集:测试集训练集（数量）测试集（数量）测试总识别率1:3Trainset1（1000）Testset（3000）Test178.80%1:1Trainset2（3000）Testset（3000）Test281.77%3:1Trainset3（9000）Testset（3000）Test387.70%6:1Trainse4（18000）Testset（3000）Test488.23%9:1Trainset5（27000）Testset（3000）Test588.10%本栏目责任编辑：唐一东（
第17卷第6期(2021年2月)图3五个训练集六类行为识别率趋势图如图3所示，是各类行为识别率趋势图，六类行为总结分析如下：（1）watch，识别率整体高于92%，比较稳定，随着训练样本数量的增加，95.73%体较低，，识别率小幅提升后微幅波动，最终达到随着训练样本数量的增加，说明深度学习特征提取比较理想；识别率大幅提升，（2）read，由识别率整18.24%最终上升到note75.88%，说明深度学习特征提取还不够好；（别率在波动中小幅提升，，识别率整体较低，比较稳定，最终达到随着训练样本数量的增加，371.29%，说明深度学习特征识）提取不够好；（4）picture，识别率整体高于96%，也比较稳定，随着训练样本数量的增加，识别率微幅波动后最终达到97.37%，说明深度学习特征提取比较理想；（5）eye-down，识别率整体不稳定，随着训练样本数量的增加，识别率在波动中提升后反而大幅下降，最终达到76.36%，说明深度学习特征提取不稳定，可能是因为eye-down与其他行为的人体动作姿态相似容易造成混淆；（6）phone-desk，识别率整体一般，随着训练样本数量的增加，识别率在大幅提升后小幅下降，最终达到80.93%，说明深度学习特征提取不够理想。3实验评估与分析如表3所示，是Test5测试结果数据的混淆矩阵，针对6类行为对Trainset5训练模型评估如下：（1）模型对watch的识别率高达95.73%，效果较好，容易误判为read占比2.99%；（2）模型对11.76%read的识别率75.88%较低，容易误判为phone-desk占比容易造成混淆，，read和phone-desk都是小角度低头看桌面，行为人体姿态的确有很大相似之处仅仅从人体姿态来识别确实困难，两者不同的地方在于，read是看书，而phone-desk是看桌面上的手机，desk说明模型并没有完全提取到read容易误判为的关键物品特征；watch占比（313.23%）模型对和phone-和notephone-desk的识别率占比71.29%11.61%也较低，，note和phone-desk行为人体姿态也有很大相似之处，都是小角度低头看桌面，两者不同的地方在于手势，note是拿笔进行书写动作，而phone-desk是操作桌面上的手机；（4）模型对picture的识别率高达97.37%，其余全部误判为watch；（5）模型对eye-down的识别率76.36%较低，容易误判为read占比23.18%，eye-down和read行为人体姿态有相似之处，都是低头看下面，关键区别在于低头角度，eye-down更低一些，几乎垂直地面大角度低头看桌面下的手机，而read是小角度低头看桌面上的书本，说明模型没有提取到两者的关键细微特征，行为识别不够细腻；（6）模15.37%型对，phone-deskphone-desk的和识note别的关键区别在于操作手机和书写动率80.93%，容易误判为note占比本栏目责任编辑：唐一东ComputerKnowledgeandTechnology电脑知识与技术作，而且两者的手势有相似之处，并且phone-desk画面中手机具有一定的隐蔽性，增加了识别难度。总体来说，训练模型可以较好地识别picture和watch两种人体姿态画面特征简单明显的行为，而对于姿态画面特征较相似较复杂的read、note、eye-down、phone-desk行为，存在普遍的混淆现象，模型的识别能力不够理想。表3Test5混淆矩阵watchreadnotepictureeye-downphone-deskwatchread150311note42picture51020360eye-down051001681phone-desk总结和展望由于实验条件和样本数量有限，六大类学生课堂行为最终识别率只达到88.10%，仍然需要提升才能进入最终的应用软件研发阶段，而后继研究工作可以在以下几个方面进行突破和深入：（1）目标检测，从实验结果结论可以看出，“手机”“笔”和“课本”等重要课堂用具对学生课堂行为的识别具有重要的作用，甚至可以说这些课堂用具是某些行为的关键特征，是区别于其他行为的重要标志，picture和phone-desk必须有“手机”，note必须有“笔”，read必须有“课本”，因此关键物体的目标检测[8]具有很好的辅助作用；（2）运动检测，帧差法[9]通过计算代表“手”和这部分像素在图像序列或前后图像帧中是否有位移变化来识别是否有“书写动作”，适合于运动检测，可以通过它识别出“手”和“笔”是否真的在进行“书写动作”，只有存在“书写动作”才能判断是note行为，否则有可能是学生手上拿着笔（没有书写动作）却在“看黑板”或“看书”甚至“桌面上玩手机”；（3）眼神识别，眼神通常代表了学生的心理活动和注意力，是判断课堂行为的重要依据，眼神识别或头部姿态识别是六类行为的重要区分之一，read和eye-down行为姿态特征几乎相同，两者非常容易混淆，一个目视桌面书本，一个目视桌子下面，唯一的区别就在于眼神角度不同；（4）手势识别，手势在一定程度上也代表学生的注意力，note和phone-desk的重要区别就在于手势动作，因此手势识别的辅助可以提升模型区分note和phone-desk的能力。总之，学生课堂行为识别不同于一般的图像识别，传统的图像识别只需要识别出某种物体即可，只要求学习到这个物体的关键共性特征，而行为识别要提取到人物或物体的行为姿态特征，难度大大提高。如果在关键物体目标检测、运动检测、眼神识别、手势识别等技术上实现突破，肯定会更容易识别学生课堂行为的关键动作姿态特征，最终提升整体识别率，加强算法模型的泛化能力，最终进入应用阶段。参考文献：[1]方海光,高辰柱,[2]用陈德鑫[J].中国电化教育陈佳,2012(10):109-113..改进型弗兰德斯互动分析系统及其应的应用分析,占袁圆[J].电化教育研究,杨兵.深度学习技术在教育大数据挖掘领域,2019,40(2):68-76.（下转第29页）本期推荐15“笔”
第17卷第6期(2021年2月)ComputerKnowledgeandTechnology电脑知识与技术实验教学是专业课程教学的一个重要组成部分，只有重视并加强学生实验环节的教学，才能有效地实现高等教育人才培养的目标。CBE模式在安徽中医药大学信息管理与信息系统专业实验教学中的应用取得了一些显著的成效。今后会在此基础上不断优化人才培养方案，改革教学方法，培养出更多高素质的医学信息类人才。参考文献：[1]任国防.CBE教育模式对普通学科教育的启示[J].河南师范大学学报(哲学社会科学版),2012(5):217-219.[2]吴姝菊,滕祥金,张晶红.CBE教学模式对大学生创新创业能力的新启示——以园林专业大学生为例[J].黑龙江高教研究,2017(1):144-146.[3]安鑫丽.借鉴CBE模式，构建工商管理专业实践教学体系[J].安阳师范学院学报,2014(6):120-122.[4]任志涛,孙彦武,党斐艳,等.CBE视角下工程管理专业校企合作创新人才培养模式研究[J].教育教学论坛,2019(09)22-23.[5]刁雅静,王志英,尹隽.基于CBE理论的应用型高校信息管理与信息系统专业模块化课程设计研究[J].镇江高专学报,2015,28(4):4-6.[6]刘晓伟,尹子民,张彩虹.构建信息管理与信息系统专业实践教学体系的探讨[J].辽宁工业大学学报（社会科学版）,2014(8):19-22,30.[7]刘瑛,许丹凌,吴长海,等.基于能力本位教育（CBE）人才培养机制的研究[J].价值工程,2018(3):202-204.【通联编辑：王力】（上接第15页）[3]柯斌,芦俊佳.智慧教育背景下高校学生课堂行为数据挖掘与利用[J].电脑知识与技术,2020,16(26):148-150.[4]王亮.学习分析技术建立学习预测模型[J].实验室研究与探索,2015,34(1):215-218,246.[5]牟智佳,武法提.教育大数据背景下学习结果预测研究的内容解析与设计取向[J].中国电化教育,2017(7):26-32.[6]丁梦美,吴敏华,尤佳鑫,等.基于学业成绩预测的教学干预研究[J].中国远程教育,2017(4):50-56.[7]范逸洲,汪琼.学业成就与学业风险的预测——基于学习分析领域中预测指标的文献综述[J].中国远程教育,2018(1):5-15,44,79.[8]尹宏鹏,陈波,柴毅,等.基于视觉的目标检测与跟踪综述[J].自动化学报,2016,42(10):1466-1489.[9]高凯亮,覃团发,王逸之,等.一种基于帧差法与背景减法的运动目标检测新方法[J].电讯技术,2011,51(10):86-91.【通联编辑：王力】（上接第21页）养与专业建设提供借鉴参考。同时，作为新兴专业，大数据相关专业人才培养和课程设置是需要在实践中不断修正的长期性课题，需要相关专业和学科持续性关注并逐步优化完善。参考文献：[1]张燕,刘鹏,赵海峰,潘永东.大数据专业建设的思考与探索[J].中国大学教学,2019(4):38-41.[2]韦茜妤,肖雄,王萌“新工科”.背景下的大数据专业课程体系研究[J].工业和信息化教育,2020(5):69-73.[3]王伟,卢媛.大学本科大数据专业发展现状与趋势分析[J].教育现代化,2020,7(24):61-64.[4]彭珍,董宇,王晓伟.大数据管理与应用专业及其课程体系研究[J].中国现代教育装备,2020(7):49-51.[5]易艳红,张晶,张聪.应用型本科信息管理与信息系统专业大数据方向课程改革研究[J].图书馆学研究,2019(7):15-20.[6]张晴,张玉琪,谭秋菊.大数据时代信息管理与信息系统专业课程设置改革研究[J].教育探索,2020(4):48-51.[7]杜来红.基于OBE的信管专业大数据应用方向人才培养模式研究[J].情报探索,2020(6):101-104.[8]宁慧聪.中国大数据专业建设的跨学科模式研究[J].计算机科学,2019,46(S2):159-162.【通联编辑：王力】本栏目责任编辑：唐一东本期推荐29
2024年3月9日发(作者：佟佳文茵)
ISSN1009-3044ComputerKnowledgeand年Technology第17卷第6期(20212月)电脑知识与技术Vol.17,No.6February2021E-mail：*************.cnComputerhttpKnowledgeandTechnology电脑知识与技术：//：+86-551-6569基于InceptionV3的高校学生课堂行为识别研究柯斌1，杨思林1，曾睿1，代飞2，强振平2（1.西南林业大学现代教育技术中心，云南昆明650224；2.西南林业大学大数据与智能工程学院，云南昆明650224）摘要：随着人工智能和深度学习在教育领域的交叉融合，行为识别技术为学生课堂行为观察提供了一种有别于传统的新方法。以云南省X高校课堂视频为基础，经过预处理，获得六大类行为（听课、看书、书写、拍照、低头玩手机、桌面玩手机）30000张图像样本，运用InceptionV3算法模型进行了研究，实验结果：六大类行为总识别率达到88.10%，但各个行为识别率有所不同，其中“拍照”和“听课”识别率较高。通过进一步的混淆矩阵分析，得到结论：模型对动作姿态单一的行为特征提取效果较好，但模型对手机、笔、课本等重要用具不够重视，不能识别书写动作和眼神角度，导致“看书”“书写”“低头玩手机”和“桌面玩手机”行为因人体动作姿态相似容易混淆。关键词：InceptionV3；深度学习；学生课堂行为；行为识别中图分类号：TP391.41文献标识码：A开放科学（资源服务）标识码（OSID）：文章编号：1009-3044(2021)06-0013-03ResearchonActionRecognitionofStudentClassroomBehaviorinUniversitiesBasedonInceptionV3KEBin1,YANGSi-lin1,ZENGRui1,DAIFei2,QIANGZhen-ping2(EducationalTechnologyCenter,SouthwestForestryUniversity,Kunming650224,China;eofBigDataandIn⁃telligentEngineering,SouthwestForestryUniversity,Kunming650224,China)Abstract:Withthecross-integrationofAIanddeeplearninginthefieldofeducation,actionrecognitionprovidesanewmethodforstudentclassroombehaviorobservation,nclassroomvideoinXuniversityofYun⁃nanprovince,thispapercollectstheoriginaldatabyshootingstudents'reprocessing,thedatasetof30000sam⁃plesofsixcategoriesofbehavior(watch,read,note,picture,eye-down,phone-desk)ally,actionrecognitionofcl:thetotalrecognitionrateofsixcategoriesofbehavioris88.10%,buttherecognitionrateofeachbehaviorisdifferent,"picture"and"watch"behaviorarehigher,otherbe⁃hfurtheranalysisofconfusionmatrixanderrorrecognitionsamples,conclusionisdrawn:Themodelhasahigherrecognitionrateofsimpleactionposture,r,themodeldoesnotattachenoughimportancetotheimportantpropslikephone,penandbook,italsocannotrecognizethe"writingaction"and"eyeangle"verywell,whichleadstotheconfusionof"read","note","eye-down",and"phone-desk"ds:InceptionV3;DeepLearning;StudentClassroomBehavior;ActionRecognition课堂观察最早是由Flanders提出的对课堂教学进行观察和研究的基础方法，通过它可以评价教师的教育理念和教学效果，同时结合学生的课堂学习表现情况进行有针对性的反馈和改进[1]，因此课堂观察不仅可以提高教师的教学能力，也可以提高学生的学习效果。而传统的学生课堂行为是通过教师对学生进行人工课堂观察来实现，由于种种原因，效果并不理想，在实际中并没有发挥它应有的作用。随着人工智能和深度学习的快速发展，行为识别技术为学生课堂行为观察提供了一种新的可能性。深度学习通过大量的样本训练，学习并提取学生课堂行为的视觉特征，最终形成特征模型，后期通过软件平台实现学生课堂行为这一教学过程数据的挖掘利用[2-3]：教学过程监测；教学策略调整；学生成绩预测[4-6]，问题学生诊断及预警干涉[7]；教师教学评估等等。可见学生课堂行为在智慧教育、个性化教育等方面都具有重要的现实意义。研究以云南省X高校的学生上课视频为原始数据，运用InceptionV3卷积神经网络模型对学生课堂行为识别进行了研究，并根据实验结果结论提出了几个后继研究方向。1数据采集、预处理和标注1.1视频采集学生课堂行为数据来源于高校学生上课视频，在阶梯教室共拍摄26课时，统一使用SONYNEX-FS700CK高清摄像机1920×1080分辨率拍摄。拍摄时，采用三脚架高角度固定构图拍摄以便采集到更好的方便预处理的视频。收稿日期：2020-10-13基金项目：云南省教育厅科学研究基金项目(2019J0203)资助作者简介：柯斌（1982—），男，硕士，助理研究员，主要研究方向：智慧教育、学生课堂行为识别；通信作者：代飞（1982—），男，博士，教授，主要研究方向：大数据、深度学习。本栏目责任编辑：唐一东本期推荐13
ComputerKnowledgeandTechnology电脑知识与技术1.2数据预处理数据预处理包括视频编辑、图像序列抽帧、样本抠图三个步骤：（1）视频编辑，对原始视频进行后期剪辑，剪去课前课后和课中休息的与正常教学无关的废镜头，MPEG最终导出25帧/对视频进行采样抽帧；视频文件；（2）图像序列抽帧，（3）样本抠图，实验使用实验使用PHOTOSHOP2秒1帧的频率秒的对图像序列进行自动批处理裁剪得到单个学生样本，抠图基本原则是学生个体不能有前景遮挡且背景尽量不要出现其他学生的脸部。1.3学生课堂行为分类与标注在进行样本训练前，应把所有样本进行初步分类，找出典型的值得研究的学生课堂行为。与中小学生不同，大学生的课堂行为较随意也更加多样化，在分类过程中，发现当代大学生喜欢用手机拍课件，这种课堂行为虽然发生次数不多且持续时间不长但是很普遍，严格来讲它属于学习行为，是记笔记的一种形式，和往常“手机在课堂中起负面作用”的印象是相反的，可见手机作为一种出现在课堂中的“道具”具有两面性，研究也把这个典型的课堂行为纳入其中。然后对非典型的课堂行为如喝水、打哈欠等）和样本数量较少的课堂行为（如睡觉、举手等）进行二次清理，最终根据学生课堂行为姿态特征分为6大类（听课、看书、书写、拍照、低头玩手机、桌面玩手机），具体行为姿态画面特征如表1所示。表1六大类课堂行为及其姿态画面特征课堂行为行为姿态画面特征编码1听课抬头平视前方看黑板2watch看书小角度低头看桌面书本，桌面必须有书本资料3read书写在课桌上书写记笔记，必须有笔和书写动作4拍照双手举起手机拍课件，必须有手机和拍照动作picturenote5低头玩手机大角度低头目视正下方，画面中无手机eye-down6桌面玩手机在桌面上低头目视、操作手机，桌面有手机phone-desk图1学生课堂行为分类分类完成后经过人工标注，最终得到六大类学生课堂行为样本总共30000张，其中“听课”10870张，“看书”2480张，“书写”8310张，“拍照”580张，“低头玩手机”4220张，“桌面玩手机”3540张，各种行为比列基本符合高校课堂实际情况，其中学生A的课堂行为样本如图1所示。2算法模型与实验结果2.1InceptionV3算法模型深度学习DeepLearning，源于人工神经网络，通过模仿人14本期推荐第17卷第6期(2021年2月)类大脑的思维方式以及神经网络的接收反馈方式进行计算机模拟学习，是人工智能领域最具有发展前景的一个分支。卷积神经网络ConvolutionalNeuralNetworks，简称CNN，是深度学习领域的代表算法和引领者，CNN模型由输入层、核心部分、输出层组成，而核心部分由卷积层、池化层和全连接层组成。如图2所示，在样本训练时，CNN一般通过3x3卷积核对224x224x3图像进行卷积操作生成特征图，通常在比较浅的卷积层中，卷积操作可以提取到比较细节的特征，在比较深的卷积层中，卷积操作把之前提取到的细节特征进行组合和二次提取，得到更高级、抽象的特征，最终在多神经元组成的全连接层中得到特征矩阵；SOFTMAX在样本测试时，实验使用GoogLeNet多分类器中输出结果，经过卷积操作和特征矩阵计算最终在的InceptionV3数值最大的即是识别结果。模型，其网络结构共有22层，模型对图像进行1x3和3x1非对称多尺度并行卷积处理，将多个不同尺度的卷积核，module量，并且使得网络深度进一步提升的同时还增加了非线性表达模块，这种机制带来的一个好处是大幅度减少了参数数池化层进行整合，形成一个Inception能力。图2CNN结构示意图2.2实验结果实验使用Anaconda运行环境平台，Tensorflow深度学习框架，(TM)系统运行环境如下：械硬盘；i7-6800K显卡AMD，3.40GHzWIN7Radeon(TM)；DDR464位操作系统；CPUIntel(R)CoreRX内存46016GGraphics；250G固态硬盘；，4G显存。2T机实验把标注好的数据集按照9：1比例划分，90%样本数据作为训练数据（27000张），10%样本数据作为测试集（3000张）。另外，为了分析训练集样本数量对各种行为测试识别率的影响规律，实验测试集Testset（3000张）始终不变，把27000张训练样本再划分为5个训练集依次进行训练和测试，如表2所示，是数据集划分和最终训练测试数据，结果表明：训练集的样本数量对测试结果是有影响的，在Trainset1和Trainset3区间，随着训练样本数量的增加，总识别率得到大幅提升，由78.80%上升到Trainset587.70%，说明此区间深度学习效果较率只有微幅提升和波动，区间，虽然训练样本数量的成比例增加，好；在最终达到88.10%，说明此区间训练样但是总识别Trainset3和本数量对深度学习效果影响不大，接近于收敛状态。表2五个训练集测试结果数据训练集:测试集训练集（数量）测试集（数量）测试总识别率1:3Trainset1（1000）Testset（3000）Test178.80%1:1Trainset2（3000）Testset（3000）Test281.77%3:1Trainset3（9000）Testset（3000）Test387.70%6:1Trainse4（18000）Testset（3000）Test488.23%9:1Trainset5（27000）Testset（3000）Test588.10%本栏目责任编辑：唐一东（
第17卷第6期(2021年2月)图3五个训练集六类行为识别率趋势图如图3所示，是各类行为识别率趋势图，六类行为总结分析如下：（1）watch，识别率整体高于92%，比较稳定，随着训练样本数量的增加，95.73%体较低，，识别率小幅提升后微幅波动，最终达到随着训练样本数量的增加，说明深度学习特征提取比较理想；识别率大幅提升，（2）read，由识别率整18.24%最终上升到note75.88%，说明深度学习特征提取还不够好；（别率在波动中小幅提升，，识别率整体较低，比较稳定，最终达到随着训练样本数量的增加，371.29%，说明深度学习特征识）提取不够好；（4）picture，识别率整体高于96%，也比较稳定，随着训练样本数量的增加，识别率微幅波动后最终达到97.37%，说明深度学习特征提取比较理想；（5）eye-down，识别率整体不稳定，随着训练样本数量的增加，识别率在波动中提升后反而大幅下降，最终达到76.36%，说明深度学习特征提取不稳定，可能是因为eye-down与其他行为的人体动作姿态相似容易造成混淆；（6）phone-desk，识别率整体一般，随着训练样本数量的增加，识别率在大幅提升后小幅下降，最终达到80.93%，说明深度学习特征提取不够理想。3实验评估与分析如表3所示，是Test5测试结果数据的混淆矩阵，针对6类行为对Trainset5训练模型评估如下：（1）模型对watch的识别率高达95.73%，效果较好，容易误判为read占比2.99%；（2）模型对11.76%read的识别率75.88%较低，容易误判为phone-desk占比容易造成混淆，，read和phone-desk都是小角度低头看桌面，行为人体姿态的确有很大相似之处仅仅从人体姿态来识别确实困难，两者不同的地方在于，read是看书，而phone-desk是看桌面上的手机，desk说明模型并没有完全提取到read容易误判为的关键物品特征；watch占比（313.23%）模型对和phone-和notephone-desk的识别率占比71.29%11.61%也较低，，note和phone-desk行为人体姿态也有很大相似之处，都是小角度低头看桌面，两者不同的地方在于手势，note是拿笔进行书写动作，而phone-desk是操作桌面上的手机；（4）模型对picture的识别率高达97.37%，其余全部误判为watch；（5）模型对eye-down的识别率76.36%较低，容易误判为read占比23.18%，eye-down和read行为人体姿态有相似之处，都是低头看下面，关键区别在于低头角度，eye-down更低一些，几乎垂直地面大角度低头看桌面下的手机，而read是小角度低头看桌面上的书本，说明模型没有提取到两者的关键细微特征，行为识别不够细腻；（6）模15.37%型对，phone-deskphone-desk的和识note别的关键区别在于操作手机和书写动率80.93%，容易误判为note占比本栏目责任编辑：唐一东ComputerKnowledgeandTechnology电脑知识与技术作，而且两者的手势有相似之处，并且phone-desk画面中手机具有一定的隐蔽性，增加了识别难度。总体来说，训练模型可以较好地识别picture和watch两种人体姿态画面特征简单明显的行为，而对于姿态画面特征较相似较复杂的read、note、eye-down、phone-desk行为，存在普遍的混淆现象，模型的识别能力不够理想。表3Test5混淆矩阵watchreadnotepictureeye-downphone-deskwatchread150311note42picture51020360eye-down051001681phone-desk总结和展望由于实验条件和样本数量有限，六大类学生课堂行为最终识别率只达到88.10%，仍然需要提升才能进入最终的应用软件研发阶段，而后继研究工作可以在以下几个方面进行突破和深入：（1）目标检测，从实验结果结论可以看出，“手机”“笔”和“课本”等重要课堂用具对学生课堂行为的识别具有重要的作用，甚至可以说这些课堂用具是某些行为的关键特征，是区别于其他行为的重要标志，picture和phone-desk必须有“手机”，note必须有“笔”，read必须有“课本”，因此关键物体的目标检测[8]具有很好的辅助作用；（2）运动检测，帧差法[9]通过计算代表“手”和这部分像素在图像序列或前后图像帧中是否有位移变化来识别是否有“书写动作”，适合于运动检测，可以通过它识别出“手”和“笔”是否真的在进行“书写动作”，只有存在“书写动作”才能判断是note行为，否则有可能是学生手上拿着笔（没有书写动作）却在“看黑板”或“看书”甚至“桌面上玩手机”；（3）眼神识别，眼神通常代表了学生的心理活动和注意力，是判断课堂行为的重要依据，眼神识别或头部姿态识别是六类行为的重要区分之一，read和eye-down行为姿态特征几乎相同，两者非常容易混淆，一个目视桌面书本，一个目视桌子下面，唯一的区别就在于眼神角度不同；（4）手势识别，手势在一定程度上也代表学生的注意力，note和phone-desk的重要区别就在于手势动作，因此手势识别的辅助可以提升模型区分note和phone-desk的能力。总之，学生课堂行为识别不同于一般的图像识别，传统的图像识别只需要识别出某种物体即可，只要求学习到这个物体的关键共性特征，而行为识别要提取到人物或物体的行为姿态特征，难度大大提高。如果在关键物体目标检测、运动检测、眼神识别、手势识别等技术上实现突破，肯定会更容易识别学生课堂行为的关键动作姿态特征，最终提升整体识别率，加强算法模型的泛化能力，最终进入应用阶段。参考文献：[1]方海光,高辰柱,[2]用陈德鑫[J].中国电化教育陈佳,2012(10):109-113..改进型弗兰德斯互动分析系统及其应的应用分析,占袁圆[J].电化教育研究,杨兵.深度学习技术在教育大数据挖掘领域,2019,40(2):68-76.（下转第29页）本期推荐15“笔”
第17卷第6期(2021年2月)ComputerKnowledgeandTechnology电脑知识与技术实验教学是专业课程教学的一个重要组成部分，只有重视并加强学生实验环节的教学，才能有效地实现高等教育人才培养的目标。CBE模式在安徽中医药大学信息管理与信息系统专业实验教学中的应用取得了一些显著的成效。今后会在此基础上不断优化人才培养方案，改革教学方法，培养出更多高素质的医学信息类人才。参考文献：[1]任国防.CBE教育模式对普通学科教育的启示[J].河南师范大学学报(哲学社会科学版),2012(5):217-219.[2]吴姝菊,滕祥金,张晶红.CBE教学模式对大学生创新创业能力的新启示——以园林专业大学生为例[J].黑龙江高教研究,2017(1):144-146.[3]安鑫丽.借鉴CBE模式，构建工商管理专业实践教学体系[J].安阳师范学院学报,2014(6):120-122.[4]任志涛,孙彦武,党斐艳,等.CBE视角下工程管理专业校企合作创新人才培养模式研究[J].教育教学论坛,2019(09)22-23.[5]刁雅静,王志英,尹隽.基于CBE理论的应用型高校信息管理与信息系统专业模块化课程设计研究[J].镇江高专学报,2015,28(4):4-6.[6]刘晓伟,尹子民,张彩虹.构建信息管理与信息系统专业实践教学体系的探讨[J].辽宁工业大学学报（社会科学版）,2014(8):19-22,30.[7]刘瑛,许丹凌,吴长海,等.基于能力本位教育（CBE）人才培养机制的研究[J].价值工程,2018(3):202-204.【通联编辑：王力】（上接第15页）[3]柯斌,芦俊佳.智慧教育背景下高校学生课堂行为数据挖掘与利用[J].电脑知识与技术,2020,16(26):148-150.[4]王亮.学习分析技术建立学习预测模型[J].实验室研究与探索,2015,34(1):215-218,246.[5]牟智佳,武法提.教育大数据背景下学习结果预测研究的内容解析与设计取向[J].中国电化教育,2017(7):26-32.[6]丁梦美,吴敏华,尤佳鑫,等.基于学业成绩预测的教学干预研究[J].中国远程教育,2017(4):50-56.[7]范逸洲,汪琼.学业成就与学业风险的预测——基于学习分析领域中预测指标的文献综述[J].中国远程教育,2018(1):5-15,44,79.[8]尹宏鹏,陈波,柴毅,等.基于视觉的目标检测与跟踪综述[J].自动化学报,2016,42(10):1466-1489.[9]高凯亮,覃团发,王逸之,等.一种基于帧差法与背景减法的运动目标检测新方法[J].电讯技术,2011,51(10):86-91.【通联编辑：王力】（上接第21页）养与专业建设提供借鉴参考。同时，作为新兴专业，大数据相关专业人才培养和课程设置是需要在实践中不断修正的长期性课题，需要相关专业和学科持续性关注并逐步优化完善。参考文献：[1]张燕,刘鹏,赵海峰,潘永东.大数据专业建设的思考与探索[J].中国大学教学,2019(4):38-41.[2]韦茜妤,肖雄,王萌“新工科”.背景下的大数据专业课程体系研究[J].工业和信息化教育,2020(5):69-73.[3]王伟,卢媛.大学本科大数据专业发展现状与趋势分析[J].教育现代化,2020,7(24):61-64.[4]彭珍,董宇,王晓伟.大数据管理与应用专业及其课程体系研究[J].中国现代教育装备,2020(7):49-51.[5]易艳红,张晶,张聪.应用型本科信息管理与信息系统专业大数据方向课程改革研究[J].图书馆学研究,2019(7):15-20.[6]张晴,张玉琪,谭秋菊.大数据时代信息管理与信息系统专业课程设置改革研究[J].教育探索,2020(4):48-51.[7]杜来红.基于OBE的信管专业大数据应用方向人才培养模式研究[J].情报探索,2020(6):101-104.[8]宁慧聪.中国大数据专业建设的跨学科模式研究[J].计算机科学,2019,46(S2):159-162.【通联编辑：王力】本栏目责任编辑：唐一东本期推荐29