如何搭建电子商务平台,整站优化是什么意思,世界优秀网页设计赏析,广东做seo的公司文 | Jazon大家好#xff0c;我是Jazon#xff0c;现在是Stanford计算机硕士项目的一只学生#xff0c;非常荣幸加入小夕的大家庭#xff01;请各路大神多多指教呀。2021年1月12日#xff0c;又一季Stanford CS224n——自然语言处理开课了#xff0c;我和很多MSCS同学一起… 文 | Jazon大家好我是Jazon现在是Stanford计算机硕士项目的一只学生非常荣幸加入小夕的大家庭请各路大神多多指教呀。2021年1月12日又一季Stanford CS224n——自然语言处理开课了我和很多MSCS同学一起加入了这门课。由于疫情今年的课程是以线上Zoom的方式进行由 Prof. Manning 在他的书房远程授课。第一节课的Zoom有400多位同学参加足见这门课有多么火爆。如果是线下授课的话肯定能把教室挤爆。彼时的Stanford微信和Slack群里十分热闹大家都在各种找课友、队友。上这门课的主力军是硕士生当然也有本科生和博士生。能在Stanford亲身体验这门传说中的神课有一种朝圣的感觉感觉特别幸运课程新设置今年的课程设置和2019年版的公开课相比有不少小变化这也反映了NLP领域发展之快。具体不同的地方我会在下文里穿插着介绍~所有的课件都在课程网站cs224n.stanford.edu)上而今年Lecture的录播视频在几个月后也会在YouTube上公开到时候大家就可以看到全新的Lectures啦前半学期的课程由10次Lecture和5个作业组成覆盖NLP和神经网络的核心概念如词向量、RNN、梯度下降等。第8节课是Final Projects的建议。后半学期的第11 ~ 18次Lectures则主要是“嘉宾讲座”Guest Lectures如T5的提出者Colin Raffel来讲了T5又或者是一些选学的话题如 Coreference Resolution。不强制上课没有什么作业这样可以让我们专心做Project。特别值得提及的是今年的第9、10节课Transformers和预训练模型首次进入了核心概念的部分而不是像以前那样属于选听的嘉宾讲座。授课人是今年224n的Head TA总助教——John Hewitt。John是Stanford NLP组的博三学生讲得真的非常棒以前我看paper看不懂的 Transformer 和 BERT他讲得真的是深入浅出我很快就明白了。▲BERT Lecture重磅新作业和前10次讲座相辅相成的是这门课的5次作业。作业1里大家简单探索了词向量的性质作业2里我们推导了训练词向量的公式这是这节课最calculus-intensive的作业作业3算是唯一一个涉及比较传统的语言学概念与算法的作业是关于 Dependency Parsing依存句法分析的。前3次作业都和去年的一致作业4和5则是今年新出的。在这里要感谢出作业的TA们作业4仍然是要搭建一个机器翻译模型只是目标语言变成了Cherokee美国原住民的语言之一。这次作业的编程部分让我们熟悉了PyTorch模型里的各种Tensor操作。作业5是今年紧跟NLP大趋势“重磅”新推出的在数学部分我们探索了Multi-head Attention的性质在编程部分我们需要复现一些预训练数据处理的代码span corruption以及实现Attention的一个变种。这次作业出乎大家意料地难我和不少同学们都至少花了25小时才做完。由于是今年首次发布作业里还有很多说得不清楚的地方本来Instruction已经9页纸了TA们又写了一篇很长的Clarification。那一周我们还需要提交Project Proposal所以大家都很爆炸。2月20号早上作业已经截止了一天Office Hours却排起了可怕的50人长队。这门课的学生总数是475可想而知有多大比例的同学没能按时写完不得不用late days。作业5的主要作者正是我们的John据说他本来还想让我们 Encoder-Decoder 也自己写被其他TA制止了。显然他严重高估了同学们的实力对这次失控的局面他的心里也十分愧疚一直守在论坛、Office Hours上回答同学们的问题。这也许印证了特别优秀的人对别人也会有意无意地设定很高的标准吧当然做完作业5也让我收获很多作业里我们需要分别训练一个“vanilla”模型和预训练模型、比较结果于是我对预训练的效果、性质有了更直观的了解。▲狂肝作业5的时刻224n是怎么来的话说斯坦福一年有4个学期这么火的课为什么只有冬季学期开呢这里我想偏个题讲讲我校NLP组的特点。Chris Manning教这门课已经20多年了他算是NLP领域开山鼻祖级别的人物224n课程材料里有讲到他自己发明的技术比如 GloVe这是件很神奇的事但显然他是位大忙人手下有十几位PhD学生没有精力每学期都教NLP。Stanford NLP组另外3位主要的教授可能也没有时间来教224nDan要教CS124低阶NLP课Percy要教CS221人工智能Potts要教CS224U自然语言理解。Stanford NLP组只有4 ~ 7位教授相比之下CMU的LTILanguage Technologies Institute有30位教授其中不少大方向都是做NLP的科研人手要多得多。因此CMU在NLP方面的课程多样得多除了NLP以外机器翻译、问答系统、搜索引擎等等都有专门的课羡慕脸。NLP很大可惜时间太少好了回到224n。像我们Quarter制4学期制的学校一学期是11周今年由于疫情学期强行缩减到10周时间更加紧张。这么短的时间里要塞进整个NLP的内容显然不可能所以NLP里很多任务如信息抽取、对话系统课程里都没有涉及到当然124、224U有补充一些概念。也许224n可以像Data Mining一样概念部分是一节课CS 246Project专门另外一节课来做CS 341可能就不用这么赶时间了。同时由于时间限制、科技趋势课程里偏语言学的概念也越来越少。前面有提到核心课程里唯一比较硬核Linguistics的内容是Dependency Parsing。19年的公开课里Manning花了一节讲Constituency Parsing今年这节课已被其他内容取代以后可能也不会再讲这个概念了有些令人唏嘘。我第一次接触NLP应该是读吴军老师的《数学之美》当初花了不少功夫理解信息论、隐马尔可夫、TF-IDF、分词等等概念但是224n完全没有涉及它们。这本书是2014年写的也许其中一些概念在这个BERT的时代已经变得不太相关了吧真是让人感叹技术迭代的速度之快啊。完成了前半学期的学习大家也准备好肝Final Project啦224n的重头戏还在后半学期下篇文章会更精彩哦后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
