Welcome to fenglongyu's blog

• 文本分类的SOTA结果paper分析

  2020-02-16

  fenglongyu

  NLP

  How to Fine-Tune BERT for Text Classification? 作者：复旦大学 这是一篇关于利用BERT，finetune的文章，复旦大学的NLP组发在CCL

  Read All

  ---

• Bert总结篇

  2020-01-14

  fenglongyu

  NLP
  • 2019过去了，人生如白驹过隙，真的很快
    • 题外话

  2019过去了，人生如白驹过隙，真的很快

  人工智能在慢慢一点点发展，BERT，基于两个思想，word2vec <—- 条件概率 <—- n-gram语言模型， 看了word2vec精彩的数学推论，然后看了看bert，突然有个想法，AI是一群孜孜不倦的人共同发展出来的，它还需要更多的人去拓展。

  题外话

  1. 我感觉nlp发展有时真的靠直觉，人类最淳朴的直觉。当然最基本的还是有基础知识。。。。。
  2. BERT模型，由seq2seq 或者说encoder-decoder 这没记错是hinton老爷子，搞出来的，被称为神经网络的表示学习，表示学习，也就是说信息冗余，每个数据都是冗余，我们可以用很少的知识恢复它，这不是提取本质，抛开虚伪直达本真~~~也许不准确，换种说法更加高级而且灵活的，自适应SVD.。。。。
  3. BERT乃是nlp面试必考，请大家务必搞熟，另外作为nlp预训练模型的基石，我想掌握BERT理论架构，并且熟练使用它，显然是必须的，这是一系列的笔记。关于BERT理论和应用以及代码使用，除此之外还可能会涉及一点Transformer和Attention的历史以及现状。
  Read All

  ---

• 基于知识图谱的问答系统

  2020-01-07

  fly

  NLP
  • 分为两个部分：闲聊问答系统和古诗词的限定领域的问答系统

  分为两个部分：闲聊问答系统和古诗词的限定领域的问答系统

  两大部分：

  1. 通过信息抽取建立详尽的知识图谱，对应查询时的功能，如何确定实体之间的关系集合，以及隐关系挖掘，关系到知识图谱的建立是否成功。

  2. 应用时，如何获取使用者真实的意图(这一部分主要依据)，实体检测，意图识别，关系预测和查询构建。

  Read All

  ---

• 基于知识图谱的古诗词问答系统

  2020-01-06

  fly

  NLP
  • 对问答系统进行再次的分类：

  对问答系统进行再次的分类：

  1. 面向开放域的问答系统、FAQ(Frequently Asked Questions， FAQ)的问答系统和面向限定领域的问答系统

  分类依据：

  • 答案来源：基于结构化的数据如KBQA 、 基于文本的问答系统如机器阅读理解、以及基于问答对的问答系统如FAQ问答。
  • 反馈机制： 生产式和检索式
  Read All

  ---

• 句法分析

  2020-01-05

  fly

  NLP

  Lecture 05 Linguistic Structure: Dependency Parsing(依存关系语法分析，简称依存分析)

  英文是没有分词的，第一个NLP任务为句法分析，句法分析是基于词的意思，对整个句子有一个更深的理解。

  Read All

  ---

• 集成学习和模型融合

  2020-01-04

  fly

  MachineLearning
  • 前言

  ###　集成学习和模型融合Stacking 和Blending方式 参考列表文章１文章２文章３【干货】比赛后期大招之stacking技术分享

  前言

  1. 之前的只是听过，了解大概思想(统计机器学习，最近听闻第二版推出应该好好拜读)，最近准备用它提升一波天池的数据比赛，故而仔细学习。为什么我之前没有刷过这种比赛？因为，１.我之前搞电子选举～民主进步的基石，有空挂上我为了毕业搞的东西～～～。２．没有合适的时间和算力～，这是很烦的～。这个数据比赛，搞个分数容易, 如何刷出较高成绩，着实有些搞头。。。。。。
  Read All

  ---