2020-07-12 01:44:03 登录注册 RSS

当前位置: 公理网 >> 网友举报 >> 朴素贝叶斯模型:文本分类垃圾邮件分类

朴素贝叶斯模型:文本分类垃圾邮件分类
发布时间:06-30| 来源:公理网 | 点击发表评论
勤写标兵Lv4
授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。

《原力计划【第二季】》第一期主题勋章,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。


学习了那么多机器学习模型,一切都是为了实践,动手自己写写这些模型的实现对自己很有帮助的,坚持,共勉。本文主要致力于总结贝叶斯实战中程序代码的实现(python)及朴素贝叶斯模型原理的总结。python的numpy包简化了很多计算,另外本人推荐使用pandas做数据统计。


一、引言


让你猜测一个身高2.16的人的职业,你一般会猜测他是篮球运动员。这个原理就是朴素贝叶斯原理,因为篮球运动员大多身高很高,所以这个人具有篮球运动员的条件,则猜测他是篮球运动员。


同理,另一个升高1.58的人,你应该不会猜他是篮球运动员。


二、理论


条件贝叶斯公式:p(Ci|x,y)=p(x,y|Ci)*p(Ci)/p(x,y)


计算每个类别的概率,若p(C1|x,y)?p(~C1|x,y),则类别属于类C1,否则不属于类C1。


程序中在模型训练的时候,只需要先在训练样本中计算好先验概率p(Ci)?和?条件概率?p(x,y|Ci)?即可,因为p(x,y)不随Ci变化,不影响p(Ci|x,y)的最好大校


注:条件贝叶斯是保证条件之间独立的(文档分类中是假设一个词汇出现与其他词汇是否出现无关,然而同一主题的词汇一起出现的概率很高,存在关联),所以这个假设过于简单;尽管如此,然而事实表明,朴素贝叶斯的效果还很好。


三、实战1-文本分类(应用过滤恶意留言等)


下面是二分类问题,文档只能属于0和1两个类别,


1载入数据集:6条文本及它们各自的类别,这6条文本作为训练集。


????fromnumpyimport*?

?????

????defloadDataSet():?

???????postingList=[['my','dog','has','flea','problems','help','please'],?

????????????????????['maybe','not','take','him','to','dog','park','stupid'],?

????????????????????['my','dalmation','is','so','cute','I','love','him'],?

????????????????????['stop','posting','stupid','worthless','garbage'],?

????????????????????['mr','licks','ate','my','steak','how','to','stop','him'],?

????????????????????['quit','buying','worthless','dog','food','stupid']]?

???????classVec=[0,1,0,1,0,1]???#1isabusive,0not?

???????returnpostingList,classVec?


2创建词汇表:利用集合结构内元素的唯一性,创建一个包含所有词汇的词表。

[python]viewplaincopy


????defcreateVocabList(dataSet):?

???????vocabSet=set([])??#createemptyset?

???????fordocumentindataSet:?

???????????vocabSet=vocabSet|set(document)#unionofthetwosets?

???????returnlist(vocabSet)?


3把输入文本根据词表转化为计算机可处理的01向量形式:

eq,测试文本1:['love','my','dalmation']


词汇表:['cute','love','help','garbage','quit','I','problems','is','park','stop','flea','dalmation','licks','food','not','him','buying','posting','has','worthless','ate','to','maybe','please','dog','how','stupid','so','take','mr','steak','my']


向量化结果:[00000001" target="_blank" title="查看010000000001的资料">01000000000100000000000000000001]


[python]viewplaincopy


????defsetOfWords2Vec(vocabList,inputSet):?

???????returnVec=[0]*len(vocabList)?

???????forwordininputSet:?

???????????ifwordinvocabList:?

???????????????returnVec[vocabList.index(word)]=1?

???????????else:print"theword:%sisnotinmyVocabulary!"%word?

???????returnreturnVec?


4训练模型:在训练样本中计算先验概率p(Ci)和条件概率p(x,y|Ci),本实例有0和1两个类别,所以返回p(x,y|0),p(x,y|1)和p(Ci)。

此处有两个改进的地方:

(1)若有的类别没有出现,其概率就是0,会十分影响分类器的性能。所以采取各类别默认1次累加,总类别(两类)次数2,这样不影响相对大校

(2)若很小是数字相乘,则结果会更小,再四舍五入存在误差,而且会造成下溢出。采取取log,乘法变为加法,并且相对大小趋势不变。

[python]viewplaincopy


????deftrainNB0(trainMatrix,trainCategory):?

???????numTrainDocs=len(trainMatrix)?

???????numWords=len(trainMatrix[0])?

???????pAbusive=sum(trainCategory)/float(numTrainDocs)?

???????p0Num=ones(numWords);p1Num=ones(numWords)?????#changetoones()???

???????p0Denom=2.0;p1Denom=2.0???????????????????????#changeto2.0?

???????foriinrange(numTrainDocs):?

???????????iftrainCategory[i]==1:?????????

???????????????p1Num=trainMatrix[i]?

???????????????p1Denom=sum(trainMatrix[i])?

???????????else:?

???????????????p0Num=trainMatrix[i]?

???????????????p0Denom=sum(trainMatrix[i])?

???????p1Vect=log(p1Num/p1Denom)?????????#changetolog()?

???????p0Vect=log(p0Num/p0Denom)?????????#changetolog()?

?????

???????returnp0Vect,p1Vect,pAbusive?


5分类:根据计算后,哪个类别的概率大,则属于哪个类别。

[python]viewplaincopy


????defclassifyNB(vec2Classify,p0Vec,p1Vec,pClass1):?

???????p1=sum(vec2Classify*p1Vec)log(pClass1)???#element-wisemult?

???????p0=sum(vec2Classify*p0Vec)log(1.0-pClass1)?

???????ifp1p0:?

???????????return1?

???????else:???

???????????return0?


6测试函数:

加载数据集提炼词表;

训练模型:根据六条训练集计算先验概率和条件概率;

测试模型:对训练两条测试文本进行分类。

[python]viewplaincopy


????deftestingNB():?

???????listOPosts,listClasses=loadDataSet()?

???????myVocabList=createVocabList(listOPosts)?

???????trainMat=[]?

???????forpostinDocinlistOPosts:?

???????????trainMat.append(setOfWords2Vec(myVocabList,postinDoc))?

???????p0V,p1V,pAb=trainNB0(array(trainMat),array(listClasses))?

???????testEntry=['love','my','dalmation']?

???????thisDoc=array(setOfWords2Vec(myVocabList,testEntry))?

???????printtestEntry,'classifiedas:',classifyNB(thisDoc,p0V,p1V,pAb)?

???????testEntry=['stupid','garbage']?

???????thisDoc=array(setOfWords2Vec(myVocabList,testEntry))?

???????printtestEntry,'classifiedas:',classifyNB(thisDoc,p0V,p1V,pAb)?


缺点:词表只能记录词汇是否出现,不能体现这个词汇出现的次数。改进方法:采用词袋模型,见下面垃圾邮件分类实战。


四、实战2-垃圾邮件分类




1对邮件的文本划分成词汇,长度小于2的默认为不是词汇,过滤掉即可。返回一串小写的拆分后的邮件信息。

[python]viewplaincopy


????deftextParse(bigString):???#inputisbigstring,#outputiswordlist?

???????importre?

???????listOfTokens=re.split(r'\W*',bigString)?

???????return[tok.lower()fortokinlistOfTokensiflen(tok)2]???


2文档词袋模型:使用数组代替集合数据结构,可以保存词汇频率信息。

[python]viewplaincopy


????defbagOfWords2VecMN(vocabList,inputSet):?

???????returnVec=[0]*len(vocabList)?

???????forwordininputSet:?

???????????ifwordinvocabList:?

???????????????returnVec[vocabList.index(word)]=1?

???????returnreturnVec?


3输入为25封正常邮件和25封垃圾邮件。50封邮件中随机选取10封作为测试样本,剩余40封作为训练样本。

训练模型:40封训练样本,训练出先验概率和条件概率;

测试模型:遍历10个测试样本,计算垃圾邮件分类的正确率。

[python]viewplaincopy


????defspamTest():?

???????docList=[];classList=[];fullText=[]?

???????foriinrange(1,26):?

???????????wordList=textParse(open('email/spam/%d.txt'%i).read())?

???????????#printwordList?

???????????docList.append(wordList)?

???????????fullText.extend(wordList)?

???????????classList.append(1)?

???????????wordList=textParse(open('email/ham/%d.txt'%i).read())?

???????????docList.append(wordList)?

???????????fullText.extend(wordList)?

???????????classList.append(0)?

???????vocabList=createVocabList(docList)#createvocabulary?

???????trainingSet=range(50);testSet=[]??????????#createtestset?

???????foriinrange(10):?

???????????randIndex=int(random.uniform(0,len(trainingSet)))?

???????????testSet.append(trainingSet[randIndex])?

???????????del(trainingSet[randIndex])???

???????trainMat=[];trainClasses=[]?

???????fordocIndexintrainingSet:#traintheclassifier(getprobs)trainNB0?

???????????trainMat.append(bagOfWords2VecMN(vocabList,docList[docIndex]))?

???????????trainClasses.append(classList[docIndex])?

???????p0V,p1V,pSpam=trainNB0(array(trainMat),array(trainClasses))?

???????errorCount=0?

???????fordocIndexintestSet:???????#classifytheremainingitems?

???????????wordVector=bagOfWords2VecMN(vocabList,docList[docIndex])?

???????????ifclassifyNB(array(wordVector),p0V,p1V,pSpam)!=classList[docIndex]:?

???????????????errorCount=1?

???????????????print"classificationerror",docList[docIndex]?

???????print'theerrorrateis:',float(errorCount)/len(testSet)?

???????#returnvocabList,fullText?


五、小结




上面我处理的样本的属性值都是分类型的,然而数值型的朴素贝叶斯能处理吗?

1朴素贝叶斯处理数值型数据的方法:

(1)区间离散化,设阈值,分段。

(2)高斯化:求出概率密度函数,假设变量服从正态分布,根据已有变量统计均值和方差,

得出概率密度函数,这样就解决了计算连续值作为分类的条件概率值。

2除0问题:

Laplace校准所有计算均加一,总类别数目加n;

3下溢出:很小的值相乘,四舍五入误差

采用log乘法变相加;

4移除停用词:也可以提高文本分类的性能


推荐阅读:


011078141/article/details/89453203">1.一个量化策略师的自白(好文强烈推荐)


2.股票期货经典的量化交易策略都在这里了!(源码)


3.期货/股票数据大全查询(历史/实时/Tick/财务等)


4.一个完整的量化交易系统都需要哪些功能?


5.学习Python有哪些书籍?这里有一份书单送给你


6.江湖中常说的“网格交易法”到底是什么?


7.10种经典的日内交易策略模型思路


8.干货|量化选股策略模型大全


9.量化金融经典理论、重要模型、发展简史大全


《机器学习实战》学习笔记(三)之朴素贝叶斯(下)过滤垃圾邮件、获取区域倾向、搜狗新闻分类(sklearn)11-07747

机器学习经典算法详解及Python实现---朴素贝叶斯分类及其在文本分类、垃圾邮件检测中的应用12-122万+

机器学习笔记(2)——使用朴素贝叶斯算法过滤(中英文)垃圾邮件08-307314

使用Python进行文本分类(二)测试算法:根据实际情况修改分类器、准备数据:文档词袋模型07-31602

最新新闻

手机浏览

公理网 版权所有

公理网 Total 0.037366(s) query 6, 报料QQ:点击这里

给我发消息