`
yuanlanxiaup
  • 浏览: 852503 次
文章分类
社区版块
存档分类
最新评论

如何在python程序中调用weka的分类器

 
阅读更多

WEKAwww.cs.waikato.ac.nz/ml/weka/)作为一个公开的数据挖掘工作平台,集合了大量能承担数据挖掘任务的机器学习算法,包括对数据进行预处理,分类,回归聚类关联规则以及在新的交互式界面上的可视化。而开发者则可使用Java语言,利用Weka的架构上开发出更多的数据挖掘算法。

Python是一种面向对象直译式计算机程序设计语言,也是一种功能强大而完善的通用型语言,已经具有十多年的发展历史,成熟且稳定。这种语言具有非常简捷而清晰的语法特点,适合完成各种高层任务,几乎可以在所有的操作系统中运行。目前,基于这种语言的相关技术正在飞速的发展,用户数量急剧扩大,相关的资源非常多。越来越多的实验室和科研院所选择python 语言作为自己的编程语言以快速高效的开发实验程序,观察实验结果。

那么如果能将功能强大的python语言和weka平台中用java语言实现好的机器学习算法结合起来,毫无疑问可以使写程序做实验的过程变得更加的轻松,简便。

虽然现在还没有相关的第三方工具提供python语言和java语言互相调用的功能,但是在nltknltk.sourceforge.net/)这是一个用python语言编写的自然语言处理工具包,在其nltk.classify.weka类中给我们在python程序中调用 weak中的分类器提供了一个途径。通过其中WekaClassifier类可以由python程序生成的features 转化为weka中的arff文件格式,自动的设置命令参数。并对自动的解析weka返回的分类结果,将其保存在列表。

Example

def gender_features(name):

features = {}

for letter in 'abcdefghijklmnopqrstuvwxyz':

features['count(%s)' % letter] = name.lower().count(letter)

features['has(%s)' % letter] = letter in name.lower()

features['startswith(%s)' % letter] = (letter==name[0].lower())

features['endswith(%s)' % letter] = (letter==name[-1].lower())

return features

if __name__ == "__main__":

from nltk.corpus import names

import random

names = ([(name, 'male') for name in names.words('male.txt')] +[(name, 'female') for name in names.words('female.txt')])

random.shuffle(names)

featuresets = [(gender_features(n), g) for (n,g) in names]

train_set, test_set = featuresets[500:], featuresets[:500]

classifier = WekaClassifier.train(r'c:/name.model',train_set,'weka.classifiers.functions.Logistic')

print nltk.classify.accuracy(classifier, test_set)

ls = ["Alex","Neo","vivian","tom"]

result = classifier.batch_classify([gender_features(name) for name in ls])

print result

不过由于版本和操作系统的问题,需要对nltknltk.classify.weka下的一些源文件做出修改,才可以正常使用,目前我们已经发现的bug

1 命令行下的命令修改成为java.exe

2 输出结果的解析功能,解析返回列表的下标起始位置不正确,需要根据你的weka版本来确定

3 合成命令行下命令时,命令的组合中 –cp参数的两个值在windows os中应该通过“;”连接起来

4 需要设定WEKAHOME或者在程序设定的默认搜索路径中加入你的weka文件所在的路径

(吴博 bowu365@gmail.com

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics