当前位置: 首页 > 图灵资讯 > 行业资讯> python中文生僻字的识别

python中文生僻字的识别

来源:图灵python
时间: 2024-06-28 21:22:36

问题点

原本考虑用正则来判断中文,因为网上发现正则的匹配中文是[\u4e00-\u9fa5]。然后代码几乎写完了,发现有些生僻字不再在这个范围内。

识别方法

中文字符在utf-8字符编码下占3个字节,但字符长度仅为1。

1、分析中文的方法能否灵活为len?(bytes(str,'utf-8)==3 and len(string)==1。

2、文本写作判断中文后,如果是汉字str.ljust(5)否则是str.ljust(6)。

因为一个汉字占两个字符的长度。

实例

frompypinyinimportpinyin
importre


classChangePinyin:
def__init__(self,filename):
self.file=filename
self.lyric=self.read_file()
self.pinyin=[]

defread_file(self):
withopen(self.file,encoding='utf-8')asf:
returnf.readlines()

defwrite_file(self):
withopen('New_%s'%self.file,'w',encoding='utf-8')asf:
print(self.lyric)
forlineinself.lyric:
#print(line)
ifline.strip()='':
continue
_new_line=re.sub(r'\s','',line)
#行内容转拼音
_pinyin=''.join(map(lambdax:x[0].ljust(6),pinyin(_new_line)))
#根据中英文,拆分行内容的字符和汉字
_lyric=self.split_words(_new_line)
f.write('%s\n%s\n'%(_pinyin,_lyric))

@staticmethod
defsplit_words(words):
word_list=""
tmp=""
forstringinwords:
iflen(bytes(string,'utf-8'))==3andlen(string)==1:
iftmp!='':
word_list+=tmp.ljust(6)
tmp=""
word_list+=string.ljust(5)
else:
tmp+=string
returnword_list


if__name__='__main__':
Main=ChangePinyin('lyric.txt')
Main.write_file()

以上是python中文生僻字的识别,希望对大家有所帮助。更多Python学习指导:python基础教程

本文教程操作环境:windows7系统Python 3.9.1,DELL G3电脑。