问题点
原本考虑用正则来判断中文,因为网上发现正则的匹配中文是[\u4e00-\u9fa5]。然后代码几乎写完了,发现有些生僻字不再在这个范围内。
识别方法
中文字符在utf-8字符编码下占3个字节,但字符长度仅为1。
1、分析中文的方法能否灵活为len?(bytes(str,'utf-8)==3 and len(string)==1。
2、文本写作判断中文后,如果是汉字str.ljust(5)否则是str.ljust(6)。
因为一个汉字占两个字符的长度。
实例
frompypinyinimportpinyin importre classChangePinyin: def__init__(self,filename): self.file=filename self.lyric=self.read_file() self.pinyin=[] defread_file(self): withopen(self.file,encoding='utf-8')asf: returnf.readlines() defwrite_file(self): withopen('New_%s'%self.file,'w',encoding='utf-8')asf: print(self.lyric) forlineinself.lyric: #print(line) ifline.strip()='': continue _new_line=re.sub(r'\s','',line) #行内容转拼音 _pinyin=''.join(map(lambdax:x[0].ljust(6),pinyin(_new_line))) #根据中英文,拆分行内容的字符和汉字 _lyric=self.split_words(_new_line) f.write('%s\n%s\n'%(_pinyin,_lyric)) @staticmethod defsplit_words(words): word_list="" tmp="" forstringinwords: iflen(bytes(string,'utf-8'))==3andlen(string)==1: iftmp!='': word_list+=tmp.ljust(6) tmp="" word_list+=string.ljust(5) else: tmp+=string returnword_list if__name__='__main__': Main=ChangePinyin('lyric.txt') Main.write_file()
以上是python中文生僻字的识别,希望对大家有所帮助。更多Python学习指导:python基础教程
本文教程操作环境:windows7系统Python 3.9.1,DELL G3电脑。