第60章 给词语一个向量-《学霸的黑科技时代》
第(2/3)页
一个是词不达意。无论是英语还是汉语,通常会有多种意思,在不同的语境中有不同的解释,但是机器翻译并不能完全了解人类表达的意思。很多时候单词的词语意思准确,但是放在句子中笑话百出。
还一个是无法识别人类的语音。这主要出现在翻译机上,每个人有很多种口音,生活中的对话有很多的俚语,人和人之间对话时绝对不可能像央视主播那样每句话都是语言要素齐全,语音标准。
机器翻译在很多时候都会捡着听得懂的翻译,听不懂的乱翻译。这也是很多品牌的翻译机拿到国外去应用的时候让顾客感到并不顺心,翻译机更不能作为会议同声翻译的原因。
为了处理上面两个主要问题,萧铭按照说明书的建议项,编辑着。
萧铭采用数学的思维,将每个词语设定为向量,并且分类为名词、动词等等。
将词语设定为向量的好处就是讲长难句进行肢解,翻译软件处理时会将每个词语准确的翻译。
接下来就是按照语言的语境筛选组合,将不同的词语按照翻译对象需要的语法和含义进行组合,并对缺少的语法要素进行补足。
在盘古编程语言的提示下,萧铭知道自己编程的逻辑是正确的。
但是逻辑正确只是第一步,怎么让拥有向量的词语按照语法组合为新的语句,这个很难,这也是现代翻译软件和机器最大的难点。
没有关系,这是盘古最擅长的。
盘古给了萧铭几个接入入了口。
萧铭将导入大量的中英文资料,资料不仅有名著更有口水话表达的网路小说、贴吧问答、微博、推特文章等等。
未来这些资料会可以由用户们自己上传,优化程序的准确性。
盘古的数据库能将整合这些资料,熟悉每一个句子的语境,然后整理出数据模型(模拟出汉语和英语等人类思维表达方式的模型)。
这些数据会帮助“词向量”在不同的语境和语法中出现在合适的位置,如此翻译会更加准确。
这项工作最大的难点就是编译量非常大!
所以现今市面上现存的翻译软件都是采用语言学家总结的语法库,即便有少部分软件有自我学习功能,也不能做到了解和统计当今所有的语言习惯并对其作出分析。这也是现有翻译软件机械不智能错误百出的原因。
剩下的一些接口,萧铭将其接入全国各地的免费直播间,直播间主播有用普通话有用地方语言,也属于口语的表达,最具有代表性。
盘古语言将搜集各地的语音和语气将其归类编译,最后形成语音数据库和文字库相对应。
盘古编程使用方式很简单,不需要输入代码,只需要告诉逻辑意图,当萧铭告诉逻辑和方式之后,编程语言就可以明确运行。
第(2/3)页