自然语言系统开发人员面临的最大挑战之一就是要说明人们表达自己的多种方式。许多技术公司宁愿我们所有人都用简单的术语来讲,这有一个原因,它使人类更容易理解,并缩小了机器出错的机会。
但这并不是人们期望的AI引人入胜的对话体验。
语言已经发展了多个世纪。随着各个国家的殖民和贸易往来,无论您的母语是什么,我们的语言都会发生变化。借助广播,电视和互联网,它每天都在不断扩展。
瓦瑞(Vacay)是2019年在《梅里亚姆·韦伯斯特》词典中添加的数百个新单词之一:理发:增加了新的含义,意思是“资产价值下降”;和爸爸开玩笑:父亲通常讲的一个双关语双关语。
在对话中,即使我们之前从未听过任何单词或表情,我们作为人类也许也可以推断出某人的意思。机器?没那么多。或者至少,如果他们仅依靠机器学习来获得自然语言理解,则不是这样。
虽然在应用程序中添加诸如产品名称或行业术语之类的领域专业知识可以克服机器识别某些特定单词的问题,但理解人们在这些单词之间使用的所有日常常规短语才是真正的挑战所在。
如今,大多数商业自然语言开发工具都无法提供客户期望在自动对话中提供的智能,人性化的体验。原因之一是因为它们依赖于使用机器学习的模式匹配单词。
尽管人类(在基本水平上)也可以匹配单词,但我们的大脑增加了更高层次的推理能力,从而使我们能够更好地解释人的含义,方法是考虑所用单词,其顺序,同义词等,以及了解何时将诸如book之类的词用作动词或名词。也许有人会说我们添加了自己更灵活的语言建模形式。