您好、欢迎来到现金彩票网!
当前位置:PC蛋蛋 > 最大熵 >

最大熵原理doc

发布时间:2019-07-04 03:10 来源:未知 编辑:admin

  登录成功,如需使用密码登录,请先进入【个人中心】-【账号管理】-【设置密码】完成设置

  *若权利人发现爱问平台上用户上传内容侵犯了其作品的信息网络传播权等合法权益时,请按照平台侵权处理要求书面通知爱问!

  关于最大熵原理.doc文档,爱问共享资料拥有内容丰富的相关文档,站内每天千位行业名人共享最新资料。

  最大熵原理我们在投资时常常讲不要把所有的鸡蛋放在一个篮子里这样可以降低风险。在信息处理中这个原理同样适用。在数学上这个原理称为最大熵原理(themaximumentropyprinciple)。这是一个非常有意思的题目但是把它讲清楚要用两个系列的篇幅。前段时间Google中国研究院的刘骏总监谈到在网络搜索排名中用到的信息有上百种。更普遍地讲在自然语言处理中我们常常知道各种各样的但是又不完全确定的信息我们需要用一个统一的模型将这些信息综合起来。如何综合得好是一门很大的学问。让我们看一个拼音转汉字的简单的例子。假如输入的拼音是wangxiaobo利用语言模型根据有限的上下文(比如前两个词)我们能给出两个最常见的名字王小波和王晓波。至于要唯一确定是哪个名字就难了即使利用较长的上下文也做不到。当然我们知道如果通篇文章是介绍文学的作家王小波的可能性就较大而在讨论两岸关系时台湾学者王晓波的可能性会较大。在上面的例子中我们只需要综合两类不同的信息即主题信息和上下文信息。虽然有不少凑合的办法比如:分成成千上万种的不同的主题单独处理或者对每种信息的作用加权平均等等但都不能准确而圆满地解决问题这样好比以前我们谈到的行星运动模型中的小圆套大圆打补丁的方法。在很多应用中我们需要综合几十甚至上百种不同的信息这种小圆套大圆的方法显然行不通。数学上最漂亮的办法是最大熵(maximumentropy)模型它相当于行星运动的椭圆模型。最大熵这个名词听起来很深奥但是它的原理很简单我们每天都在用。说白了就是要保留全部的不确定性将风险降到最小。让我们来看一个实际例子。有一次我去ATT实验室作关于最大熵模型的报告我带去了一个色子。我问听众每个面朝上的概率分别是多少所有人都说是等概率即各点的概率均为。这种猜测当然是对的。我问听众们为什么得到的回答是一致的:对这个一无所知的色子假定它每一个朝上概率均等是最安全的做法。(你不应该主观假设它象韦小宝的色子一样灌了铅。)从投资的角度看就是风险最小的做法。从信息论的角度讲就是保留了最大的不确定性也就是说让熵达到最大。接着我又告诉听众我的这个色子被我特殊处理过已知四点朝上的这次大部分人认概率是三分之一在这种情况下每个面朝上的概率是多少为除去四点的概率是其余的均是也就是说已知的条件(四点概率为)必须满足而对其余各点的概率因为仍然无从知道因此只好认为它们均等。注意在猜测这两种不同情况下的概率分布时大家都没有添加任何主观的假设诸如四点的反面一定是三点等等。(事实上有的色子四点反面不是三点而是一点。)这种基于直觉的猜测之所以准确是因为它恰好符合了最大熵原理。最大熵原理指出当我们需要对一个随机事件的概率分布进行预测时我们的预测应当满足全部已知的条件而对未知的情况不要做任何主观假设。(不做主观假设这点很重要。)在这种情况下概率分布最均匀预测的风险最小。因为这时概率分布的信息熵最大所以人们称这种模型叫最大熵模型。我们常说不要把所有的鸡蛋放在一个篮子里其实就是最大熵原理的一个朴素的说法因为当我们遇到不确定性时就要保留各种可能性。回到我们刚才谈到的拼音转汉字的例子我们已知两种信息第一根据语言模型wangxiaobo可以被转换成王晓波和王小波第二根据主题王小波是作家《黄金时代》的作者等等而王晓波是台湾研究两岸关系的学者。因此我们就可以建立一个最大熵模型同时满足这两种信息。现在的问题是这样一个模型是否存在。匈牙利著名数学家、信息论最高奖香农奖得主希萨(Csiszar)证明对任何一组不自相矛盾的信息这个最大熵模型不仅存在而且是唯一的。而且它们都有同一个非常简单的形式指数函数。下面公式是根据上下文(前两个词)和主题预测下一个词的最大熵模型其中w是要预测的词(王晓波或者王小波)w和w是它的前两个字(比如说它们分别是出版和)也就是其上下文的一个大致估计subject表示主题。我们看到在上面的公式中有几个参数lambda和Z他们需要通过观测数据训练出来。最大熵模型在形式上是最漂亮的统计模型而在实现上是最复杂的模型之一。我们在将下一个系列中介绍如何训练最大熵模型的诸多参数以及最大熵模型在自然语言处理和金融方面很多有趣的应用。我们上次谈到用最大熵模型可以将各种信息综合在一起。我们留下一个问题没有回答就是如何构造最大熵模型。我们已经所有的最大熵模型都是指数函数的形式现在只需要确定指数函数的参数就可以了这个过程称为模型的训练。最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS(generalizediterativescaling)的迭代算法。GIS的原理并不复杂大致可以概括为以下几个步骤:假定第零次迭代的初始模型为等概率的均匀分布。用第N次迭代的模型来估算每种信息特征在训练数据中的分布如果超过了实际的就把相应的模型参数变小否则将它们便大。重复步骤直到收敛。GIS最早是由Darroch和Ratcliff在七十年代提出的。但是这两人没有能对这种算法的物理含义进行很好地解释。后来是由数学家希萨(Csiszar)解释清楚的因此人们在谈到这个算法时总是同时引用Darroch和Ratcliff以及希萨的两篇论文。GIS算法每次迭代的时间都很长需要迭代很多次才能收敛而且不太稳定即使在位计算机上都会出现溢出。因此在实际应用中很少有人真正使用GIS。大家只是通过它来了解最大熵模型的算法。八十年代很有天才的孪生兄弟的达拉皮垂(DellaPietra)在IBM对GIS算法进行了两方面的改进提出了改进迭代算法IIS(improvediterativescaling)。这使得最大熵模型的训练时间缩短了一到两个数量级。这样最大熵模型才有可能变得实用。即使如此在当时也只有IBM有条件是用最大熵模型。由于最大熵模型在数学上十分完美对科学家们有很大的诱惑力因此不少研究者试图把自己的问题用一个类似最大熵的近似模型去套。谁知这一近似最大熵模型就变得不完美了结果可想而知比打补丁的凑合的方法也好不了多少。于是不少热心人又放弃了这种方法。第一个在实际信息处理应用中验证了最大熵模型的优势的是宾夕法尼亚大学马库斯的另一个高徒原IBM现微软的研究员拉纳帕提(AdwaitRatnaparkhi)。拉纳帕提的聪明之处在于他没有对最大熵模型进行近似而是找到了几个最适合用最大熵模型、而计算量相对不太大的自然语言处理问题比如词性标注和句法分析。拉纳帕提成功地将上名词、动词和形容词等)、句子成分(主谓宾)通过最大熵模型下文信息、词性(结合起来做出了当时世界上最好的词性标识系统和句法分析器。拉纳帕提的论文发表后让人们耳目一新。拉纳帕提的词性标注系统至今仍然是使用单一方法最好的系统。科学家们从拉纳帕提的成就中又看到了用最大熵模型解决复杂的文字信息处理的希望。但是最大熵模型的计算量仍然是个拦路虎。我在学校时花了很长时间考虑如何简化最大熵模型的计算量。终于有一天我对我的导师说我发现一种数学变换可以将大部分最大熵模型的训练时间在IIS的基础上减少两个数量级。我在黑板上推导了一个多小时他没有找出我的推导中的任何破绽接着他又回去想了两天然后告诉我我的算法是对的。从此我们就建造了一些很大的最大熵模型。这些模型比修修补补的凑合的方法好不少。即使在我找到了快速训练算法以后为了训练一个包含上下文信息主题信息和语法信息的文法模型(languagemodel)我并行使用了台当时最快的SUN工作站仍然计算了三个月。由此可见最大熵模型的复杂的一面。最大熵模型快速算法的实现很复杂到今天为止世界上能有效实现这些算法的人也不到一百人。有兴趣实现一个最大熵模型的读者可以阅读我的论文。最大熵模型可以说是集简与繁于一体形式简单实现复杂。值得一提的是在Google的很多产品中比如机器翻译都直接或间接地用到了最大熵模型。讲到这里读者也许会问当年最早改进最大熵模型算法的达拉皮垂兄弟这些年难道没有做任何事吗他们在九十年代初贾里尼克离开IBM后也退出了学术界而到在金融界大显身手。他们两人和很多IBM语音识别的同事一同到了一家当时还不大但现在是世界上最成功对冲基金(hedgefund)公司文艺复兴技术公司(RenaissanceTechnologies)。我们知道决定股票涨落的因素可能有几十甚至上百种而最大熵方法恰恰能找到一个同时满足成千上万种不同条件的模型。达拉皮垂兄弟等科学家在那里用于最大熵模型和其他一些先进的数学工具对股票预测获得了巨大的成功。从该基金年创立至今它的净回报率高达平均每年。也就是说如果年你在该基金投入一块钱今天你能得到块钱。这个业绩远远超过股神巴菲特的旗舰公司伯克夏哈撒韦(BerkshireHathaway)。同期伯克夏哈撒韦的总回报是倍。值得一提的是信息处理的很多数学手段包括隐含马尔可夫模型、子波变换、贝叶斯网络等等在华尔街多有直接的应用。由此可见数学模型的作用。空间完美搬家到新浪博客~

  1620年,著名的“五月花”号船满载被迫害的清教徒到达美洲,但随即他们遭遇寒冬,在印第安人的帮助下,移民们度过困难,为感谢印第安人的真诚帮助,便诞生了感恩节。

http://cozmicfunk.com/zuidashang/158.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有