Solomonoff诱导的半熟介绍性对话

（最初发布于2015年12月：Ashley之间的对话，计算机科学家从未听说过Solomonoff＆＃39;归纳推理理论，并思考自切片以来是最好的东西。）

布莱恩：在20世纪60年代发明了Mathematician Ray Solomonoff，所罗门组织诱导的关键思想是通过在所有可计算概率分布的混合物中使用贝叶斯更新来进行序列预测 -

阿什利：等等。备份很多。在你试图解释哪些所罗门组织的归纳之前，我喜欢你试图告诉我它所做了什么，或者为什么人们首先学习它。我发现它可以帮助我组织我的听力。现在我甚至知道为什么我应该对此感兴趣。

阿什利：也是我可以想象的东西＆＃34;序列预测＆＃34;可能意味着，我在技术背景下遇到了它，所以你更好地走了一点，然后在一开始就开始更多。我知道什么＆＃34; computably＆＃34;意思是和什么A＆＃34;概率分布＆＃34;是，我记得贝叶斯的公式＆＃39; s统治虽然它＆＃39;是一段时间。

布莱恩：好的。所以......一种方法来框架通常的原因，为什么首先学习这一将军领域，有时候，通过研究某些理想的数学问题，我们可以获得关于认识论的宝贵直觉。那个＆＃39; s，uh，研究如何理解事实问题，如何建立反映该领土的现实地图 -

阿什利：我有一些想法＆＃39;认识论＆＃39;是是的。但我认为你可能需要进一步回来，也许是某种具体的例子或其他东西。

布莱恩：好的。嗯。所以一个轶事，我有时用来框架计算机科学的价值，以了解认识论，是埃德加·艾伦PoE＆＃39;在1833年的论据，即国际象棋是无可腐的。

布莱恩：我知道，但它完全确实发生，也不是隐喻的意义！ Edgar Allen Poe写了一篇文章，解释了为什么没有自动机会能够戏剧国际象棋，并且他专门提到＆＃34;先生。巴贝比和＃39;计算发动机＆＃34;举个例子。

在十九世纪，您看来，这是一个被称为机械土耳其人的动机，自动机，这是一款可以发挥国际象棋的机器。在宏大水平，不少。

现在，当我们习惯于我们习惯了这样的想法，即采取合理强大的电脑，我们可以立即知道机械土耳其人一定是欺诈，并且必须是一个人内部隐藏的运营商与侏儒症有关。今天我们知道这种事情很难建造到机器中。但在19世纪，即使是那么多的＆＃39;知道。

所以当埃德加·艾伦Poe除了作为一个作者之外也是一位成熟的魔术师，他向写一篇关于机械土耳其人的文章，他花了下半场对土耳其人讨论的文章中所知道的正确）弄清楚人类运营商隐藏的地方。但是，Poe花了这篇文章的上半场争论，没有自动化 - 贝类和＃39先生的自动机 - 可能会戏剧国际象棋，这就是他知道土耳其人有隐藏的人类运营商的先验。

Blaine：Poe观察到在代数问题中，每个步骤都是从前一步的必要性，这就是解决代言问题的步骤可以通过齿轮的确定性动作来表示，如贝类和＃39先生的齿轮引擎。但在象棋问题中，PoE说，有许多可能的国际象棋移动，并且没有遵循板的位置，没有任何动作;甚至你确实选择了一个举动，对手＆＃39; s的移动不会遵循必要性，所以你可以用确定的自动齿轮运动来表示它。因此，Poe说，无论操作机械土耳其人都必须具有笛卡尔思维的性质，而不是确定性物质的性质，这是明确的。然后他开始弄清楚所需的运营商隐藏的地方。

Ashley：我的意思是，像PoE一样的声音正确地确定了播放电脑棋的困难部分，移动和逆转录的分支因子，这就是为什么没有简单的机器可以做到这一点。他只是没有意识到确定性机器可以确定地检查许多可能的移动以弄清楚游戏树。如此接近，但到目前为止。

布莱恩：超过一个世纪之后，1950年，克鲁德香农发表了一篇文章的第一篇文章。在通过，Shannon如果您拥有无限的计算能力，算法给出了完美的国际象棋，你＆＃39; d用来推断整个游戏树的算法。我们可以说Shannon如果您在超计算机上运行它，那么Shannon会给棋牌解决这个问题，那里超计算机是一个理想的计算机，可以立即运行任何有限计算。然后Shannon通过了谈论本地猜测董事会职位如何良好的问题，以便您只能使用小型搜索来玩国际象棋。

我说这一切都是为了了解如何使用超计算机来解决问题的值，即使超越超越＆＃39; t存在。是的，在无限的解决方案和实际解决方案之间往往是一个巨大的差距。它不是1997年，在香农＆＃39之后的四十七年到1997年。给出了无限的解决方案，那个深蓝色实际上赢得了世界国际象棋锦标赛 -

Ashley：那不是一个＆＃39; t只是一个更快的计算硬件运行Shannon＆＃39;理想的搜索算法的问题。沿途有很多新的洞察力，最重要的是，α-Beta修剪算法和位置评估的大量改善。

但我认为有些人反应过度四十七年的差距，并类似于它的毫无苯的理解计算机程序，只是因为你可能距离实际解决方案有四十七年。但是，如果你不＆＃39; t甚至可以在1833年在1833年在超级计算机上运行的解决方案，而不是1950年的Shannon。

我告诉轶事关于PoE的原因是说明PoE在Shannon没有的方式上对计算机棋子感到困惑。当我们不知道如何解决问题时甚至给出无限计算能力，我们想要做的很多工作就是有些感觉朦胧。当我们能够在给出解决问题的代码时，我们已经变得不那么困惑。一旦我们拥有无限的解决方案，我们就会理解，在一些基本的意义上，我们正在尝试执行的那种工作，然后我们可以试图弄清楚如何有效地完成它。

Ashley：这可能需要新的见解进入问题的结构，甚至是我们如何想象我们＆＃39的工作的概念革命;重新尝试这样做。

Blaine：是的，但是你可以＆＃39;如果你＆＃39;争论象棋争论象棋的性质而不是事物的性质。在那一点上你＆＃39看看如何使用足够大的计算机播放完美的国际象棋。我不是试图通过诋毁获得有限解决方案所需的工作来展示无界的解决方案。我不是在说我们有一个无限的解决方案的时候，我们＆＃39;实际上，休息时间只是低效率。我试图将拥有无界的解决方案的恐怖混乱进行比较，而不是了解我们＆＃39的可怕混淆;重新尝试这样做。

阿什利：好的。我想我理解为什么，在你的观点上，它很重要，知道如何在你称之为时使用无限的快速电脑解决问题，或者超级计算机。当我们可以说如何使用无限计算能力回答问题时，这意味着我们在某种意义上地清楚地了解问题本身;虽然我们可以＆＃39; t弄清楚如何使用无限的计算能力来解决问题，这意味着我们＆＃39;在某种意义上，对这个问题混淆了。我的意思是，任何人都试图教授更注重的本科的本科写作代码知道困惑困惑的是什么意思。

布莱恩：啊！嗯，假设我问你如何使用无限计算能力进行认识学？

阿什利：我的好朋友，我会立刻回复，＆＃34;嘟嘟声。呼呼。问题＆＃39;做认识论＆＃39;没有清脆。＆＃34;在这个事务阶段，我认为这回复表明我的局部有任何根本困惑;相反，我认为是你必须更清楚。

布莱恩：鉴于无限的计算能力，您如何理由才能构建一个准确的现实图？

布莱恩：也许。但即使在那里，我会建议它＆＃39;是能够采取模糊和缺乏良好的想法的知识进展的标志;做良好的认识论＆＃39;并将它们变成清晰的特殊问题。想象一下，我上去了我的朋友塞西尔，并说，＆＃34;你怎么做良好的认识论给出无限的计算能力和短的蟒蛇程序？＆＃34;一旦解释了，塞西尔曾经回到了一个答案 - 一个良好合理的答案。 Cecil可能会知道你没有目前知道的事情。

阿什利：我承认对这个假设的相当持怀疑态度。但如果这实际上发生了 - 如果我同意我自己的满意，那么有人曾陈述过一项短暂的Python计划，它会＆＃39;做好认识论＆＃39;如果在一个无法匹配的快速电脑上运行 - 那么我同意我＆＃39; D可能已经学到了关于认识论的一些非常有趣的东西。

布莱恩：塞西尔知道的，在这个假设中，是所罗门组织的诱导。同样地，克劳德香农回答了＃34;给定无限计算能力，你怎么玩完美的国际象棋？＆＃34;，雷塞洛蒙诺夫回答＆＃34;给定无限计算能力，你如何完美地找到最好的假设？适合事实？＆＃34;

阿什利：突然，我发现自己强烈怀疑你要对我说的话。

阿什利：特别是，我＆＃39; ll立即问＃34; Solomonoff Incuction＆＃34;假设我们的假设在银盘上向我们提供给我们，以及我们应该解释的确切数据，或者算法是否正在从大凌乱情况组织自己的数据并从头开始发明好的假设。

阿什利：真的吗？好的，现在我必须问Solomonoff诱导是否是一个公认的概念，良好的学术计算机科学领域，因为这听起来不像现代计算机科学知道怎么办。

布莱恩：我不会说出来＆＃39;是一个众所周知的概念，但它＆＃39;＆＃39; s良好的学术身分。该方法是在现代机器学习中使用的，因为它需要无限的快速电脑和ISN＆＃39; t易于近似象棋的方式。

阿什利：这听起来很可疑。上次我检查过，我们开始了从头开始形式地建立良好的新假设。听到了索赔＆＃39;自动化＆＃39;这项工作，例如，牛顿在发明经典力学方面做了，我发现他们都发现他们都是非常可疑的。这就是说，他们被操纵的演示和谎言。

Ashley：然后我＆＃39; m更具可疑的声明，如果只有它们具有无限计算功率，算法可以解决这个问题。拥有一些研究人员声称，他们的老式的AI语义网络将是聪明的，如果在计算机上运行，​​方便地，没有人可以测试他们的理论，不会说服我。

布莱恩：我真的把你搞砸了一个夏尔兰吗？我曾经做过什么，你会期待我试着像那样拉骗局？

阿什利：公平的＆＃39;公平。我不应该指责你计划骗局，当我没有看到你说的话。但我很确定＆＃34的问题。在一个充满凌乱的数据＆＃34的世界中，在一个充满凌乱的数据的问题上提出了好的新假设;是al-complete。甚至是威胁 -

阿什利：抱歉。即使是传奇的第一和最伟大的AI裂缝，他是他的名字，他的名字也可以断言他的算法在一台足够大的计算机上都是全能的，以使他的索赔不合好事。所以呢？

布莱恩：这是一个非常明智的答复，这是一个非常明智的答复，这正是反映了一个令人困惑而不是难以实施的问题的精神状态。它＆＃39;这类混乱Poe可能会在1833年或接近它。换句话说，它＆＃39; s只是我们将解决的那种概念问题，我们可以在我们能够说明在超计算机上运行的短程。哪个Ray Solomonoff于1964年做过。

布莱恩：首先，尝试解决以下难题。 1,3,4,7,11,18,29 ......？

布莱恩：你是聪明的，你可以越容易地找到序列中的隐藏模式，并成功预测它们。您必须注意到斐波纳契规则的相似性以猜出下一个数字。没有关于Fibonacci的人，或者在数学思维中更糟糕的人，谁将需要更长时间才能理解这些序列或者可能从未学习过预测。

Blaine：它不是一系列数字的数字......但你能看到这个问题，＆＃34;太阳在旧的百万天上升起。明天升起的可能性是什么？＆＃34;可以被视为一种序列预测问题？

Ashley：只有一些程序员整理地将世界解析成一系列＆＃34;太阳升起的日子x从45亿美元开始时，0表示否，1表示是的？ 1,1,1,1,1,1.＆＃34;等等。这正是我认为是欺骗的那种神话。在现实世界中，你走到外面，看到一个辉煌的金子触摸地平线，而不是巨人＆＃34; 1＆＃34;

Blaine：假设我有一个机器人，一个网络摄像头显示它，显示它是一个1920×1080像素字段，刷新60次，秒为32位颜色。我可以认为这是一个巨大的序列，并要求机器人预测它在第二天滚动观看日出时会看到它会看到的内容。

阿什利：我可以帮助，但请注意，＆＃39;序列＆＃39;网络摄像头框架绝对巨大，比如，序列由66兆位＆＃39组成;数字＆＃39;每分钟出现3600次......哦，右，计算机比宇宙要大得多。现在你＆＃39;赎罪，所以我猜这一点。我还注意到该序列不再是确定的可预测的，即它不再是纯数学对象，并且观察到的网络摄像头帧的序列将取决于机器人＆＃39;选择的选择。这让我对预测数学序列1,1,2,3,5的比喻感到有点摇晃。

布莱恩：我＆＃39; ll试图按顺序解决这些点。首先，Solomonoff诱导是关于序列中下一个项目的概率。我的意思是，如果我向你展示了一个说明1,1,2,3,5,8的盒子，你就不会绝对确定下一个项目是13.可能会有一些更复杂的规则，只是看着斐波纳契 - ish但是然后分歧。您可能会猜测90％的概率但不是100％的概率，或类似的概率。

布莱恩：有一个大分支的数学分支，只要概述概率和统计预测就不说是计算机科学。在看到1,3,4,7,11,18之后，我们将描述绝对合法的和确定性的方式分配概率。

Ashley：好的，但如果你＆＃39;再次告诉我，这一合法的概率预测规则是一般聪明的推理，我已经持怀疑态度。

无论电脑如何大量竞争，我发现很难想象一些分配概率的简单规则将包括真正和一般智能的答案关于序列预测，就像Terence Tao会在看序列一段时间。我们不知道TELENT TAO如何工作，所以我们可以在正式规则中复制他的能力，无论规则如何获得多少计算权限......你＆＃39;再次微笑着微笑。如果邪恶的笑容结果是合理的，我会非常感兴趣。

阿什利：我也发现很难想象，如果一个盒子正在输出编码版本的＆＃34，则难以想象为分配概率的这种确定性数学规则会注意到。或者是不是＆＃34;从莎士比亚映射到z到1到26，我会在看到20,15,2,5,15,18之后立即注意到，你......和你仍然微笑着。

布莱恩：确实。这正是所罗蒙诺夫诱导的依据。此外，我们有定理建立所罗门组织的诱导可以比你或TAO更好地做到这一点。

阿什利：定理证明这一点。就像在必要的数学真理中一样。即使我们不知道TELING TAO如何经验......以及那里的邪恶微笑第四。好的。我非常持怀疑态度，但愿意确信。

布莱恩：所以如果你真的有一个超级计算机，你可以欺骗，对吗？所罗门组织诱导是作弊史上最荒谬的作弊作弊。

布莱恩：我们只是运行所有可能的计算机程序，看看哪个是最能预测到目前为止所看到的数据的最简单的计算机程序，并使用这些程序预测接下来的内容。这种混合物在其他方面含有特定的TELING TAO副本，从而允许我们证明对其相对性能的定理。

布莱恩：我＆＃39; ll以后提供正式化，但你确实要求我第一次陈述这一切。所罗门组织诱导的点是它给了我们序列预测的金标准，并且该金标准预测相对于最佳的可计算序列预测器，该金标准预测仅通过无限时间偏移。我们也可以看到它正式地表明威廉奥克姆表达的直观想法，早些时候更简单的理论更有可能是正确的，并且告诉我们＆＃39;简单＆＃39;应该以算法复杂性测量，这是输出假设的计算机程序的大小，＆＃39; s预测。

阿什利：我想我必须阅读更多关于这个主题，实际上是遵循的。什么我的听证会是所罗门组织的诱导是一个很重要的思想，因为它给了我们一种理想的序列预测。这一理想也与偶尔和＃39;剃刀有关，并股权最简单的理论是最短的计算机程序可以代表的索赔。你用＃34确定这个;做好认识论＆＃34;

布莱恩：是的，那些是合法的外卖。看着它的另一种方式是所罗门组织的归纳是问题＆＃34的理想但无明显的答案;我们的前锋应该是什么？＆＃34;，通过了解贝叶斯更新，左转。

Ashley：你能说所罗门组织的归纳如何回答，说，加拿大正计划侵犯美国的先前可能性？我曾经看到过一个疯狂的网站试图调用贝叶斯概率的概率，但只有在设置之前的10％或类似的东西之后，我才会恢复＆＃39。所罗门组织的诱导让我告诉他，他做了数学错误，而不是以非正式的方式呼唤他？

布莱恩：如果你＆＃39;重新坐在莱布尼兹和莱布尼兹说，＆＃34;先生们，让我们计算＆＃34; 然后你＆＃39;把你的期望太高。 Solomonoff让我们了解如何计算无限计算能力的数量。 它并没有给我们一个坚定的食谱，了解我们如何最好地近似这个想法 ......