AI搜索引擎PerplexityAI的查询效果如何？
幻觉
SearchGPT发布的原型demo上的第一条搜索结果就有幻觉错误。Newing发布的时候，市场发现了Newing的幻觉并且讨论很多。但大家对OpenAI似乎较宽松，没有太多议论。
在新闻集团的起诉书中，也有Perplexity幻觉的例子。
幻觉很难避免，但有的模型幻觉会更低一些。
偷工减料
如果仅仅是幻觉也就罢了，Perplexity还可能偷工减料，以至于信息错误雪上加霜。
连线杂志做了一些试验来观测Perplexity，发现Perplexity疑似偷工减料。
标题就很震撼：PerplexityIsaullMachine。他们建了一个新的网页，网页上只有一句话：“IamareporterwithWIRED”，然后要求Perplexity总结这个网页的内容。然而，他们在上观测到Perplexity并没有访问，但是软件就做出了回答，回答编造了一个名叫阿米莉亚（Amelia）的小女孩的故事，她在一个名为“耳语森林”（WhisperWoods）的神奇森林中追踪发光蘑菇的踪迹。
这个试验我也做了几次，确实如此，在我的7次试验里，Perplexity只有2次的看了文章内容再给出回答，5次都是编的。
版权问题
除了不访问以外，Perplexity还有版权侵权行为。我想也正因如此，Wired不住要用ull来形容它。新闻集团的起诉主要就是围绕侵权行为展开。
Perplexity明明向所有人公开了自己的爬虫信息，并且承诺遵守roots.txt协议。然而，Wired试验发现就算他们屏蔽了Perplexity的爬虫，用Perplexity还是能获取到他们的文章，并且他们在志没有发现任何Perplexity官网公布的爬虫IP踪迹。Wired所属的CondeNast集团最终找到了一个嫌疑IP，这个IP来自于AWS，后来AWS已经就此问题展开调查，看Perplexity是否滥用AWS服务绕过roots.txt协议。
信源治理
Perplexity后来已经开始与新闻机构合作讨论采内容，而OpenAI很早就和新闻机构达成合作，购了大量信源，以支持SearchGPT业务。SearchGPT发布的原型页上，也贴了大西洋月刊CEO和新闻集团CEO的贺词。产品形态上，还给了这些信源特殊的展示方案。
如果把搜索信源框定在高品质信源，或者垂直类信源，那么需求会更加明确，场景也更清楚。
在L3.1405刚刚发布的那几天，我问了Felo、Thinkany、Genspark、Perplexity、Metaso一个问题：L3.1405网络有多少层？中英文询问我都试了。只有一家答对，但其实还是运气，因为它的搜索既命中两个不同的结果，并采信了其中一个。在不看Meta原始报告的情况下，我也不能确定这二者中哪一个是正确的。
最后我把Meta的技术报告PDF发给Kimi，问它同样的问题，Kimi不仅告诉我答案，还告诉我这个答案在PDF的什么地方，很快解决了问题。
为什么Perplexity类工具会犯错呢？因为他们搜索到了一条Reddit帖子，而那个帖子里的信息是错的。高权重，似乎又没有专门讨论L3.1网络深度的。所以就失败了。
这就是劣质信息对搜索结果的影响，进而影响到AI生成的结果。
所以，绕回来，OpenAI半年前甚至九个月前就已经开始优质信息采购工作，而且对搜索结果做了较明确的呈现。国内的秘塔在信源治理方面也很优异。
这类AI产品的定位都是人类的助手而非娱乐工具，和社交网络是不同的。社交网络无所谓信息假，只要有流量就行。但AI的产出经常要作为工作材料，并非用于娱乐，那么对信息质量的需求就会很高。也许适合接入垂直信源，或者去采高质量信源。直接全网搜，尤其去搜Reddit这种社交网络，结果很难预料。
不过就算治理好了信源，也还需要配合模型的长文本低幻觉能力才能更好发挥价值。
直出报告VS简短回答
Perplexity类产品的设计与ChatGPT有所差别，虽然也可以把它当聊天机器人用，但它保留了生成长文报告的可能性，每轮对话交互给人的感知都是新生成了一个分析结果页面而不是一个聊天气泡。也有的这类产品确实就会倾向于生成较长篇的报告。
但目前模型出的报告达不到直接交付的水平，还需要人工处理。报告是一种交付体裁，如果模型生成的报告无法直接交付，那模型的能力与这个场景就不匹配——除非一个人写报告只是为了填充工作量，不会有被交付方的来看这个报告。
如果作者拿到一份模型撰写的低质量报告，他还要返工，那还不如他自己写，写到哪问到哪，每次只处理一点点，这样效率可能更高。提供这个“写到哪问到哪”能力的，就是辅助撰写工具。聊天机器人界面也能完成这个需求，专门做一个Perplexity类界面或许是不必要的。ChatGPT和Kimi也都把搜索结果呈现得很容易查找、校验、甄别。
链接：Perplexity与SearchGPT|半瓶
