qwen3-0.6B这种小模型有什么实际意义和用途吗?
这种小模型是做vector search的最爱,稍微fine-tune一下retrieval效果嘎嘎好
有评论区的人提到用法,其实就是用这个模型给document生成vector,然后把这个document和vector一起index到一个搜索引擎的后端,例如Elastic Search或者Vespa。
搜索的时候,同样用这个模型vectorise query,然后去做approximate nearest neighbour来做retrieval就好了,这样就能搜索到相关document。
这种用处场景是对搜索延迟很敏感的,所以小(快)且检索效果好的模型是vector search的最爱。
至于微调,就是根据你需要检索的document-query pair,对这个模型进行fine-tune就好了。这样在检索的时候就会对你需要的数据有更好的效果。
推荐一下Marqo:Marqo | Smarter Search, Higher Conversion