语音转文字处理时说话人识别问题

从在线会议系统中导出多个音轨需要做语音转文字处理。音轨一人一条，而且知道对应的用户。需求是处理后的结果要对应发言的人。
现在的处理方法是各个音轨单独做转化，这样可以对应到人，但是因为会议是对话形式，单独处理一个人的音轨时上下文不完整，精度不太好。
我知道现在有大模型可以识别发言人，可以将音轨先合并再处理。但转化结果只是能区别讲话人，而且可以区分的人数有限，很难对应到用户。

有没有两全其美的方法？