我有一些数据，可能有很多重复的，比如username,ip,UA等等，这些数据是实时产生的，也就是说可能是产生的时间是不一样的。

目前是用logstash来实时写数据进elasticsearch的，我想问的是

如何确保写入elasticsearch的数据是不重复的。

logstash在写数据之前，是否可以先到elasticsearch查询一下然后在决定写入不写入呢？