如何使用shell脚本取重复数据的最后一条记录？怎么操作？

Question

在shell中对一个.unl文件进行“去重”。对重复的记录取最后一条记录和原有的数据重新覆盖原有文件，且将重复的记录输入到一个err*.unl文件中...

Answer 1

是否可以这样？
用sort排序一下，然后uniq -c 来去重复并统计。然后用awk 把统计出来超过1的写入到err.unl
sort file.unl|uniq -c > tmp.file
awk '{if($1>1)print $2}>err.unl
awk '{print $2}' tmp.file > file.unl
rm tmp.file

Answer 2

已知一个文本文件可能存在重复记录，但是ID经过重新编排已经不同了。如何用...不知道是不是Linux的shell，如果是UNIX，就把下面的/bin/bash改为相应的...