我有多个类似文件,其中一个文件如a.txt|内容如下:
5411|12310001|0|4001|88130123811353|0|2007-9-17|2008-9-16
5411|12310001|2|4001|88130095886594|0|2007-3-13|2008-3-10
5411|12610001|2|4001|88130095886594|0|2008-3-11|2008-3-10
5411|12710001|2|4001|88130095886594|0|2008-6-9|2008-3-10
5411|12510101|0|4002|88130095831651|0|2005-10-26|2007-10-20
5411|12310001|0|4001|88130114084344|0|2007-5-22|2007-10-21
5411|12610001|0|4001|88130114084344|0|2007-5-22|2007-10-21
5411|12310001|0|4001|88130120106445|0|2007-8-2|2008-8-1
我需要将每行第5列(以“|”作为分隔符)中的数据与上一行第5列的数据作比较,如果相同,则删除该整行。其结果如下:
5411|12310001|0|4001|88130123811353|0|2007-9-17|2008-9-16
5411|12310001|2|4001|88130095886594|0|2007-3-13|2008-3-10
5411|12510101|0|4002|88130095831651|0|2005-10-26|2007-10-20
5411|12310001|0|4001|88130114084344|0|2007-5-22|2007-10-21
5411|12310001|0|4001|88130120106445|0|2007-8-2|2008-8-1
求大家帮我写一批处理,并说明一下原理。谢谢。