Unix/Linux：使用awk或perl从文本文件中删除重复的行
时间：2020-01-09 10:39:35 来源:igfitidea点击:
我有一个文本文件，其中的行完全相同。
如何删除所有重复的行，并在Linux或类似Unix的系统上也保留顺序。
如何从文本文件中删除重复的行？
您可以使用Perl或awk或Python从Linux，OS X和类似Unix的系统上的文本文件中删除所有重复的行。
如何使用awk删除文本文件中的重复行
保留文本文件的顺序语法如下：
awk '!seen[perl -lne '$seen{$_}++ and next or print;' input > output
perl -lne '$seen{$_}++ and next or print;' data.txt > output.txt
more output.txt
]++' input > output
awk '!seen[##代码##]++' data.txt > output.txt
more output.txt
如何从Perl中的多个文本文件中删除重复行？
语法为：
##代码##