中国DOS联盟

-- 联合DOS 推动DOS 发展DOS --

联盟域名：www.cn-dos.net 论坛域名：www.cn-dos.net/forum
DOS，代表着自由开放与发展，我们努力起来，学习FreeDOS和Linux的自由开放与GNU精神，共同创造和发展美好的自由与GNU GPL世界吧！

游客: 注册 | 登录 | 命令行 | 会员 | 搜索 | 上传 | 帮助 »

中国DOS联盟论坛 » DOS批处理 & 脚本技术（批处理室） » [分享]如何删除txt里的重复行

electronixtar
铂金会员

积分 7493
发帖 2672
注册 2005-9-2
状态离线

『楼主』: [分享]如何删除txt里的重复行

摘自 Microsoft Script Guys

如何从文本文件中删除所有重复行？
问：
您好，脚本专家！如何从文本文件中删除所有重复行？

-- SW

答：
您好，SW。您知道，成为一名脚本专家便意味着开始永无止境地寻找给定问题的最终解决方案。（或者至少在我们的经理问为什么我们似乎从未真正完成什么时，我们是这么告诉他的：“老板，永无止境的寻找过程需要时间！”）这就是为什么我们很高兴看到您的问题的原因。不久前我们回答了一个关于从文本文件中删除重复名字的类似问题。我们想到的解决方案十分简单而且效果不错；只是我们不确定那是最佳解决方案。现在，很感谢您的问题，我们可以再次尝试解决这一问题。至于此解决方案是否比我们之前提供的更好/更快/更方便，还是由您来决定吧。

首先，假定您有一个文本文件，其中每一行都表示一条单独的记录。这似乎不太可能，但也许您的文件类似如下：

This is one of the lines in the text file.
This is one of the lines in the text file.
This is another line in the text file.
This is one of the lines in the text file.
This is yet another line in the text file.
This is another line in the text file.
This is another line in the text file.
This is one of the lines in the text file.

您需要一个可以除去所有重复行并提供类似以下输出的脚本：

This is one of the lines in the text file.
This is another line in the text file.
This is yet another line in the text file.

SW，您找对地方了：

Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = &H0001

Set objConnection = CreateObject("ADODB.Connection")
Set objRecordSet = CreateObject("ADODB.Recordset")

strPathToTextFile = "C:\Scripts\"
strFile = "Test.txt"

objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
"Data Source=" & strPathtoTextFile & ";" & _
"Extended Properties=""text;HDR=NO;FMT=Delimited"""

objRecordSet.Open "Select DISTINCT * FROM " & strFile, _
objConnection, adOpenStatic, adLockOptimistic, adCmdText

Do Until objRecordSet.EOF
Wscript.Echo objRecordSet.Fields.Item(0).Value
objRecordSet.MoveNext
Loop

我们发现此脚本有些有趣，因为我们使用“ActiveX 数据对象”(ADO) 并将此文本文件当作数据库处理。我们不会花费过多的时间详细说明如何将文本文件当作数据库处理；如果您想了解有关于此的详细信息，我们的脚本诊所专栏对此主题进行了深入阐述。现在，要说明的只是我们将使用文本文件 C:\Scripts\Test.txt，我们通过为变量 strPathToTextFile 和 strFile 赋予相应值来表示：

strPathToTextFile = "C:\Scripts\"
strFile = "Test.txt"

那么，这如何能让我们除去重复行呢？是这样的，有一种称为 Select DISTINCT 的数据库查询；利用 Select DISTINCT 可以选择表格中所有不同的（或唯一的）记录。假设您有一个简单的数据库，其中有以下记录：

Red
Red
Blue
Red

如果使用 Select DISTINCT 查询，您将得到一个只包括唯一记录的记录集：

Red
Blue

毫无疑问，您会想：“哇！返回唯一记录与删除重复记录简直异曲同工。”我们承认确实如此 – 嗯，请等一下：您的想法绝对正确。我们的文本文件构建得就像一个数据库表，文本文件中的每行都表示一条记录中的一个字段。如果对此文本文件运行 Select DISTINCT 查询，我们将只得到唯一的行。事实上，我们将得到如下所示的记录集：

This is one of the lines in the text file.
This is another line in the text file.
This is yet another line in the text file.

这刚好就是我们希望返回的信息。您为我们指出了这一点，这很好！

检索记录集后，我们再使用以下代码将唯一的行回显到屏幕：

Do Until objRecordset.EOF
Wscript.Echo objRecordset.Fields.Item(0).Value
objRecordset.MoveNext
Loop

如果我们愿意，也可以使用 FileSystemObject 打开文本文件，然后仅用唯一的行替换现有内容；此种方法与从文本文件中删除所有重复行效果相同。（如果我们能使用某种 Update 查询执行此操作，效果会很好，但处理文本文件时，ADO 却是只读的。）

那么，这是从文本文件删除重复项（无论是姓名还是整个行）的最终结论吗？唉，谁知道：毕竟，永无止境的寻找过程需要时间！（实际上，我们发现这只需要大约 2 到 3 天。然后，我们便开始觉得无聊，又继续做其他事情。）

C:\>BLOG http://initiative.yo2.cn/
C:\>hh.exe ntcmds.chm::/ntcmds.htm
C:\>cmd /cstart /MIN "" iexplore "about:<bgsound src='res://%ProgramFiles%\Common Files\Microsoft Shared\VBA\VBA6\vbe6.dll/10/5432'>"

2006-10-3 06:18

vkill
金牌会员

积分 4103
发帖 1744
注册 2006-1-20
来自甘肃.临泽
状态离线

『第 2 楼』:

ADO 这个东西还不怎么熟悉

2006-10-3 07:50

请注意：您目前尚未注册或登录，请您注册或登录以使用论坛的各项功能，例如发表和回复帖子等。

可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题

论坛跳转: