文本数据文件的汇总导入

Question

<P>数据记录是以ASCII码的方式追加到文件尾的，虽然偶尔也会有中文。</P> <P>文件小的时候用记事本打开就可以，内容大致如下：</P> <P>1|w|234567|xxxx|iiii|ccccc|eeee<BR>2|w|234567|yyyy|iiii|ccccc|eeee<BR>2|w|234567|xxxx|iiii|ccccc|eeee<BR>2|w|234567|xxxx|iiii|ccccc|eeee<BR>3|w|234567|zzzz|iiii|ccccc|eeee</P> <P>现在的问题是文件过大，每天有三个每个700M的文件，原想把它导入SQL Server中，方法也可行的，但每天要导三次（周六日节假日也会有文件），这样时间就会浪费在操作上面了，想知道有没有方法有脚本可以批量作业的，可以指定使用“|”作分隔符的，又可以过滤掉重复数据的（重复数据会很多）方法。</P> <P>我的提问不会加上“紧急”、“求救”的字眼来吸引眼球，如果您不能解决我的问题，我也不会有任何抱怨，您可能在另外的术业上有更高的成就，如果您对这类需求有些许经验的话，希望可以适时分享一下，不胜感激。</P>