SED相关积累-g_programming-ChinaUnix博客

环境：转换DOS的换行符（CR/LF）为Unix的LF格式
sed 's/.$//'                     # 假设所有行以CR/LF结束
sed 's/^M$//'                    # 在bash/tcsh中，将按Ctrl-M改为按Ctrl-V
sed 's/\x0D$//'                  # ssed、gsed 3.02.80，及更高版本

sed -i 's/\r$//' filename # 文件在windows下打开会自动在每行之后加上\r=x0d

环境：转换Unix的新行符（LF）为DOS格式
sed "s/$/`echo -e \\\r`/"        # 在ksh下所使用的命令
sed 's/$'"/`echo \\\r`/"         # 在bash下所使用的命令
sed "s/$/`echo \\\r`/"           # 在zsh下所使用的命令
sed 's/$/\r/'                    # gsed 3.02.80 及更高版本

3.      环境：转换Unix新行符（LF）为DOS格式
sed "s/$//"                      # 方法 1
sed -n p                         # 方法 2

环境：转换DOS新行符（CR/LF）为Unix格式

下面的脚本只对UnxUtils sed 4.0.7 及更高版本有效。要识别UnxUtils版本的sed可以通过其特有的“--text”选项。你可以使用帮助选项（“--help”）看其中有无一个“--text”项以此来判断所使用的是否是UnxUtils版本。其它DOS版本的的sed则无法进行这一转换。但可以用“tr”来实现这一转换。
sed "s/\r//" infile >outfile # UnxUtils sed v4.0.7 或更高版本
tr -d \r outfile # GNU tr 1.22 或更高版本

sed -i 's/\o032//g'

sed 's/^[ \t]*//' # 见本文末尾关于'\t'用法的描述

sed 's/[ \t]*$//' # 见本文末尾关于'\t'用法的描述

sed 's/^[ \t]*//;s/[ \t]*$//'

sed 's/^/ /'

sed -e :a -e 's/^.\{1,78\}$/ &/;t a' # 78个字符外加最后的一个空格

在方法1中，为了让文本居中每一行的前头和后头都填充了空格。在方法2中，在居中文本的过程中只在文本的前面填充空格，并且最终这些空格将有一半会被删除。此外每一行的后头并未填充空格。
sed -e :a -e 's/^.\{1,77\}$/ & /;t a' # 方法1
sed -e :a -e 's/^.\{1,77\}$/ &/;t a' -e 's/$ *$\1/\1/' # 方法2

sed 's/foo/bar/'                 # 只替换每一行中的第一个“foo”字串
sed 's/foo/bar/4'                # 只替换每一行中的第四个“foo”字串
sed 's/foo/bar/g'                # 将每一行中的所有“foo”都换成“bar”
sed 's/$.*$foo$.*foo$/\1bar\2/' # 替换倒数第二个“foo”
sed 's/$.*$foo/\1bar/'            # 替换最后一个“foo”

sed '/baz/s/foo/bar/g'

sed '/baz/!s/foo/bar/g'

15.
sed 's/scarlet/red/g;s/ruby/red/g;s/puce/red/g' #对多数的sed都有效
gsed 's/scarlet\|ruby\|puce/red/g' # 只对GNU sed有效

gsed -r 's/scarlet|ruby|puce/red/g' # 只对GNU sed有效

第一行成为最后一行，依次类推（模拟“tac”）。由于某些原因，使用下面命令时HHsed v1.5会将文件中的空行删除
sed '1!G;h;$!d' # 方法1
sed -n '1!G;h;$p' # 方法2

将行中的字符逆序排列，第一个字成为最后一字，……（模拟“rev”）
sed '/\n/!G;s/$.$$.*\n$/&\2\1/;//D;s/.//'

sed '$!N;s/\n/ /'

并去掉原来行尾的反斜杠和\n
sed -e :a -e '/\\$/N; s/\\\n//; t a'

并以单个空格代替原来行头的“=”
sed -e :a -e '$!N;s/\n=/ /;t a' -e 'P;D'

gsed ':a;s/\B[0-9]\{3\}\>/,&/;t a' # GNU sed
sed -e :a -e 's/$.*[0-9]$$[0-9]\{3\}$/\1,\2/;t a' # 其他sed

（GNU sed）
gsed -r ':a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/\1\2,\3/g;t a'

（在第5，10，15，20，等行后增加一空白行）
gsed '0~5G' # 只对GNU sed有效
sed 'n;n;n;n;G;' # 其他sed

行B中中间，行A在B前，行C在B后直接的内容替换成foo

sed ':a;N;/\nA/b;/\nC/{s/.*\nB.*\n/FOO\n/;b};b a' #不包括行A和行C

sed ':a;N;/\nA/b;/\nC/{s/.*\nB.*\nC/FOO\n/;b};b a' #不包括行A

sed ‘/A/!b;a:N; /\nC$/!{ba};/\nC$/{s/A[^A]*\nB.*\nC$/FOO\n/;}’ #包括行A和行C

sed ‘s/foo/bar/3;s//que/’#将第三个foor替换为bar，第一个foo替换为que

sed '/^AA/s/$/ YES/;t;s/$/ NO/' urfile

sed '/^AA/ba;s/$/ NO/;b;:a;s/$/ YES/' urfile

ly5066113@ubuntu:~$ cat urfile

114.113.144.2:

19ms

218.61.204.73:

0ms

ly5066113@ubuntu:~$ sed ':a;$!N;/ms$/s/\n/ /;ta;P;D' urfile

114.113.144.2: 19ms 19ms

218.61.204.73: 0ms 0ms 0ms 0ms

sed '/regex/{x;s/^/./;/^.\{4\}$/{x;s/regex/AA/;b};x}' urfile

字符串 'aaabcccaaabbbccc'，连续的字母作为一个子字符串，从左往右，去重复后，变为 'aaabcccbbb'

sed -nr 's/([^\n])\1*/&\n/g;:a;s/(^|\n)([^\n]+)(\n(.*\n)*)\2\n/\1\2\3/;ta;s/\n//gp'

行插入some，追加some，更改为some

插入：s/^pattern/some&/

追加：s/pattern$/&some/

更改：s/pattern/some/

sed -r '/System/{N;s/System([\n ]+)Administrator/Desktop\1User/g;P;D;}' tt1.txt

原文：

1. 69 2 3 5 0

2. 70 2 3 6 0

3. 71 2 3 6 0

我想根据第一列为基础，后面有四列就输出四行，比如输出结果为

1. 69 2

2. 69 3

3. 69 5

4. 69 0

5. 70 2

6. 70 3

7. 70 6

8. 70 0

9. 71 2

10. 71 3

11. 71 6

12. 71 0

33.

（四）选择性地显示特定列：

sed -r 's/(\S+ *){10}//'

（五）选择性地显示特定行：

（模拟“head”的行为）
sed 10q

（模拟“head -1”命令）
sed q

（模拟“tail”）
sed -e :a -e '$q;N;11,$D;b a'

（模拟“tail -2”命令）
sed '$!N;$!D'

（模拟“tail -1”）
sed '$!d' # 方法1
sed -n '$p' # 方法2

sed -e '$!{h;d;}' -e x # 当文件中只有一行时，输入空行
sed -e '1{$q;}' -e '$!{h;d;}' -e x # 当文件中只有一行时，显示该行
sed -e '1{$d;}' -e '$!{h;d;}' -e x # 当文件中只有一行时，不输出

（模拟“grep”）
sed -n '/regexp/p' # 方法1
sed '/regexp/!d' # 方法2

（模拟“grep -v”）
sed -n '/regexp/!p' # 方法1，与前面的命令相对应
sed '/regexp/d' # 方法2，类似的语法

，但并不显示匹配行
sed -n '/regexp/{g;1!p;};h'

，但并不显示匹配行
sed -n '/regexp/{n;p;}'

，加上“regexp”所在行的行号（类似“grep -A1 -B1”）
sed -n -e '/regexp/{=;x;1!p;g;$!N;p;D;}' -e h

sed '/AAA/!d; /BBB/!d; /CCC/!d' # 字串的次序不影响结果

sed '/AAA.*BBB.*CCC/!d'

（模拟“egrep”）
sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d # 多数sed
gsed '/AAA\|BBB\|CCC/!d' # 对GNU sed有效

（段落间以空行分隔）HHsed v1.5 必须在“x;”后加入“G;”，接下来的3个脚本都是这样
sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;'

sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;/BBB/!d;/CCC/!d'

sed -e '/./{H;$!d;}' -e 'x;/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d
gsed '/./{H;$!d;};x;/AAA\|BBB\|CCC/b;d' # 只对GNU sed有效

sed -n '/^.\{65\}/p'

sed -n '/^.\{65\}/!p' # 方法1，与上面的脚本相对应
sed '/^.\{65\}/d' # 方法2，更简便一点的方法

——从包含正则表达式的行开始到最后一行结束(范围显示)
sed -n '/regexp/,$p'

（从第8至第12行，含8和12行）
sed -n '8,12p' # 方法1
sed '8,12!d' # 方法2

（从第8至第12行，含8和12行）

sed -n -e 8,12p -s files

sed -n '52p'                     # 方法1
sed '52!d'                       # 方法2
sed '52q;d'                      # 方法3, 处理大文件时更有效率

gsed -n '3~7p'                   # 只对GNU sed有效
sed -n '3,${p;n;n;n;n;n;n;}'     # 其他sed

sed -n '/Iowa/,/Montana/p' # 区分大小写方式

sed -n '/Iowa/{:a n;/Montana/d;p;ba}' # 区分大小写方式

sed -n '/Iowa/{p;:a;n;H;/Montana/{x;s/\n//p;z;h};ba}' file

#z清空保持空间

sed -n '/abc$/{N;/abc\nefg/p;D;}'

29.

（六）选择性地删除特定行：

sed '/Iowa/,/Montana/d'

只保留重复行中的第一行，其他行删除
sed '$!N; /^$.*$\n\1$/!P; D'

，注意hold space所能支持的缓存大小，或者使用GNU sed。
sed -n 'G; s/\n/&&/; /^$[ -~]*\n$.*\n\1/d; s/\n//; h; P'

sed '$!N; s/^$.*$\n\1$/\1/; t; D'

sed '1,10d'

sed '$d'

sed 'N;$!P;$!D;$d'

sed -e :a -e '$d;N;2,10ba' -e 'P;D' # 方法1
sed -n -e :a -e '1,10!{P;N;D;};N;b a' # 方法2

gsed '0~8d' # 只对GNU sed有效
sed 'n;n;n;n;n;n;n;d;' # 其他sed

sed '/pattern/d' # 删除含pattern的行。当然pattern
# 可以换成任何有效的正则表达式

（与“grep '.' ”效果相同）
sed '/^$/d' # 方法1
sed '/./!d' # 方法2

。非贪婪（模拟“cat -s”）
sed '/./,/^$/!d' #方法1，删除文件顶部的空行，允许尾部保留一空行
sed '/^$/N;/\n$/D' #方法2，允许顶部保留一空行，尾部不留空行

sed '/^$/N;/\n$/N;//D'

sed '/./,$!d'

sed -e :a -e '/^\n*$/{$d;N;b a' -e '}' # 对所有sed有效
sed -e :a -e '/^\n*$/N;/\n$/b a' # 同上，但只对 gsed 3.02.*有效

sed -n '/^$/{p;h;};/./{x;/./p;}'

sed -n '/regex/{N;p}'

（七）特殊应用：

。在Unix System V或bash shell下使用'echo'命令时可能需要加上 -e 选项。
sed "s/.`echo \\\b`//g"    # 外层的双括号是必须的（Unix环境）
sed 's/.^H//g'             # 在bash或tcsh中, 按 Ctrl-V 再按 Ctrl-H
sed 's/.\x08//g'           # sed 1.5，GNU sed，ssed所使用的十六进制的表示方法

sed '/^$/q' # 删除第一行空行后的所有内容

sed '1,/^$/d' # 删除第一行空行之前的所有内容

，并移除开头的“Subject:”字样
sed '/^Subject: */!d; s///;q'

sed '/^Reply-To:/q; /^From:/h; /./d;g;q'

。在上一个脚本所产生的那一行邮件头的基础上进一步的将非电邮地址的部分剃除。（见上一脚本）
sed 's/ *(.*)//; s/>.*//; s/.*[:<] *//'

（引用信息）
sed 's/^/> /'

（解除引用）
sed 's/^> //'

sed -e :a -e 's/<[^>]*>//g;/

。移除文件头信息，只保留uuencode编码部分。文件必须以特定顺序传给sed。下面第一种版本的脚本可以直接在命令行下输入；第二种版本则可以放入一个带执行权限的shell脚本中。（由Rahul Dhesi的一个脚本修改而来。）
sed '/^end/,/^begin/d' file1 file2 ... fileX | uudecode # vers. 1
sed '/^end/,/^begin/d' "$@" | uudecode # vers. 2

。段落间以（一行或多行）空行分隔。GNU sed使用字元“\v”来表示垂直制表符，这里用它来作为换行符的占位符——当然你也可以用其他未在文件中使用的字符来代替它。
sed '/./{H;d;};x;s/\n/={NL}=/g' file | sort | sed '1s/={NL}=//;s/={NL}=/\n/g'
gsed '/./{H;d};x;y/\n/\v/' file | sort | sed '1s/\v//;y/\v/\n/'

，压缩后删除原来的文件并将压缩后的.ZIP文件命名为与原来相同的名字（只是扩展名不同）。（DOS环境：“dir /b”显示不带路径的文件名）。
echo @echo off >zipup.bat
dir /b *.txt | sed "s/^$.*$\.TXT/pkzip -mo \1 \1.TXT/" >>zipup.bat

sed -n 's/$.*$\///p'

sed -n 's/$.*$\/.*/\1/p'

SED相关积累

文章评论