`
cloudmail
  • 浏览: 266300 次
  • 来自: 广州
社区版块
存档分类
最新评论

awk合并行、linux shell 字符串操作、sed字符替换

阅读更多
四行合一行 
cat filename

111111111

222222222

333333333

444444444

555555555

666666666

777777777

888888888

999999999



awk '{if (NR%4==0){print $0} else {printf"%s ",$0}}' filename

111111111 222222222 333333333 444444444

555555555 666666666 777777777 888888888

999999999



在做shell批处理程序时候,经常会涉及到字符串相关操作。有很多命令语句,如:awk,sed都可以做字符串各种操作。 其实shell内置一系列操作符号,可以达到类似效果,大家知道,使用内部操作符会省略启动外部程序等时间,因此速度会非常的快。

 

一、判断读取字符串值

表达式 含义
${var} 变量var的值, 与$var相同
   
${var-DEFAULT} 如果var没有被声明, 那么就以$DEFAULT作为其值 *
${var:-DEFAULT} 如果var没有被声明, 或者其值为空, 那么就以$DEFAULT作为其值 *
   
${var=DEFAULT} 如果var没有被声明, 那么就以$DEFAULT作为其值 *
${var:=DEFAULT} 如果var没有被声明, 或者其值为空, 那么就以$DEFAULT作为其值 *
   
${var+OTHER} 如果var声明了, 那么其值就是$OTHER, 否则就为null字符串
${var:+OTHER} 如果var被设置了, 那么其值就是$OTHER, 否则就为null字符串
   
${var?ERR_MSG} 如果var没被声明, 那么就打印$ERR_MSG *
${var:?ERR_MSG} 如果var没被设置, 那么就打印$ERR_MSG *
   
${!varprefix*} 匹配之前所有以varprefix开头进行声明的变量
${!varprefix@} 匹配之前所有以varprefix开头进行声明的变量

加入了“*”  不是意思是: 当然, 如果变量var已经被设置的话, 那么其值就是$var.

[chengmo@localhost ~]$ echo ${abc-'ok'} ok [chengmo@localhost ~]$ echo $abc

[chengmo@localhost ~]$ echo ${abc='ok'} ok [chengmo@localhost ~]$ echo $abc ok

 

如果abc 没有声明“=" 还会给abc赋值。

[chengmo@localhost ~]$ var1=11;var2=12;var3= [chengmo@localhost ~]$ echo ${!v@}             var1 var2 var3 [chengmo@localhost ~]$ echo ${!v*} var1 var2 var3

 

${!varprefix*}与${!varprefix@}相似,可以通过变量名前缀字符,搜索已经定义的变量,无论是否为空值。

 

二、字符串操作(长度,读取,替换)

表达式 含义
${#string} $string的长度
   
${string:position} 在$string中, 从位置$position开始提取子串
${string:position:length} 在$string中, 从位置$position开始提取长度为$length的子串
   
${string#substring} 从变量$string的开头, 删除最短匹配$substring的子串
${string##substring} 从变量$string的开头, 删除最长匹配$substring的子串
${string%substring} 从变量$string的结尾, 删除最短匹配$substring的子串
${string%%substring} 从变量$string的结尾, 删除最长匹配$substring的子串
   
${string/substring/replacement} 使用$replacement, 来代替第一个匹配的$substring
${string//substring/replacement} 使用$replacement, 代替所有匹配的$substring
${string/#substring/replacement} 如果$string的前缀匹配$substring, 那么就用$replacement来代替匹配到的$substring
${string/%substring/replacement} 如果$string的后缀匹配$substring, 那么就用$replacement来代替匹配到的$substring
   

说明:"* $substring”可以是一个正则表达式.

 

1.长度

[web97@salewell97 ~]$ test='I love china' [web97@salewell97 ~]$ echo ${#test} 12

${#变量名}得到字符串长度

 

2.截取字串

[chengmo@localhost ~]$ test='I love china' [chengmo@localhost ~]$ echo ${test:5}      e china [chengmo@localhost ~]$ echo ${test:5:10}  e china

${变量名:起始:长度}得到子字符串

 

3.字符串删除

[chengmo@localhost ~]$ test='c:/windows/boot.ini' [chengmo@localhost ~]$ echo ${test#/} c:/windows/boot.ini [chengmo@localhost ~]$ echo ${test#*/} windows/boot.ini [chengmo@localhost ~]$ echo ${test##*/} boot.ini

[chengmo@localhost ~]$ echo ${test%/*}  c:/windows [chengmo@localhost ~]$ echo ${test%%/*}

${变量名#substring正则表达式}从字符串开头开始配备substring,删除匹配上的表达式。

${变量名%substring正则表达式}从字符串结尾开始配备substring,删除匹配上的表达式。

注意:${test##*/},${test%/*} 分别是得到文件名,或者目录地址最简单方法。

4.字符串替换

[chengmo@localhost ~]$ test='c:/windows/boot.ini' [chengmo@localhost ~]$ echo ${test/\//\\} c:\windows/boot.ini [chengmo@localhost ~]$ echo ${test//\//\\} c:\windows\boot.ini

 

${变量/查找/替换值} 一个“/”表示替换第一个,”//”表示替换所有,当查找中出现了:”/”请加转义符”\/”表示。

三、性能比较

在shell中,通过awk,sed,expr 等都可以实现,字符串上述操作。下面我们进行性能比较。

[chengmo@localhost ~]$ test='c:/windows/boot.ini'                        [chengmo@localhost ~]$ time for i in $(seq 10000);do a=${#test};done;           

real    0m0.173s user    0m0.139s sys     0m0.004s

[chengmo@localhost ~]$ time for i in $(seq 10000);do a=$(expr length $test);done;      

real    0m9.734s user    0m1.628s

 

速度相差上百倍,调用外部命令处理,与内置操作符性能相差非常大。在shell编程中,尽量用内置操作符或者函数完成。使用awk,sed类似会出现这样结果。



sed直接修改文件
#将双引号转换成分号
sed -i 's/"//g' $filename
#将分号转换成逗号
sed -i 's/;/,/g' $filename
分享到:
评论
2 楼 cloudmail 2015-01-18  
http://blog.csdn.net/zhang_red/article/details/8541313
1 楼 cloudmail 2015-01-18  
逐行读取文件时支持读取以空格开头的内容:
IFS=""; while read i; do echo "$i"; done < file

相关推荐

    shell字符串处理

    在做shell批处理程序时候,经常会...有很多命令语句,如:awk,sed都可以做字符串各种操作。 其实shell内置一系列操作符号,可以达到类似效果,大家知道,使用内部操作符会省略启动外部程序等时间,因此速度会非常的快。

    awk sed3 linux shell

    想了解shell字符串处理神器的看下咯,各种意外使用用法

    linux shell字符串内置的常用操作(获取长度、查找、替换)

    有许多命令语句,如awk,sed都能够做字符串各种操作。 事实上shell内置一系列操作符号,能够达到相似效果,使用内部操作符会省略启动外部程序等时间,因此速度会很的快。如果内置的操作符能够做到的,优先使用内置的

    Linux中Shell截取某行某列信息

    背景:执行shell命令,抓取shell返回信息中的所需信息,已udhcpc为例获取DNS的地址。 暂不作处理,执行udhcpc。 使用grep过滤掉无用信息,执行 udhcpc | grep “DNS...最后使用tr去除字符串最后的\n,默认会包含。执行

    Linux shell 获得字符串所在行数及位置的方法

    01 获取字符串所在的行数 方式一:用grep -n [root@root]# cat test ...方式二:用sed -n ‘/查询的字符串/=’ 文件 [root@root]# cat test apple bit create delect exe flow good [root@root]# [ro

    LINUX and SHELL 自学总结

    2. #SED替换字符串代码 6 四、多行文件写入或注释 7 1. 多行文件写入 7 2. 多行注释方法 7 五、SHELL其它命令总结 7 1. #AWK命令用法 7 2. 搜索文件夹或文件命令 7 3. RPM解包和TAR解包 7 #rpm 强制安装 7 4. 统计某...

    shell脚本-正则、grep、sed、awk三剑客

    在企业工作中,每天做的Linux运维工作中,时刻都会面对大量带有字符串的文本配置、程序、命令输出及日志文件等,而我们经常会有迫切的需要,从大量的字符串内容中查找符合工作需要的特定字符串。这就需要正则表达式...

    shell三剑客过滤文件内字符串长度输出

    记一次过滤文件内容,三剑客awk、grep、sed过滤指定字段、列后,怎料其中混杂编码字符串,这不是我们想要的。所幸,找到了规律,那就是 它 很长…,直接干掉长字符串即可! 下边是三把剑具体实现! 我有三把剑,一把...

    shell 字符串操作(长度,查找,替换)详解

    在做shell批处理程序时候,经常会...有很多命令语句,如:awk,sed都可以做字符串各种操作。其实shell内置一系列操作符号,可以达到类似效果,大家知道,使用内部操作符会省略启动外部程序等时间,因此速度会非常的快

    LINUX与UNIX SHELL编程指南(很全)

    7.3 在行尾以$匹配字符串或字符 51 7.4 使用*匹配字符串中的单字符或其重复 序列 51 7.5 使用\屏蔽一个特殊字符的含义 52 7.6 使用[]匹配一个范围或集合 52 7.7 使用\{\}匹配模式结果出现的次数 53 7.8 小结 55 第8...

    linux shell 编程教程

    7.3 在行尾以$匹配字符串或字符 51 7.4 使用*匹配字符串中的单字符或其重复 序列 51 7.5 使用\屏蔽一个特殊字符的含义 52 7.6 使用[]匹配一个范围或集合 52 7.7 使用\{\}匹配模式结果出现的次数 53 7.8 小结 55 第8...

    Linux shell编程指南

    7.3 在行尾以$匹配字符串或字符 51 7.4 使用*匹配字符串中的单字符或其重复 序列 51 7.5 使用\屏蔽一个特殊字符的含义 52 7.6 使用[]匹配一个范围或集合 52 7.7 使用\{\}匹配模式结果出现的次数 53 7.8 小结 55 第8...

    新版Linux Shell编程实训(全)20170518.docx

    5.1.6 字符串运算符 104 5.1.7 文件测试运算符 106 任务5.2 Shell案例:计算器 109 练习(每题25分,共计100分) 111 项目六 Shell命令输出 112 [学习目标] 112 任务6.1 Shell echo命令 113 任务6.2 Shell printf...

    shell浅谈之六字符串和文件处理.docx

    Bash Shell提供了很多字符串和文件处理的命令。如awk、expr、grep、sed等命令,还有文件的排序、合并和分割等一系列的操作命令。grep、sed和awk内容比较多故单独列出,本文只涉及字符串的处理和部分文本处理命令。

    Linux与unix shell编程指南

    7.3 在行尾以$匹配字符串或字符 51 7.4 使用*匹配字符串中的单字符或其重复 序列 51 7.5 使用\屏蔽一个特殊字符的含义 52 7.6 使用[]匹配一个范围或集合 52 7.7 使用\{\}匹配模式结果出现的次数 53 7.8 小结 55 第8...

    bash过滤字符串的命令介绍

    该文档介绍了shell编程中对字符串处理的一些基本命令, 如sed, cut, awk等等

    绝版经典《Linux与UNIX Shell编程指南》

    7.3 在行尾以$匹配字符串或字符 51 7.4 使用*匹配字符串中的单字符或其重复 序列 51 7.5 使用\屏蔽一个特殊字符的含义 52 7.6 使用[]匹配一个范围或集合 52 7.7 使用\{\}匹配模式结果出现的次数 53 7.8 小结 55 第8...

    一天一个shell命令 linux文本内容操作系列-sed命令详解

    1.替换文件中的字符串 $sed -i ‘s/text/replace/g’ file #如果不加g结尾,则替换每一行的第一个 #如果只是打印,去掉-i 2.忽略前N处匹配,从N+1出开始替换 $sed -i ‘s/text/replace/2g’ file #在g前面加入数字N ...

    shell 语言 语法总结

    表格 B-1.... 字符串操作 表格 B-6. 一些结构的汇总 表格 C-1. 基本sed操作 .. 表格 C-2. sed操作符举例 . C.2. Awk .. 表格 D-1. "保留的"退出码 Appendix E. I/O和I/O 重定向的详细介绍 Shell调试 ...

    LINUX与UNIX SHELL编程指南 高清PDF

    7.3 在行尾以$匹配字符串或字符 51 7.4 使用*匹配字符串中的单字符或其重复 序列 51 7.5 使用\屏蔽一个特殊字符的含义 52 7.6 使用[]匹配一个范围或集合 52 7.7 使用\{\}匹配模式结果出现的次数 53 7.8 小结 55 第8...

Global site tag (gtag.js) - Google Analytics