gsed 없는 mac같은 환경에서 파일 내의 trailing space 지우기
find . -name "*.yml" -exec sed -i '' -E 's/[ '$'\t'']+$//' {} \;[태그:] bash
[Linux][bash] git branch를 prompt에 넣기
~/.bashrc 에 다음을 추가.
parse_git_branch() {
git branch 2> /dev/null | sed -e '/^[^*]/d' -e 's/* \(.*\)/ (\1)/'
}
export PS1="\u@\h \[\033[32m\]\w\[\033[33m\]\$(parse_git_branch)\[\033[00m\] $ "
# PS1="${debian_chroot:+($debian_chroot)}\[\033[01;32m\]\u@\h\[\033[00m\]:\[\033[01;34m\]\w\[\033[33m\]\$(parse_git_branch)\[\033[00m\]$ "[Docker] docker commands
실행 중인 docker process (machine) 보기
docker ps실행 중 + 실행 중이 아닌 docker process 보기
docker ps -adocker 이미지 보기
docker imagesdocker process 삭제
docker rm -rf [container name]docker 이미지 삭제
docker rmi [image name]docker 이미지 가져오기
docker pull [image name]docker process 시작
docker start [container name]docker process 중지
docker stop [container name]실행 중인 모든 컨테이너 강제 종료
docker kill $(docker ps -q -f status=running)실행 중인 모든 컨테이너 중지
docker stop $(docker ps -q -f status=running)종료된 모든 컨테이너 삭제
docker rm $(docker ps -q -f status=exited)시스템 상의 모든 이미지 삭제
docker image rm -f $(docker image ls -q)docker 로그 보기
docker logs [container name]docker network 삭제
docker network prune -falias해서 간편히 사용하기
alias dockerkill='docker kill $(docker ps -q -f status=running)'
alias dockerstop='docker stop $(docker ps -q -f status=running)'
alias dockerrm='docker rm $(docker ps -q -f status=exited)'
alias dockerimgrm='docker image rm -f $(docker image ls -q)'
alias dockernetprune='docker network prune -f'docker cli 실행
$ docker exec -it cli /bin/bash[Git][Windows] Git bash의 시작 디렉토리 바꾸기
Git Bash에서 속성을 누른다.
“바로 가기” 탭의 “시작 위치(S):”를 보면 “%HOMEDRIVE%%HOMEPATH%”로 되어 있을텐데, 이를 시작하고자 하는 위치로 바꾼다.
그 위의 “대상(T):” 을 보면 마지막에 git-bash.exe의 뒤에 “–cd-to-home” 이 붙어 있을텐데 이를 지운다.
[Linux] mysql 복구 script
mysql이 자꾸 죽으면서 워드프레스가 DB연결을 못하고 자꾸 에러를 띄운다.
InnoDB memory pool size가 기본으로 128M로 되어 있는데, 이걸 할당을 못하고 죽는 것 같다.
64M로 줄이자.
# vi /etc/mysql/conf.d/innodb.cnf [mysqld] innodb_buffer_pool_size = 64M
죽으면 사실 그냥 service mysql restart 해주면 되는데, 요거도 귀찮으니까 돌려서 죽으면 실행하게 스크립트를 만들자
# vi mysqlmon.sh
#!/bin/bash
linecount=`ps -aux | grep /usr/sbin/mysqld | wc -l`
if [ "$linecount" = "2" ]; then
echo "`date`: Working well" >> /var/log/mysqlmon/mysqlmon.log;
else
echo "`date`: Trying to recover..." >> /var/log/mysqlmon/mysqlmon.err;
service mysql restart;
echo "`date`: Done" >> //var/log/mysqlmon/mysqlmon.err;
fi
crontab에 등록하자
# crontab -e */5 * * * * /root/mysqlmon.sh
log파일을 관리하도록 [Linux] logrotate 설정 글의 예제처럼 logrotate를 설정하자.
[Python] BeautifulSoup/requests 모듈, shell script로 네이버 금시세 기록하기
금 시세 기록을 위해 만든 python 스크립트
1. BeautifulSoup을 설치하자.
$ sudo apt-get install python-bs4
2. 네이버 금시세를 얻어와서 출력하자. Text file로 만들거니까..
# gold.py
import requests
from bs4 import BeautifulSoup
page = 1
while (1):
reqstr = 'http://info.finance.naver.com/marketindex/goldDailyQuote.nhn?page=' + str(page)
req = requests.get(reqstr)
html = req.text
soup = BeautifulSoup(html, 'html.parser')
my_date = soup.select(
'body > div > table > tbody > tr > td:nth-of-type(1)'
)
my_values = soup.select(
'body > div > table > tbody > tr > td:nth-of-type(2)'
)
if (len(my_values) <= 0):
break
row = 0
for title in my_values:
print(my_date[row].text + '\t' + title.text)
row = row + 1
page = page + 1
3. 매일 실행시키려면, crontab 등록을 위해 shell script를 하나 만들자
#/bin/sh python /home/dasomoli/src/gold.py > /mnt/NAS/Data/Gold/`date +%F`.txt
4. crontab에 등록하자
$ crontab -e
0 1 * * * /home/dasomoli/src/record_gold.sh
DB만들어서 기록하면, 한번 요청으로 끝나겠지만 귀찮고, 육아로 시간이 없으므로 오늘은 여기까지!
[Bash] Redirection을 통한 빌드 로깅
가끔 컴파일할 때 Warning/Error를 같이 파일에 담고 싶을 때가 있는데 stderr을 stdout으로 Redirection 한 후 tee 를 사용한다
$ make ARCH=arm CROSS_COMPILE=어쩌고 -j8 2>&1 | tee build.log
Warning/Error 만 따로 파일에 넣고 싶을 때는 그냥 파일로 저장한다
$ make ARCH=arm CROSS_COMPILE=어쩌고 -j8 2> warnings.log
[Bash] cd ../../../../.. 을 치기 귀찮을 때 유용한 스크립트
상위 디렉토리로 움직일 때 ../ 을 반복해서 치기 귀찮을 때가 많은데 이럴 때 쓸 수 있도록 하나 짜서 만들어 두면 편하다.
~/bin/backdir.sh
#!/bin/bash
if [ "$1" = "" ]; then
COUNT=4;
else
COUNT=$1;
fi
for ((i = 0; i < COUNT; i++))
do
cd ..;
done~/.profile
alias b=". ~/bin/backdir.sh"사용?
$ bor
$ b 5[Linux] Shell script 에서 문자열 다루기
참고에 매우 자세히 잘 정리되어 있다. 감사.
문자열 길이 구하기
${#string}
문자열 추출
${string:position}
${string:position:length}
문자열 조각 삭제
${string#substring}
string의 앞에서부터 가장 짧게 일치하는 substring 제거
${string##substring}
string의 앞에서부터 가장 길게 일치하는 substring 제거
${string%substring}
string의 뒤에서부터 가장 짧게 일치하는 substring 제거
${string%%substring}
string의 뒤에서부터 가장 길게 일치하는 substring 제거
Shell script 에서 자주 쓰는 명령들
처음 시작은
#!/bin/sh
Perl 처음 시작은
#!/usr/bin/perl -w
argument는 $0 $1 $2 …
argument 처리는 아래 형식.
for ARGUMENT in “$@”; do
case $ARGUMENT in
–commit)
COMMIT=$2;
;;
–uploader)
UPLOADER=$2;
;;
–branch)
BRANCH=$2;
;;
–patchset)
PATCHSET_ID=$2;
;;
–change-url)
CHANGE_URL=$2;
CHANGE_NO=`basename $CHANGE_URL`;
;;
esac
shift;
done
Perl에서 Argument 처리는
$ARGV[0], $ARGV[1], $ARGV[2]… $#ARGV 는 argument 개수
공백으로 나눠진 파라미터 프린트
gawk ‘{print $1}’
/로 나눠진 마지막 파라미터 프린트. cut 도 사용가능
gawk -F / ‘{print $NF}’
파일명 얻기는
basename 경로명
디렉토리명 얻기는
dirname 경로명
절대경로 얻을 때는
readlink -e 상대경로
특정 문자열 치환은
sed -e “s/문자열/문자열/g”
if는 이런 형식. 비교식은 http://www.gnu.org/s/bash/manual/bash.html#Bash-Conditional-Expressions 참고
if [ “$변수” = “” ]; then
명령;
elif
명령;
else
명령;
fi
for each 는 이런 형식
for 변수 in $가져올변수
do
echo “$변수”
done
case는 위의 argument 처리 참고.
명령의 결과 저장은 `명령`
변수의 값으로 치환한 문자열은 “$변수 포함 문자열”
그냥 그대로 문자열은 ‘문자열’
끝에만 자를 땐
tail -n 숫자
앞에만 자를 땐
head -n 숫자
문자열 있는 줄만 얻고 싶을 땐
grep “문자열”
정규식으로 찾은 문자열 포함된 줄만 얻고 싶을 땐
grep -P “^문자열[0-9a-zA-Z-_/]*$”
basic http 인증은 https://wiki.jenkins-ci.org/display/JENKINS/Authenticating+scripted+clients 참고
html 얻어올 때는
curl “주소”