예전에 uml 툴 소개 글을 쓴 적이 있는데, 온라인 UML 툴인 websequencediagrams을 써보고 Sequence diagram만은 websequencediagrams이 최고이고 그 이유는 마크다운스러운 접근법과 직관적인 사용법이 그 이유라고 했다. 그런데 오늘 plantuml을 사용해 보고 이게 제일 좋은 툴이라 생각했다. 왜냐하면 websequencediagrams인데 다운로드해서 로컬에서 사용가능하고, intelliJ에 plugin으로 사용가능하고, sequence diagram만이 아니라 자주 사용되는 다이어그램을 대부분 지원하고 있기 때문이다.
단점이라면 component의 위치지정(placement)이 맘대로 안된다는 것이다. 그냥 text 순으로 배치하면 좋겠는데 뒤죽박죽이 되게 배치해 버린다. (특히 유즈케이스 다이어그램) 그러함에도 그 장점이 너무 뛰어나기에 당분간 이 툴만 사용할 것 같다.
plantuml 설치는 homebrew를 이용해 하면 되고, intelliJ 플러그인은 설치하면 에러가 뜨는데 모두 구글링을 하면 쉽게 해결되는 것들이라서 지겨운 설명은 생략한다.
Lambda를 이용한 디자인 패턴을 소개한 내가 좋아하는 Venka Subramaniam 교수의 강의가 있어 그 내용을 간략히 코드 중심으로 정리한다.
조건에 맞는 데이터만 처리하도록 하는 것인데 그 조건을 외부에서 제공할 수 있도록 한 것이다.
import java.util.Arrays;
import java.util.List;
import java.util.function.Predicate;
public class LightStrategyPattern {
public static int totalValues(List<Integer> values, Predicate<Integer> predicate) {
return values.stream()
.filter(predicate)
.mapToInt(o -> o)
.sum();
}
public static void main(String[] args) {
int sum = totalValues(Arrays.asList(1, 2, 3, 4, 5, 6), o -> o % 2 == 0);
System.out.println(sum);
}
}
복수의 operation을 입력으로 받아서 하나의 입력 데이터에 적용하는 것이다. 입력 operation이 없는 경우 default operation을 하는 것도 가능하다. 이 경우 아래 Function.identity() 대신 default Function을 호출하면 된다.
import java.awt.*;
import java.util.function.Function;
import java.util.stream.Stream;
class Camera {
private Function<Color, Color> filter;
public Camera(Function<Color, Color>... filters) {
setFilters(filters);
}
public void setFilters(Function<Color, Color>... filters) {
filter = Stream.of(filters)
.reduce(Function.identity(), Function::andThen);
}
public Color snap(Color input) {
return filter.apply(input);
}
}
public class DecoratorPattern {
public static void main(String[] args) {
printSnap(new Camera());
printSnap(new Camera(Color::brighter));
printSnap(new Camera(Color::darker));
printSnap(new Camera(Color::brighter, Color::darker));
}
public static void printSnap(Camera camera) {
System.out.println(camera.snap(new Color(125, 125, 125)));
}
}
리소스 획득/해제와 사용을 분리하며 순서에 상관없는 연속적인 operation을 처리하고 확실히 맺기 위한 패턴이다. 예를 들어 아래 send()도 from(), to()와 유사한 방식으로 정의되어 있다면, send()를 호출한 뒤에도 from()을 호출할 수 있는 것인지, 어떻게 이를 막을 것인지 고민해야 할 것이다. 그런데 Cascade 패턴, 또는 builder 패턴을 사용하면 send()이후에는 Resource가 해제되고 호출할 방법이 없기 때문에 안전하다. 이것은 다음에 다룰 Loan 패턴과 유사하다.
import java.util.function.Consumer;
class Mailer {
public Mailer from(String source) {
System.out.println(source);
return this;
}
public Mailer to(String destination) {
System.out.println(destination);
return this;
}
public Mailer subject(String subject) {
System.out.println(subject);
return this;
}
public Mailer body(String body) {
System.out.println(body);
return this;
}
public static void send(Consumer<Mailer> block) {
Mailer mailer = new Mailer();
block.accept(mailer);
System.out.println("Sending...");
}
}
public class BuilderOrCascadePattern {
public static void main(String[] args) {
Mailer.send(mailer ->
mailer.from("aaa@example.com")
.to("bbb@example.com")
.subject("Your code sucks")
.body("...here you go...")
);
}
}
리소스의 사용과 획득/해제를 완전히 분리하는 패턴이다. 사용은 Consumer 인터페이스를 통해 외부에서 정의하고 리소스 획득/해제는 메소드 내부에서 담당하여 사용하는 관점에서 리소스에 대해 신경쓰지 않아도 되도록 한 것이다. 리소스를 획득/해제하는 것을 반복적인 호출로 처리하면 실수할 수도 있고, 번거롭기도 한 경우 사용할만 한다.
import java.util.function.Consumer;
class Resource {
public Resource() {
}
public Resource policy1() {
System.out.println("policy 1");
return this;
}
public Resource policy2() {
System.out.println("policy 2");
return this;
}
public void close() {
System.out.println("Resource is returned");
}
public static void use(Consumer<Resource> block) {
Resource resource = new Resource();
try {
block.accept(resource);
} finally {
resource.close();
}
}
}
public class LoanPattern {
public static void main(String[] args) {
Resource.use(resource ->
resource.policy1()
.policy2());
}
}
로그를 분석시 유용한 명령 조합을 살펴보자.
ls -al | sort -k 5 -nr | head -1 | cut -d " " -f 10 | xargs zmore
ls -al | sort -k 5 -nr | head -1 | cut -d " " -f 10 | xargs zgrep getConnection | wc -l
less AAA.txt | awk '{$NF="";sub(/[ \t]+$/,"")}1' > BBB.txt
BBB.txt: BBB.txt로 저장
한 폴더 안에 여러 gz파일이 있고, 각 gz파일안에 ERROR, WARN, INFO 등으로 마킹된 로그가 연속으로 나타나는데 에러의 경우 ‘Caused by. 에러 종류: 아이디’의 형태로 출력된다고 가정하자. 에러 종류별로 빈번한 것부터 빈번하지 않은 것까지를 정렬하고자 한다. 이를 위해서는 아이디를 제거하고 중복인 것의 갯수를 카운트해서 횟수 역순으로 정렬하자. 그리고 에러가 표시된 줄에 ‘batch’라는 단어가 들어가 있는 것은 무시해야 한다고 가정하자.
zgrep "Caused" *gz | grep -v batch | sed -e $'s/\|/\\\n/g' | awk '{$NF="";sub(/[ \t]+$/,"")}1' | sort | uniq -c | sort -nr > errors.txt
| sed -e $’s/|/\\n/g’ : 줄안에 | 표시가 있으면 줄바꿈 |
errors.txt : 결과를 파일에 저장
로그를 분석하다보면 크기나 갯수 순으로 정렬해야 하는 경우가 많다. 이때 사용되는 sort 명령을 알아보자.
예제는 특정 폴더의 목록으로 하자.
Hochului-MacBook-Pro:Applications hochulshin$ ls -al
total 16
drwx------ 8 hochulshin staff 272 Dec 30 23:53 .
drwxr-xr-x+ 68 hochulshin staff 2312 Dec 30 23:53 ..
-rw-r--r--@ 1 hochulshin staff 6148 Aug 11 2015 .DS_Store
-rw-r-----@ 1 hochulshin staff 0 Aug 6 2015 .localized
drwx------@ 6 hochulshin staff 204 Dec 15 22:41 Chrome Apps.localized
drwxr-xr-x 3 hochulshin staff 102 Dec 6 21:45 SourceTree.app
drwxr-xr-x 3 hochulshin staff 102 Mar 19 2016 Ubuntu Linux 14.04 Desktop Applications.app
drwxr-xr-x 3 hochulshin staff 102 Jul 30 19:33 Ubuntu Linux Applications.app
sort는 기본적으로 줄의 맨 앞 글자를 알파벳 순으로 오름 정렬한다. 아래와 같이 특수 문자가 알파벳보다 우선되어 정렬됨을 알 수 있다.
Hochului-MacBook-Pro:Applications hochulshin$ ls -al | sort
-rw-r-----@ 1 hochulshin staff 0 Aug 6 2015 .localized
-rw-r--r--@ 1 hochulshin staff 6148 Aug 11 2015 .DS_Store
drwx------ 8 hochulshin staff 272 Dec 30 23:53 .
drwx------@ 6 hochulshin staff 204 Dec 15 22:41 Chrome Apps.localized
drwxr-xr-x 3 hochulshin staff 102 Dec 6 21:45 SourceTree.app
drwxr-xr-x 3 hochulshin staff 102 Jul 30 19:33 Ubuntu Linux Applications.app
drwxr-xr-x 3 hochulshin staff 102 Mar 19 2016 Ubuntu Linux 14.04 Desktop Applications.app
drwxr-xr-x+ 68 hochulshin staff 2312 Dec 30 23:53 ..
total 16
-r은 내림차순 정렬이다.
Hochului-MacBook-Pro:Applications hochulshin$ ls -al | sort -r
total 16
drwxr-xr-x+ 68 hochulshin staff 2312 Dec 30 23:53 ..
drwxr-xr-x 3 hochulshin staff 102 Mar 19 2016 Ubuntu Linux 14.04 Desktop Applications.app
drwxr-xr-x 3 hochulshin staff 102 Jul 30 19:33 Ubuntu Linux Applications.app
drwxr-xr-x 3 hochulshin staff 102 Dec 6 21:45 SourceTree.app
drwx------@ 6 hochulshin staff 204 Dec 15 22:41 Chrome Apps.localized
drwx------ 8 hochulshin staff 272 Dec 30 23:53 .
-rw-r--r--@ 1 hochulshin staff 6148 Aug 11 2015 .DS_Store
-rw-r-----@ 1 hochulshin staff 0 Aug 6 2015 .localized
-k는 줄의 맨 앞 문자가 아닌 공백을 기준으로 n번째 문자를 기준으로 정렬하는 것이다.
예제에서 9번째가 파일 이름이므로 파일이름으로 오름차순으로 정렬하려면 -k9옵션을 주면 된다.
Hochului-MacBook-Pro:Applications hochulshin$ ls -al | sort -k9
total 16
drwx------ 8 hochulshin staff 272 Dec 30 23:53 .
drwxr-xr-x+ 68 hochulshin staff 2312 Dec 30 23:53 ..
-rw-r--r--@ 1 hochulshin staff 6148 Aug 11 2015 .DS_Store
-rw-r-----@ 1 hochulshin staff 0 Aug 6 2015 .localized
drwx------@ 6 hochulshin staff 204 Dec 15 22:41 Chrome Apps.localized
drwxr-xr-x 3 hochulshin staff 102 Dec 6 21:45 SourceTree.app
drwxr-xr-x 3 hochulshin staff 102 Mar 19 2016 Ubuntu Linux 14.04 Desktop Applications.app
drwxr-xr-x 3 hochulshin staff 102 Jul 30 19:33 Ubuntu Linux Applications.app
-g은 알파벳 순이 아닌 숫자 크기 순으로 정렬하는 것이다. -k와 결합하여 적용해서 크기순으로 정렬해보자.
Hochului-MacBook-Pro:Applications hochulshin$ ls -al | sort -k5 -g
total 16
-rw-r-----@ 1 hochulshin staff 0 Aug 6 2015 .localized
drwxr-xr-x 3 hochulshin staff 102 Dec 6 21:45 SourceTree.app
drwxr-xr-x 3 hochulshin staff 102 Jul 30 19:33 Ubuntu Linux Applications.app
drwxr-xr-x 3 hochulshin staff 102 Mar 19 2016 Ubuntu Linux 14.04 Desktop Applications.app
drwx------@ 6 hochulshin staff 204 Dec 15 22:41 Chrome Apps.localized
drwx------ 8 hochulshin staff 272 Dec 30 23:53 .
drwxr-xr-x+ 68 hochulshin staff 2312 Dec 30 23:53 ..
-rw-r--r--@ 1 hochulshin staff 6148 Aug 11 2015 .DS_Store
비교하는 값이 동일할 경우 제거하는 옵션이다.
Hochului-MacBook-Pro:Applications hochulshin$ ls -al | sort -k5 -g -u
total 16
-rw-r-----@ 1 hochulshin staff 0 Aug 6 2015 .localized
drwxr-xr-x 3 hochulshin staff 102 Dec 6 21:45 SourceTree.app
drwx------@ 6 hochulshin staff 204 Dec 15 22:41 Chrome Apps.localized
drwx------ 8 hochulshin staff 272 Dec 30 23:53 .
drwxr-xr-x+ 68 hochulshin staff 2312 Dec 30 23:53 ..
-rw-r--r--@ 1 hochulshin staff 6148 Aug 11 2015 .DS_Store
이제 위에서 다룬 모든 옵션을 사용하여 크기 역순으로 중복을 제거하면서 파일을 정렬해보자.
Hochului-MacBook-Pro:Applications hochulshin$ ls -al | sort -k5 -g -u -r
-rw-r--r--@ 1 hochulshin staff 6148 Aug 11 2015 .DS_Store
drwxr-xr-x+ 68 hochulshin staff 2312 Dec 30 23:53 ..
drwx------ 8 hochulshin staff 272 Dec 30 23:53 .
drwx------@ 6 hochulshin staff 204 Dec 15 22:41 Chrome Apps.localized
drwxr-xr-x 3 hochulshin staff 102 Dec 6 21:45 SourceTree.app
-rw-r-----@ 1 hochulshin staff 0 Aug 6 2015 .localized
total 16
로그를 분석하다보면 call stack이 한 줄에 쭉 나와있는 경우가 있다. 이를 보기 편하게 만들기 위해서는 call stack의 API call 사이의 |를 줄바꿈 문자로 변경해야 한다. 이를 포함해 빠르게 문자열을 바꾸는 방법을 알아보자.
예제로할 파일 aaa.txt의 내용이 다음과 같다고 가정하자.
Hochului-MacBook-Pro:~ hochulshin$ cat sample.txt
1234|5678|90123
ABCD|EFG
abcd|efg
sed는 다른 리눅스 명령과 결합하여 문자열을 빠르게 변경할 수 있는 도구이다.
기본 명령은 다음과 같다.
Hochului-MacBook-Pro:~ hochulshin$ cat sample.txt | sed -e 's/ABCD/XXX/g'
1234|5678|90123
XXX|EFG
abcd|efg
패턴은 regex를 이용해서도 가능하다.
Hochului-MacBook-Pro:~ hochulshin$ cat sample.txt | sed -e 's/[Aa]..[Dd]/XXX/g'
1234|5678|90123
XXX|EFG
XXX|efg
sed의 적용 범위를 줄 번호로 지정할 수 있다. 1번째 줄과 두번째 줄만 적용하는 경우 다음과 같이 할 수 있다.
Hochului-MacBook-Pro:~ hochulshin$ cat sample.txt | sed -e '1,2 s/[Aa]..[Dd]/XXX/g'
1234|5678|90123
XXX|EFG
abcd|efg
sed에서 ‘'와 같은 문자를 처리하기 위해서는 다음과 같이 $를 넣어야 한다.
참고로 줄바꿈은 ‘\\n’이다.
Hochului-MacBook-Pro:~ hochulshin$ cat sample.txt | sed -e $'s/|/\\\n/g'
1234
5678
90123
ABCD
EFG
abcd
efg
grep 기능을 이용해 로그 분석 중 불필요한 줄을 제거하는 것은 아주 자주 사용하는 명령이다. 이를 좀 더 알아보자.
예제로할 .bash_profile의 내용이 다음과 같다고 가정하자.
Hochului-MacBook-Pro:~ hochulshin$ cat .bash_profile
export ANDROID_HOME=/usr/local/opt/android-sdk
export PATH="/usr/local/Cellar/node/6.3.1/bin:$PATH"
[[ -s "$HOME/.rvm/scripts/rvm" ]] && source "$HOME/.rvm/scripts/rvm" # Load RVM into a shell session *as a function*
# Setting PATH for Python 3.5
# The orginal version is saved in .bash_profile.pysave
PATH="/Library/Frameworks/Python.framework/Versions/3.5/bin:${PATH}"
export PATH
##
# Your previous /Users/hochulshin/.bash_profile file was backed up as /Users/hochulshin/.bash_profile.macports-saved_2016-07-06_at_21:09:39
##
# MacPorts Installer addition on 2016-07-06_at_21:09:39: adding an appropriate PATH variable for use with MacPorts.
export PATH="/opt/local/bin:/opt/local/sbin:$PATH"
# Finished adapting your PATH environment variable for use with MacPorts.
alias mysql='/usr/local/mysql/bin/mysql'
alias mysqladmin='/usr/local/mysql/bin/mysqladmin'
grep의 -v 옵션은 패턴이 일치하는 경우 그 줄을 표시하지 않는 것이다. -e 옵션은 regex를 사용한다는 것이다. 이를 조합하여 다음과 같은 명령을 실행할 수 있다.
빈 줄을 제거하는 옵션은 다음과 같다.
grep -v -e '^$' 파일명
위의 예제에 적용한 것은 다음과 같다.
Hochului-MacBook-Pro:~ hochulshin$ cat .bash_profile | grep -v -e '^$'
export ANDROID_HOME=/usr/local/opt/android-sdk
export PATH="/usr/local/Cellar/node/6.3.1/bin:$PATH"
[[ -s "$HOME/.rvm/scripts/rvm" ]] && source "$HOME/.rvm/scripts/rvm" # Load RVM into a shell session *as a function*
# Setting PATH for Python 3.5
# The orginal version is saved in .bash_profile.pysave
PATH="/Library/Frameworks/Python.framework/Versions/3.5/bin:${PATH}"
export PATH
##
# Your previous /Users/hochulshin/.bash_profile file was backed up as /Users/hochulshin/.bash_profile.macports-saved_2016-07-06_at_21:09:39
##
# MacPorts Installer addition on 2016-07-06_at_21:09:39: adding an appropriate PATH variable for use with MacPorts.
export PATH="/opt/local/bin:/opt/local/sbin:$PATH"
# Finished adapting your PATH environment variable for use with MacPorts.
alias mysql='/usr/local/mysql/bin/mysql'
alias mysqladmin='/usr/local/mysql/bin/mysqladmin'
위에서 공백 줄이 있는 것은 스페이스로만 구성된 줄이 있다는 것이다.
위의 예제의 스페이스로만 구성된 줄도 함께 제거하자.
grep -v -e '^\s*$' 파일명
공백이 0번이상 반복되어 있는 것도 제거한다는 것이다.
위의 예제에 적용한 것은 다음과 같다.
Hochului-MacBook-Pro:~ hochulshin$ cat .bash_profile | grep -v -e '^\s*$'
export ANDROID_HOME=/usr/local/opt/android-sdk
export PATH="/usr/local/Cellar/node/6.3.1/bin:$PATH"
[[ -s "$HOME/.rvm/scripts/rvm" ]] && source "$HOME/.rvm/scripts/rvm" # Load RVM into a shell session *as a function*
# Setting PATH for Python 3.5
# The orginal version is saved in .bash_profile.pysave
PATH="/Library/Frameworks/Python.framework/Versions/3.5/bin:${PATH}"
export PATH
##
# Your previous /Users/hochulshin/.bash_profile file was backed up as /Users/hochulshin/.bash_profile.macports-saved_2016-07-06_at_21:09:39
##
# MacPorts Installer addition on 2016-07-06_at_21:09:39: adding an appropriate PATH variable for use with MacPorts.
export PATH="/opt/local/bin:/opt/local/sbin:$PATH"
# Finished adapting your PATH environment variable for use with MacPorts.
alias mysql='/usr/local/mysql/bin/mysql'
alias mysqladmin='/usr/local/mysql/bin/mysqladmin'
패턴이 #이라고 한다면 아래와 같이하면 #으로 시작하는 줄이 제거된다.
grep -v -e '^#' 파일명
위의 예제에 적용한 것은 다음과 같다.
Hochului-MacBook-Pro:~ hochulshin$ cat .bash_profile | grep -v -e '^#'
export ANDROID_HOME=/usr/local/opt/android-sdk
export PATH="/usr/local/Cellar/node/6.3.1/bin:$PATH"
[[ -s "$HOME/.rvm/scripts/rvm" ]] && source "$HOME/.rvm/scripts/rvm" # Load RVM into a shell session *as a function*
PATH="/Library/Frameworks/Python.framework/Versions/3.5/bin:${PATH}"
export PATH
export PATH="/opt/local/bin:/opt/local/sbin:$PATH"
alias mysql='/usr/local/mysql/bin/mysql'
alias mysqladmin='/usr/local/mysql/bin/mysqladmin'
이건 쉽다. 위의 두개를 스트림으로 연결하는 것이다.
위의 예제에 적용한 것은 다음과 같다.
Hochului-MacBook-Pro:~ hochulshin$ cat .bash_profile | grep -v -e '^\s*$' | grep -v -e '^#'
export ANDROID_HOME=/usr/local/opt/android-sdk
export PATH="/usr/local/Cellar/node/6.3.1/bin:$PATH"
[[ -s "$HOME/.rvm/scripts/rvm" ]] && source "$HOME/.rvm/scripts/rvm" # Load RVM into a shell session *as a function*
PATH="/Library/Frameworks/Python.framework/Versions/3.5/bin:${PATH}"
export PATH
export PATH="/opt/local/bin:/opt/local/sbin:$PATH"
alias mysql='/usr/local/mysql/bin/mysql'
alias mysqladmin='/usr/local/mysql/bin/mysqladmin'