2019년 11월 20일 수요일

오늘부터 Amazon Web Service(AWS)를 이용하기 시작하다

시작이 많이 늦었다. 가장 늦었다고 생각할 때가 가장 빠른 때라는 말도 있지만, 그건 뒤쳐진 사람을 위로하기 위해 쓰는 수사(修辭)에 불과한 것이 아닐까?

출처 링크

물리적인 서버를 더 이상 두지 않는 것, 이것이 내가 꿈꾸는 가까운 미래이다. 업무용 PC까지 완전히 없앨 수는 없겠지만 복잡한 계산을 수행하거나 데이터 파일을 안정적으로 보관·공유하는 데에는 클라우드 서비스 이상 가는 것이 없을 것이다. 가장 기본적인 서비스만 이용할 수 있는 계정으로 가입하여 프리 티어 내에서 할 수 있는 것들을 테스트하기 시작하였다.

자습서를 이용하여 EC2 서비스에서 공개된 AMI(Amazon Machine Image)의 인스턴스를 생성하고 명령행에서 SSH 접속을 해 보았다. 다음으로는 DocMind Analytics에서 준비한 AMI를 이용하는 것을 따라서 해 보는 중이다. 후자에서는 원격 데스크톱 연결을 해야 되는데 아직 개념이 부족하여 어려움이 많다. 돌이켜보니 보니 바로 옆 책상 위에 설치된 리눅스 서버를 연결하면서 원격 데스크톱 접속을 할 생각을 전혀 하질 않았었다. Xmanager로 서버와 연결하는 것을 너무나 당연하게 여겼었는데, 사실 PC와 서버 간에 파일 전송이 필요한 업무를 하는 것이 아니라면 원격 데스크톱 연결이 더욱 탁월한 작업 환경 아니겠는가?

DocMind Analytics의 AMI. 원격 데스크톱 연결을 위해 3389번 포트를 추가로 열어야 한다. 이는 '6. 보안 그룹 구성'에서 추가하면 된다.

구독 경제(subscription economy)의 시대가 되었다. 필요한 자원을 필요한 때에 필요한 만큼만 빌려서 사용하고 그에 상응하는 비용만 지불하면 되는 것이다. 관리에 따르는 책임을 질 필요가 없어지고 말았다. 이제는 컴퓨터가 마치 '배민 라이더스'와 같은 존재처럼 여겨진다. 이것이 미래의 올바른 방향인지는 아직 잘 모르겠다.

AWS 관리 콘솔에 로그인하여 무엇을 클릭해야 할지 아직은 어리둥절한 마음으로 모니터를 바라보는 내 모습이 어쩌면 패스트푸드 매장의 자동주문기 앞에서 긴장을 하고 서 있는 중년의 모습과 다르지 않다. 세상이 변해가니 살아남으려면 배우고 적응을 해야 하는데 그것이 늘 쉽지는 않다.

mg-GlobOS의 제작도 전혀 계획하지 않고 어찌하다보니 여기까지 흘러오게 된 일인데, 그 과정에서 내가 얼마나 큰 즐거움과 보람을 느꼈던가? AWS 입문도 마찬가지의 경로를 걷게 될 것이라 믿는다.

플라스틱 관악기의 세계

관악기를 하나 배워보겠다고 몇년을 벼르던 아들이 결국 없는 용돈을 모아서 동네 악기점에서 오랫동안 진열만 되어있던 트럼펫을 하나 구입하였다고 알려왔다. 연습을 할 환경이 제대로 갖추어지지 못하였는데 어떻게 소리를 내려는지 걱정이 된다. 며칠 연습을 하더니 이제 음계 소리가 나온다면 소리를 녹음하여 보내주기도 했다.


아들이 관악기류를 조사하면서 보내준 정보에 의하면 일반인에게는 아직 잘 알려져있지 않은 재미난 악기가 많았다. 관악기를 플라스틱으로 만들어서 취미로 악기를 배우려는 초심자들이 부담없이 입문하게 만든 것들이다. 우선 전부터 알고 있었던 야마하의 베노바(Venoba)라는 것이 있다. 모양은 리코더에 가까운데 일반적인 색소폰의 소리를 재현하고 있다. 야마하에서는 이를 캐주얼 관악기라고 부른다.

출처: 야마하 홈페이지

하지만 몇년 전에 아들과 낙원상가를 둘러보다가 접했던 플라스틱 악기는 베노바가 아니었다. 한동안 이름이 생각나지 않아서 도무지 인터넷에서 검색을 할 수가 없었다. 그런데 아들이 알려준 Nuvo Instruments라는 회사의 제품 목록에서 드디어 내가 궁금해하고 있었던 악기를 찾아냈다. 그것은 바로 클라리네오(Clarinéo)였다.

출처: Nuvo Instrument 홈페이지
Nuvo에서 개발한 제품을 보니 정말 기가 막히는 것들이 많았다. jFute, jSax, jHorn 등 웬만한 관악기(특히 금관악기)가 다 있는 것이 아닌가. 원래 어린이에게 쉽게 관악기를 익히게 하기 위해 만들어진 것이지만, 성인이 입문용으로 사용하기에도 손색이 없다.

이런 악기로만 구성된 일본의 오케스트라가 있으니 그 이름하여 Akiba Plastic Orchestra! 아마도 플라스틱 악기를 제조하는 업계의 지원을 받는 것 같다. 유튜브에 올라온 라벨의 볼레로를 들어보자. 튜닝 상태는 약간 불만인데(조정 가능한지는 모르겠다) 그래도 멋진 시도 아닌가? 트럼펫, 트롬본에 이러 튜바까지 플라스틱으로 만들었다니 정말 놀랍니다.


이상에서 소개한 악기는 베노바를 제외하면 기존의 악기를 플라스틱으로 재현한 것이다. 이에 반하여 사푼(Xaphoon)이라는 악기는 하와이에 거주하는 연주자가 대나무를 이용하여 직접 개발한 것이다.

출처 링크

대나무를 가공하여 일일이 만들다보니 공급이 달려서 이를 플라스틱으로 대체한 것은 포켓 색스(pocket sax)라고 한다. Xaphoon store에서 다양한 제품을 만나보자.

내가 가장 좋아하는 음색을 내는 악기는 호른이다. 그러나 내가 이를 배울 수 있을 것이라고는 생각하지 않는다. 오보에와 더불어 가장 연주하기 어려운 관악기라고 하지 않던가. 현실적으로 배울 수 있는 악기 중에서는 클라리넷에 관심이 많다. 색소폰은 중년 남성들이 너무 많이들 달려들어서 왠지 호감이 가지 않는다.

문제는 연습을 할 장소가 마땅치 않다는 것. 이러한 점에서는 아들녀석도 마찬가지이다. 몇 대의 일렉기타와 신세사이저가 내 관심을 기다리면서 집과 사무실에서 먼지를 맞고 있는데, 이 와중에 관악기라니... 좀 더 고민을 해 보자.

2019년 11월 16일 토요일

mg-GlobOS 0.11(1911)의 탄생

이번 월요일에 있었던 미생물 유전체 해독 및 분석 교육에서 사전에 준비했던 자료를 수업 시간에 전부 소화하지 못한 아쉬움을 달래기 위하여 당시에 사용한 환경을 리눅스 가상 머신으로 만들어 그 OVA 파일을 배포하기로 결심을 하였다. 이름은 mg-GlobOS라고 지었다. mg는 microbial genome, Globe는 내가 쓰는 도메인인 GenoGlobe(.com 및 .kr)에서 딴 것이며, OS는 CentOS처럼 Operating System을 의미한다. 첫 공개판의 버전은 0.11 (1911)이다.

공식 웹사이트는 다음의 위치로 정했다.

http://genoglobe.kr/kribb/mg-globos

OVA 파일 및 실습용 데이터는 나의 구글 드라이브에 올려서 전체 공개를 해 놓았다. 일루미나 플랫폼으로 읽은 미생물 유전체의 데이터를 평가, 조립, 매핑, 비교 분석 및 pan-genome analysis 등을 하기 위한 프로그램들을 bioconda 및 기타 방법으로 설치하였고, 전체 과정을 재현할 수 있는 스크립트와 샘플 데이터를 준비해 두었다.

어쩌면 TORMES 파이프라인(PubMed 링크)과 같은 것을 잘 익혀서 교육 및 실무용으로 사용하는 것이 더 효율적일지도 모른다. 그러나 작업 스타일에 따라서 가져다 붙여야 하는 요소 프로그램이 전부 다르므로 한 가지 파이프라인이 꾸준하게 살아남는 일은 드물다. 오히려 특정 기능을 담당하는 'killer app'은 계속 살아남지만 말이다.

mg-GlobOS를 유지하고 개선하는 일 자체가 나에게는 보람있는 일이 될 것이라 믿는다.

아나콘다를 설치해 놓은 다음 필요한 conda package를 하나씩 설치하다보면 dependency 사이에 inconsistency가 있다면서 거의 모든 패키지를 홀라당 뒤집어 엎는 일이 생긴다. mg-GlobOS에서도 첫번째 패키지인 khmer를 설치한 뒤 jellyfish를 설치할 때 뭔가 심상치 않은 일이 있음을 느꼈고, 나중에 다른 패키지를 설치할 때 전체를 뒤집어 엎는 듯한 메시지를 만났었다. 비록 치명적인 에러가 발생하지는 않았지만 왜 이런 일이 벌어지는지 늘 그 원인이 궁금했었다. GitHub의 conda 이슈 목록에 올라온 다음의 글에서 해결 방안이 보이는 듯하다.

After fresh install of 2019.03, second run of conda upgrade --all removes nearly all packages. #8940 (o12joyns의 7월 23일 코멘트를 참고할 것)

Anaconda 설치 직후 conda upgrade --all을 두 차례 실시하면 된다. 쉽게 말해서 설치에 사용한 anaconda distro와 현재의 차이점을 전부 없애주는 일이라고 생각할 수 있다. 일부 패키지가 custom 버전으로 되돌아갔다가 다시 원상복구(혹은 업데이트?)되는 것은 결코 바람직하지는 않지만 현실은 그러하다.

갑자기 upgrade와 update의 차이점이 궁금해지기 시작했다!

2019년 11월 13일 수요일

TORMES 힘겹게 설치하기

경기창조경제혁신센터. 각 지역에 설립된 창조경제혁신센터는 올해로 투자 및 운영계획이 종료되면서 각 대기업들은 앞으로의 운영을 두고 고민에 빠졌다고 한다. 동아일보 2019년 11월 11일 기사 "손떼자" vs "더 투자"... 대기업들 '창조경제혁신센터' 고심.

재직자 재교육 단기과정 유전체 데이터 분석교육(제2차)

지난 월요일(11월 11일), 경기창조경제혁신센터에서 미생물 유전체 분석 이론 강의 및 실습을 마쳤다. 실습 자료를 너무 많이 준비해서 뒷부분의 1/3 정도는 그냥 말로 때운 것 같아 수강생들에게 죄송스런 마음이 앞선다. 이를 보충하는 의미에서 실습을 위해 사용한 스크립트는 전부 다음의 웹문서로 공개를 하였다. 앞으로도 이 문서는 계속 설명을 달고 업데이트를 해 나갈 예정이다.

http://bit.ly/2WNG5XZ

무엇보다 걱정이 앞서는 것은 분석용 프로그램이 잘 설치된 환경이 아니라면 이 스크립트가 별로 소용이 없다는 점이다. bioconda를 이용하여 프로그램을 설치해 나가는 과정을 별도의 위키 문서로 정리해 놓았는데, 과연 이를 재현하는데 어려움이 없을지 모르겠다. 관리자 권한이 없어도 필요한 프로그램을 설치할 수 있도록 애를 썼다.

미생물의 whole genome sequencing(WGS) 결과물을 분석하기 위해 미리 만들어진 pipeline이 있다면, 개별 application을 다운로드하여 설치하지 않아도 되므로 무척 편리할 것이다. 스페인의 연구그룹에서 최근에 발표한 TORMES가 이러한 목적으로 만들어진 것으로 보여서 실제 설치를 해서 사용해 보기로 하였다. 논문을 처음 접한지는 꽤 되었는데 dependency가 많아서(yml 파일을 보라) 성가시다는 생각이 들어 관심을 갖지 않았다가 conda를 통해서 이들이 한번에 설치된다는 것을 알고서 도전해 보기로 했다.

TORMES: an automated pipeline for whole bacterial genome analysis. Bioinformatics 35(21), 2019, 4207-4212 https://doi.org/10.1093/bioinformatics/btz220
https://github.com/nmquijada/tormes
The progress of High Throughput Sequencing (HTS) technologies and the reduction in the sequencing costs are such that Whole Genome Sequencing (WGS) could replace many traditional laboratory assays and procedures. Exploiting the volume of data produced by HTS platforms requires substantial computing skills and this is the main bottleneck in the implementation of WGS as a routine laboratory technique. The way in which the vast amount of results are presented to researchers and clinicians with no specialist knowledge of genome sequencing is also a significant issue. Here we present TORMES, a user-friendly pipeline for WGS analysis of bacteria from any origin generated by HTS on Illumina platforms. TORMES is designed for non-bioinformatician users, and automates the steps required for WGS analysis directly from the raw sequence data: sequence quality filtering, de novo assembly, draft genome ordering against a reference, genome annotation, multi-locus sequence typing (MLST), searching for antibiotic resistance and virulence genes, and pangenome comparisons. Once the analysis is finished, TORMES generates and interactive web-like report that can be opened in any web browser and shared and revised by researchers in a simple manner. TORMES can be run by using very simple commands and represent a quick an easy way to perform WGS analysis.
 WGS = whole genome sequencing인가? NCBI에는 WGS를 whole genome shotgun의 의미로 쓰지만 마지막 S를 sequenicing의 약자로 이해하는 사람이 더 많은 것 같다. 이 파이프라인은 특히 대장균과 살모넬라의 경우 플라스미드 분석, 항생제 내성 점돌연변이(유전자 획득에 의한 항생제 내성 예측은 기본 분석에 포함), 혈청형 및 fimH 타이핑 등의 상세 분석까지 진행해 주는 것이 특징이다.

TORMES란 스페인 Salamanca 시를 관통하여 흐르는 강의 이름인데, University of Salamanca의 개교 800주년(2018년)을 기념하여 이 분석 파이프라인의 이름으로 사용했다 한다. 스페인에서는 가장 오래된 대학이고, 유럽 전체로는 두번째라고 한다. 유럽 최초의 대학은 1088년에 설립된 볼로냐 대학(이탈리아)이다.

TORMES의 설치 과정은 순탄하지 않았다. 2019년에 작성된 내 블로그의 글에서 아마도 가장 많이 다루어진 자체발급 SSL 인증서 문제 때문이었다. 현재 근무 중인 파견기업의 모든 전산망은 SOMANSA라는 국내 보안 업체의 웹프록시 서버 뒤에서 "보호"를 받는다. 그래서 자체 인증서를 통하여 내부적으로 돌아가게 되어 있고, 리눅스 장비를 통해서 https(443번 포트)로 파일을 받으려면 여간 성가신 것이 아니다. git, curl, wget, R 패키지 설치 등 걸리지 않는 곳이 없다. tormes-setup 명령으로 필요한 나머지 dependency와 외부 DB를 받으려면 이것들이 다 동원되니 얼마나 번거롭겠는가. 저 메시지만 보면 머리에서 김이 날 지경이다.

Resolving ccb.jhu.edu... 128.220.233.141
Connecting to ccb.jhu.edu|128.220.233.141|:443... connected.
ERROR: cannot verify ccb.jhu.edu's certificate, issued by ‘CN=Somansa Root CA,O=Somansa,C=KR’:
  Self-signed certificate encountered.

하나씩 해결을 해야지 어쩌겠는가. 먼저 R의 필요 패키지 설치를 하려면, 홈 디렉토리리에 .Renviron 파일을 만들어서 CURL_CA_BUNDLE=.cert/Somansa_ROOT_CA.cer라는 내용을 넣어야 한다. 그리고 tormes-setup 스크립트도 홈 디렉토리에서 실행해야 한다. Somansa_ROOT_CA.cer 파일은 각자 환경에 맞게 따로 만들어야 한다.

다음으로는 CGE_module을 설치하기 위한 git 작동에서 SSL 인증을 건너뛰게 해야 한다. 이는 환경변수를 하나 건드리면 된다(export GIT_SSL_NO_VERIFY=0). 아예 설정 파일을 건드려서 앞으로 git를 실행할 때 항상 SSL 인증을 건너뛰게 할 수도 있다. git와 SSL 인증서 문제를 해결하기 위한 상세한 설명은 정광섭 님의 글 git 에서 https repository 연결시 SSL 인증서 오류 해결법에 잘 나와 있다. CGE_module은 아마도 덴마크 공과대학(DTU) Center for Genomic Epidemiology에서 제공하는 타이핑 도구 및 DB를 의미하는 것으로 여겨진다.

마지막으로 minikaraken DB의 설치 문제를 해결하자. tormes-setup 스크립트를 텍스트 편집기로 열어서 wget 명령어가 있는 곳을 찾은 다음, 라인 끝에 --no-check-certificate 옵션을 추가하였다. 이것은 git에서처럼 설정 파일이나 환경변수를 조작하여 해결할 수 있는 것이 아니다.

이러한 세 가지의 문제를 해결하기 위해서 tormes-setup을 몇 번이나 실행했는지 모른다. 지금은 가장 마지막 단계인 minikraken DB의 다운로드가 진행 중이다(49분 남았다).

점심식사를 하고 자리에 돌아와서 최초의 테스트 실행을 해 보았다. 샘플 데이터는 E. coli RR1(HB101 RecA+)에서 유래한 220x 일루미나 시퀀싱 데이터이다(2 x 101 nt). 실험실 균주라서 항생제 내성 유전자나 virulence factor 예측에서는 별다른 결과가 나오지 않을 것이다.

$ tormes -m samples_metadata.txt -o tormes_out -t 24 -g Escherichia 
Software: /opt/anaconda2/envs/tormes-1.0/bin/abricate found
Software: /opt/anaconda2/envs/tormes-1.0/bin/convert found
Software: /opt/anaconda2/envs/tormes-1.0/bin/fasttree found
Software: /opt/anaconda2/envs/tormes-1.0/bin/kraken found
Software: /opt/anaconda2/envs/tormes-1.0/bin/kraken-report found
Software: /opt/anaconda2/envs/tormes-1.0/bin/megahit found
Software: /opt/anaconda2/envs/tormes-1.0/bin/mlst found
Software: /opt/anaconda2/envs/tormes-1.0/bin/parallel found
Software: /opt/anaconda2/envs/tormes-1.0/bin/prinseq-lite.pl found
Software: /opt/anaconda2/envs/tormes-1.0/bin/prokka found
Software: /opt/anaconda2/envs/tormes-1.0/bin/quast found
Software: /opt/anaconda2/envs/tormes-1.0/bin/roary found
Software: /opt/anaconda2/envs/tormes-1.0/bin/roary2svg.pl found
Software: /opt/anaconda2/envs/tormes-1.0/bin/sickle found
Software: /opt/anaconda2/envs/tormes-1.0/bin/spades.py found
Software: /opt/anaconda2/envs/tormes-1.0/bin/trimmomatic found

ERROR: Software /opt/anaconda2/envs/tormes-1.0/bin/../share/mauve-2.4.0.r4736-0/Mauve.jar not found! Please check if:
  * Software is not installed
  * Software is installed but the path in /opt/anaconda2/envs/tormes-1.0/bin/../files/config_file.txt is incorrect

Mauve.jar 파일의 설치 위치는 mauve-2.4.0.r4736-1 디렉토리인데 /opt/anaconda2/envs/tormes-1.0/bin/../files/config_file.txt 설정 파일에는 mauve-2.4.0.r4736-0으로 표시되어 있다. tormes-1.0.yml에는 그저 mauve=2.4.0.r4736라고만 적혀 있는 상태이다. contig.txt의 해당 라인을 찾아서 0을 1로 고친 뒤 다시 실행을 하니 모든 소프트웨어가 제대로 자리잡고 있음을 확인한 뒤 trimmomatic을 실행하고 있음을 보여주었다.

결과를 살펴 보았다. R markdown으로 생성된 리포트와 각 단계별 서브디렉토리로 구성된 결과물이 있어야 하는데 텅텅 비어있는 상태이다. 왜 그런 것일까? trimmomatic으로 전처리를 한 뒤 quality filtering(prinseq, sickle 또는 trimmomatic 중에서 선택; --filtering 옵션 사용; 기본은 prinseq)을 통과한 read가 전혀 없다는 것이다. tormes 옵션 중에서 --min_len의 기본 크기가 125라서 그런 것 같다. 오늘 사용한 샘플 데이터의 read 길이는 101 bp이기 때문이다.

 --min_len       Minimum length to the reads to survive after filtering (default=125) 

--min_len 75로 맞추어 놓고 다시 시도를 해 보았다. quality filtering이 잘 진행되고 이어서 SPAdes가 진행된다. 결과물은 적절하게 생성되었다. 비교할 다른 샘플이 없이 단일 균주라서 pan genome analysis 등은 생략되었다.

결과 리포트는 tormes_report.Rmd라는 RMarkdown code로 생성된다. 샘플 리포트는 여기에서 볼 수 있다. 다음 명령어를 사용하면 html 파일로 바뀐다. 마크다운 언어 또한 피해갈 수 없는 대세인 것 같다. Rmd를 컴파일하여 html을 만들다니... 아주 오래 전에 LaTeX으로 학위 논문을 컴파일하던 기억이 떠오른다.

Rscript -e 'library(rmarkdown); rmarkdown::render("tormes_report.Rmd", "html_document", encoding="UTF-8")'
나중에 Acinetobacter baumannii의 일루미나 시퀀싱 결과를 몇 개 넣어 돌려볼 생각이다. 오염이 발생한 샘플이 있었는데(결국은 수작업으로 점검하여 k-mer filtering을 했지만) 이를 TORMES는 어떻게 대처하는지 궁금하다.

2019년 11월 12일 화요일

NCBI에 등록된 미생물 유전체 정보를 기준으로 가장 많이 시퀀싱된 종은 무엇일까?

10월 하순에 다운로드한 GenBank의 bacterial genome assembly summary file(링크)을 기준으로 species 단위로 집계를 해 보았다. subspecies는 고려하지 않았다. 이 파일은 매일 업데이트되고 있는데, 오늘 기준으로 무려 477,023 줄이나 된다. 첫 두 줄은 코멘트와 컬럼 설명이므로 등록된 유전체의 수는 477,021 건이란 뜻이 된다.

가장 많이 시퀀싱된 species 상위 100개를 정리하였다. 오른편의 숫자는 등록된 서열 건수이다. 1,000 건이 넘는 species는 28개이다. Pseudomonas sp.처럼 종이 특정되지 않은 것을 제외한다 하여도 대부분 병원성 세균이다. 특히 1위와 2위의 격차가 상당히 크다. 이 집계가 의미가 있으려면 시퀀싱된 것 중에서 complete genome level까지 된 것의 비율(혹은 수)을 산출하는 것도 필요하다.

나는 Salmonalla enterica가 왜 이렇게 중대한 병원성 세균인지에 대한 지식은 별로 갖고 있지 않지만, 최근 출판된 논문 앞부분을 슬쩍 훑어보니 꽤 심각한 녀석임에는 틀림이 없다.

Genomic features of high-priority Salmonella enterica serovars circulating in the food production chain, Brazil, 2000-2016. Scientific Reports volume 9, Article number: 11058 (2019)
Multidrug-resistant (MDR) Salmonella enterica has been deemed a high-priority pathogen by the World Health Organization. Two hundred and sixty-four Salmonella enterica isolates recovered over a 16-year period (2000 to 2016) from the poultry and swine production chains, in Brazil, were investigated by whole-genome sequencing (WGS).
아래 목록에서 11위를 차지하고 있는 Acinetobacter baumanii 데이터 중에는 내가 속한 연구 그룹에서 연세대학교 의과대학과 같이 작업을 했던 99건의 시퀀싱 결과물도 포함되어 있을 것이다. 등록한 데이터의 규모가 문제가 아니라 좋은 연구 논문이 나와 주어야 하는데.. 그게 걱정이다.

Salmonella enterica 170291
Campylobacter jejuni 28931
Listeria monocytogenes 23428
Streptococcus pneumoniae 21530
Escherichia coli 20299
Campylobacter coli 11687
Staphylococcus aureus 10907
Klebsiella pneumoniae 8642
Mycobacterium tuberculosis 6680
Pseudomonas aeruginosa 5223
Acinetobacter baumannii 4394
Clostridioides difficile 2824
Pseudomonas sp. 2649
Streptococcus pyogenes 2604
Neisseria meningitidis 1971
Shigella sonnei 1847
Enterococcus faecium 1804
Mycobacteroides abscessus 1724
Burkholderia pseudomallei 1568
Helicobacter pylori 1518
Enterococcus faecalis 1451
Vibrio parahaemolyticus 1346
Streptococcus suis 1303
Vibrio cholerae 1257
Streptococcus agalactiae 1222
Bacillus cereus 1094
Bordetella pertussis 1056
Rhizobiales bacterium 1006
Mesorhizobium sp. 999
Gammaproteobacteria bacterium 925
Streptomyces sp. 874
Legionella pneumophila 824
Enterobacter hormaechei 819
Bacteroidales bacterium 800
Haemophilus influenzae 753
Shigella flexneri 751
Enterobacter cloacae 739
Staphylococcus epidermidis 737
Bifidobacterium longum 709
Neisseria gonorrhoeae 650
Prochlorococcus sp. 643
Chloroflexi bacterium 631
uncultured Clostridiales 578
Actinobacteria bacterium 565
Bacillus thuringiensis 545
Serratia marcescens 538
Clostridiales bacterium 537
Bacillus sp. 529
Alphaproteobacteria bacterium 504
Lachnospiraceae bacterium 484
Deltaproteobacteria bacterium 472
Pseudomonas syringae 469
Lactobacillus plantarum 467
Cronobacter sakazakii 456
Xanthomonas oryzae 448
Stenotrophomonas maltophilia 436
Bacteroidetes bacterium 433
Acidobacteria bacterium 423
Acidimicrobiaceae bacterium 418
Firmicutes bacterium 415
Acinetobacter pittii 414
Yersinia pestis 400
Yersinia enterocolitica 389
candidate division 367
uncultured Collinsella 354
Clostridium sp. 351
Brucella melitensis 343
Verrucomicrobia bacterium 336
Campylobacter upsaliensis 333
Acinetobacter sp. 333
Parcubacteria group 332
Ruminococcaceae bacterium 321
Flavobacteriales bacterium 321
Flavobacteriaceae bacterium 315
Yersinia pseudotuberculosis 311
Bacillus subtilis 311
Leptospira interrogans 310
Campylobacter lari 309
Burkholderia ubonensis 307
Klebsiella oxytoca 301
Burkholderia cenocepacia 301
Bacteroides fragilis 301
Rhizobium leguminosarum 298
Bifidobacterium adolescentis 298
Klebsiella variicola 295
Planctomycetes bacterium 293
Prevotella sp. 276
Klebsiella quasipneumoniae 276
Cutibacterium acnes 274
Alistipes onderdonkii 270
Ruminococcus sp. 267
Streptococcus equi 265
Proteobacteria bacterium 263
Staphylococcus haemolyticus 262
Rhodobacteraceae bacterium 261
Pseudomonas stutzeri 261
Clostridium botulinum 248
Staphylococcus sp. 246
Francisella tularensis 243
Oenococcus oeni 242

2019년 11월 8일 금요일

Canu 버전에 따라서 PacBio 조립 결과물에 꽤 큰 차이가 난다

Long read용 de novo assembler인 canu의 공식 문서 사이트에서는 샘플로 사용할 대장균 25x PacBio fastq 데이터의 링크를 제공한다.

[Canu Quick Start]
http://gembox.cbcb.umd.edu/mhap/raw/ecoli_p6_25x.filtered.fastq (233 MB)

이것을 가지고서 canu로 조립을 하면 하나의 contig가 나온다. 사용한 canu의 버전(canu --version)은 Canu snapshot v1.8 +484 changes이다.

>tig00000001 len=4639164 reads=9483 covStat=4029.14 gappedBases=no class=contig suggestRepeat=no suggestCircular=no

아쉽지만 circular 구조가 아닌 것으로 조립을 마무리하였다. 서열을 자체적으로 검색해 보아도 시작과 끝 부분에 overlap이 생기지 않는다.

그런데 어제 canu를 업데이트(git pull)하여 'Canu snapshot v1.8 +591 changes'로 만든 다음 똑같은 명령어를 실행해 보았다. 그랬더니 콘티그가 두 개가 생겼고, 그중 하나는 circular 형태임을 제시하였다. 길이도 이전 것보다 26 kb가 더 길다.

>tig00000001 len=4665388 reads=10601 class=contig suggestRepeat=no suggestCircular=yes
>tig00000002 len=18453 reads=13 class=contig suggestRepeat=no suggestCircular=no

오늘 다른 서버에서 canu를 업데이트한 뒤 전체 과정을 재현해 보았다. 결과는 같았다. 입력물은 동일한데 canu의 사소한 버전 차이로 인하여 contig를 circularize하느냐 아니면 못하느냐의 운명이 갈리는 것이다. 18 kb의 짧은 contig는 circlator를 통하여 염색체 속으로 병합되었다.

BLAST나 cross_match를 해 보면 두번째 canu에서 만들어진 contig의 앞과 뒤에서 20 kb가 넘는 overlap이 검출된다. 물론 두 영역이 염기서열 수준에서 100% 동일하지는 않다. 서열 검색 프로그램으로 명백한 overlap이 있지만 circlator는 이를 원형으로 만들어주지는 못해서 아쉬움이 남는다.

"악마는 디테일에 있다(The devil is in the detail)." Canu의 사소한 버전 차이가 이런 큰 차이를 만들어 내다니 정말 의외의 발견이었다.

2019년 11월 7일 목요일

'선택지'라는 말이 요즘 무척 많이 쓰인다

선택지(選擇肢)라는 낱말이 요즘 무척 많이 쓰인다. 뉴스 기사나 인터넷에서도 아주 흔하게 볼 수 있는 말이 되었다. 다음은 오늘 구글 검색창에 '선택지'를 넣어서 찾은 주요 뉴스 결과이다.


다음 사전에 의하면, 선택지란 '미리 제시된 여러개의 답 중에서 물음이나 지시에 따라 알맞은 답을 고르도록 하는 설문이나 시험의 형식'이라고 한다. 여기에서 쓰인 지(肢)의 뜻은 팔다리를 의미한다. '사지(四肢)가 뻐근하다'는 것은 네 팔다리가 전부 뻐근하다는 뜻이다.

그러면 학창시절에 숱하게 접했던 사지선다형 시험에서 '지'와 선택지의 '지'는 같은 한자인가? 아니다! 四枝選多型이다. 여기서의 枝는 가지(나뭇가지)를 의미한다.

분명히 선택지라는 낱말은 우리 국어 환경에서는 최근 들어서야 널리 쓰이게 된 것 같다. 나무위키(링크)에 의하면 본래 어원은 일본어이고, 슬램덩크 이전의 한국어에서는 찾아볼 수 없다는 설명이 나온다. 일본에서 유래한 한자어를 수용하는 것에 대해 저항감을 느끼는 것은 한국인으로서는 대단히 자연스러운 것이 현실이다. 그러나 반대로 영단어를 우리말에 그대로 섞어 쓰는 것은 과연 세련되고 고급스러우며 옳은 일인가?

국립국어원의 상담 사례에 의하면 '선택지'는 교육 전문어로서 다음 사전의 정의와 마찬가지로 시험의 형식을 뜻한다. 다음 사전에서 정의한 바와 같다.

[국립국어원 상담 사례 모음] '보기'와 '선택지'의 구분

요즘 '선택지'는 시험의 형식이라는 본래의 뜻보다는 '고를 수 있는 여러 대상'의 뜻으로 더 널리 쓰이게 되는 것 같다. 영단어로 치면 option과 거의 흡사한 의미라고나 할까? 왜냐하면 '여러 선택지들 가운데 고른다'는 표현히 점점 많이 눈에 뜨이기 때문이다.

선택지의 원래 의미에서 지(肢)의 의미를 잘 알기가 어렵다. 이 낱말을 적극적으로 쓰는 것이 우리말의 말글살이를 더욱 풍부하게 하는지는 잘 모르겠다.

원래 단복수의 개념이 명확하지 않았던 우리말에서 어느새부터인가 '~들'이라는 표현이 많이 쓰이고 있다. 그리고 붙여서 써야 하는 조사를 지나치게 띄어서 쓰는 것도 많이 보인다. 예를 들어 오늘 글의 제목을 다음과 같이 쓰는 것 말이다.

선택지 라는 말이 요즘 무척 많이 쓰인다.

심지어 '~입니다'와 한 단어로 굳어진 '~하다'조차도 앞의 말과 띄어쓰는 경우를 많이 보게 된다. 이것은 보기에 심히 불편하다. 바로잡아야 한다고 생각한다.

2019년 11월 3일 일요일

2019년 11월 첫 일요일의 네이버 그린팩토리

지난주에는 날씨가 제법 쌀쌀하여 오래 네이버 그린팩토리에 오래 앉아있지를 못했었다. 그날은 잡지를 읽는 대신 재레드 다이아몬드의 책 <어제까지의 세계>를 가져와서 읽느라 시간을 보냈었다. 오늘은 날씨도 제법 포근하여 편안한 마음으로 서가에서 몇 권의 잡지를 꺼내와서 읽기 시작하였다. 다음은 내가 좋아하는 잡지들이다.

책('Chaeg'), 채널예스. 그리고 르몽드 디플로마티크.
'책' 10월호에서는 에서는 이란에서 활동하는 멀티미디어 작가 마리얌 피루지(Maryam Firuzi. 웹사이트)의 작품을 소개하였다. 테헤란 거리에서 그녀는 책을 꺼내들고 스스로의 사진을 찍는다. 연극적으로 만들어진 작품이지만 이야기가 가득하다. 신디 셔먼을 연상하게 하는 작업이지만 몇 편의 작품에서 풍기는 이미지는 따뜻한 느낌을 풍긴다.




'책'의 <방 안의 코끼리> 코너에서는 요즘 정치·사회 부문 베스트셀러에 오른 김지혜 교수의 <선량한 차별주의자>를 다루었다. 이 책은 최근 경향신문 기사에서 접하면서 알게 되었다. 아직 이 책을 읽어보지는 않았지만, 좀 과하다는 생각이 들기는 했었다. 그러면 나도 차별주의자인가? 2007년 차별금지법이 국회에서 발의되었지만 2013년에 철회가 되었다는 것은 문제이지만.

[커버스토리] "결정장애" 입에 달고 사는 당신도 차별주의자입니다.

외모나 출신, 말투 등으로 차별을 해서는 안된다는 것은 당연하다. 그러나 나의 영화적 상상력을 동원한다면 모든 사람들이 부르카 비슷한 것을 입고 목소리도 자동적으로 기계음으로 변조해 주는 장치를 달고 다니도록 제도적으로 강제하는 사회가 오지 말라는 법도 없지 않은가? 이렇게만 하면 키가 차이나는 것이 그대로 보이니 신발 굽 높이를 달리 하여 전부 비슷한 키가 되게 만들어야 할지도 모르겠다. 마치 스타워즈에 나오는 클론 군단처럼... 누구나 개성이 있고 취향이 있지만 이것이 차별인 행동으로 표출되지 않게 하려는 노력은 분명히 필요하다. 그러나 '이렇게 말하는 것도 차별인지 모른다'며 스스로를 지나치게 검열하는 것은 오히려 일종의 억압이 될지도 모르는 일이다.

월간 '책'에서 <선량한 차별주의자>에 대하여 이야기한 네 명의 에디터들도 이 책의 긍정적인 효과에도 불구하고 불편함을 토로하고 있었다.
나를 정말 안절부절못하게 만드는 일은, 속마음으로는 그렇게 생각하지 않는 것을 뻔히 느낄 수 있는데 예쁘게 포장된 단어로 차별하지 않는 척 우물쭈물하는 모습이었다. 미국 흑인에게 흑인이란 말 대신 아프리카 계 미국인이라고 말하는 것도 마음에 안 든다. 얼굴이 검은 것이 치욕스럽다는 전제를 이미 두고 말하는 것이기 때문이다. 백인, 황인, 흑인이라고 말하지, 그럼 뭐라고 말할까? 그 차이를 말하는게 왜 문제가 될까? - 에디터 지은경 
<포춘코리아> 10월호에서는 미국 비즈니스 라운드테이블(BRT)에서 지난 8월 19일 새롭게 발표한 (미국)기업의 새로운 소명에 대한 기사를 실었다(기업의 새로운 소명 A New Purpose for the Corporation, 원문 기사 링크; 포준코리아 웹사이트에서는 국문 기사의 링크를 찾을 수 없었음). 1970년 밀턴 프리드먼은 '기업의 유일한 사회적 책임이 있다면 그건 이윤을 늘릴 수 있는 활동에 참여하는 것이다'라 하였고, 이는 곧 주주들을 위해 돈을 버는 것이 가장 중요한 목표임을 의미했다. 이 '주주 우선주의(shareholder primacy)'는 기업 활동을 위한 당연한 신조처럼 여겨져 왔으나 이제 시대가 변하였다. 기업의 사회적 책임을 더욱 중요시하는 시대가 되었음을 의미한다. 기존 자본주의는 그 앞을 수식하는 무언가가 필요하다는 것이다.

2019년 8월 19일, 비즈니스 라운드테이블이 발표한 기업 목표에 대한 성명문.
기사를 참조하자면 (주주가 아닌) 고객을 위한 가치 창출, 직원에 대한 투자, 다양성과 포용성 증진, 공급업체들을 공정하고 윤리적으로 대우하기, 소속 지역사회에 대한 지원 및 환경 보호를 강조하게 된 것이다. 자유경제원(현 자유기업원) 사람들이 들으면 무슨 사회주의 시대로 역행하느냐고 할지 모르겠지만 말이다. 우리는 아직 더 배가 고파야 하고, 더 경쟁해야 하며, 잘할 수 있는 사람에게 더 많은 보상을 해서 나머지 인류가 먹고 살도록 해야 한다는 논리는 우리나라에서는 아직도 유효한 것 같다. 어제도 광화문 광장에서 태극기를 휘둘렀을 많은 사람들이 이런 목소리를 내고 있었을 것이다.

그러나 이어지는 아난드 기리다라다스(Anand Giridharadas)의 인터뷰 기사는 이에 대한 경계의 목소리를 던지고 있다(포춘코리아 기사 링크). 사회적으로 큰 영향력을 미치는 기업의 CEO들이 저마다 '착한 자본주의'를 내세우기 시작했으나, 선행을 하는 데만 집중할 뿐 해로운 활동을 줄이는 데에는 관심이 적다고 지적한다. 기리다라다스의 화제작 <엘리트 독식 사회>를 읽어 볼 필요가 있겠다.
그(아난드 기리다라다스)는 언론이 페이스북의 데이터 보안 문제를 금방 파악하지 못하면서, 마크 저커버그의 자선 활동에는 관심을 쏟는 모습을 예로 들었다.
좋은 가을이다. 딸아이의 수능 시험이라는 큰 일을 앞에 두었음에도 불구하고 새로 읽고 싶은 책의 목록은 자꾸 길어진다.

다른 고민거리

누구나 늙는다. 그러나 대다수의 사람들은 젊음을 선호한다. 중년 이후에 나이를 말하는 것은 자신의 불리함을 나타내는 것이기에, 나이를 묻는 것을 실례로 여기며, 나이에 비해 젊은 건강과 외모는 권력이 된다. 분위기가 칙칙해진다면서 노인들이 모이는 것을 싫어한다. 수도권 지하철을 무료로 이용할 수 있는 복지 혜택에 대해서는 말이 참 많다. 노인은 과거에 집착하며, 시끄럽고, 냄새나며, 질서를 지키지 않고, 공연히 참견을 하는 성가신 사람들로 여겨진다. 심지어 No senior zone 요식업소가 등장하는 수준까지 이르렀다.

그러나 나도 곧 노인이 될 것이다. 건강 상태가 점점 좋아지니 법에서 정의하는 노인의 나이는 현재보다는 조금 더 늦추어질지도 모른다. 우리나라의 노년 인구 비율 증가 속도는 아마 세계 최고일 것이다. 인구 구성 면에서 한번도 경험해 보지 못한 사회에 우리는 이미 접어들었다. 그리고 노인은 과거 어느때보다 더 많은 경제력을 소유한 세대가 되었다. 요즘의 중년은 아직 막강한 경제력을 보유한 부모 세대의 영향력 아래에 있으면서 '어른 노릇'을 하지 못하고 있다. 찰스 황태자가 언제 왕위에 오르겠는가? 왕위에 오른다 해도 최고의 능력을 발휘할 수 있는 나이는 이미 벗어난 때가 아닐까? 바로 다음 세대로 교체가 일어나는 것이 아니라 한 다리를 건너뛰는 시대가 될지도 모르겠다.

아직 나는 신체적으로나 정신적으로 멀쩡한 것 같은데, 곧 이것이 무너지는 시기가 올 것이다. 그 순간이 되면 이를 한사코 인정하지 않으려 할 것이다. 아직 생존해있는 우리의 부모들도 마찬가지이다. 정말 풀기 어려운 숙제가 아닐 수 없다. 돋보기 안경을 쓰기 시작한지 여러해가 지났음에도 불구하고 안경을 휴대하는 것을 깜빡 잊고 외출했을 때 아직도 짜증이 난다. 준비성이 없는 나를 탓해야지 짜증을 낼 이유가 없다.

갑자기 내가 이 세상 사람이 아닌 상태가 되었다고 하자. 내 블로그와 도메인은 어떻게 할 것인가? 많은 인터넷 서비스가 실명으로 운영되는 것은 아니니, 사망신고와 같은 것을 할 방법이 없다. 그런 상황이 도래했을 때, 내 블로그는 즉시 폐쇄하는 것이 옳은가, 혹은 일정 기간 동안 이를 알리고 닫을 것인가? 혹은 충분한 재원이 남아있다면 계속 남겨 놓을 것인가? 인터넷 상에 남긴 자료에 대한 상속 또는 정리 문제를 이제는 생각할 때가 되었다.

앞으로 이에 대한 고민과 내 나름대로의 생각은 내 블로그의 꾸준한 글감이 될 것이다.


독서 기록 - 재레드 다이아몬드 [어제까지의 세계]

『총, 균, 쇠』로 잘 알려진 재레드 다이아몬드가 최근작 『대변동: 위기, 선택, 변화』의 출간에 맞추어 한국을 찾았다고 한다. 어제(11월 2일)는 교보문고 광화문점에서 사인회가 있었고, 그저께에는 네이버 V LIVE에서 라이브 방송(링크 - 현재 다시보기 준비 중)도 있었다.

지난주 토요일이었던 10월 26일 작은아버지의 팔순 모임에 참석했다가 행사를 마친 후 근처의 교보문고 광화문점에 들러서 그의 책을 한 권 구입하였다. 신간 제목을 정확히 모르는 상태에서 휴대폰으로 검색된 책은 국내에 2013년 소개된 『어제까지의 세계(The World until Yesterday)』였다. 이번 7월에 17쇄를 찍었으니 꽤나 널리 읽혔던 것 같다. 『총, 균, 쇠』 『문명의 붕괴』 『어제까지의 세계』는 다이아몬드의 문명 3부작으로 흔히 일컬어진다. 『총, 균, 쇠』는 이미 오래 전에 재미있게 읽었다.


서론에서 밝혔듯이 인간 심리에 대해 우리가 알고 있는 것은 WEIRD(western, educated, industrialized, rich, and democratic)한 사회에 속한 피험자를 대상으로 한 연구에 불과하다. 전통사회를 왜 연구해야 하는가? 여기에서 말하는 (소규모) 전통사회란, 역사 속으로 사라진 사회나 국가를 의미하는 것이 아니다. 20세기에 들어서 비로소 문명 사회를 접하게 되면서 사회과학적 조사 연구(자연과학이 아니니 실험 연구는 곤란할 것이다)를 할 수 있게 된 씨족 혹은 부족 사회를 뜻한다. 아무리 전통이 오래 되었어도 국가라는 정치 체제를 도입한 사회는 일단 제외이다. 저자는 원래 새를 연구하던 생물학자로서 뉴기니에서 오랜 기간 체류하면서 겪고 탐구한 인간과 사회, 문명과 역사에 관한 경험과 통찰력을 다듬어서 베스트셀러를 만들어 낸 것이다. 부분적으로는 전통 사회에 대한 호기심을 충족하기 위해 연구를 하지만, 현대 사회가 현실적인 문제를 해결하기 위해 고안해 낸 방법에 더욱 다채로움을 더해주고 참고할 것이 많기에 전통사회를 연구하는 것이다. 그렇다고 하여 과거를 현재보다 낭만적으로 생각하고 돌아가자고 주장하는 것은 아니다.

이 책에서는 우리가 전통 사회에서 배울 수 있는 교훈을 크게 다섯 가지로 나누어 서술한다. 이는 옮긴이(강주헌)가 정리한 것으로서 책의 목차에서 다루어진 것을 전부 포함하지는 않는다. 예를 들어 부족 사이에서 벌어지는 전쟁은 제2장과 3장에서 자세히 다루어지지만 여기에서는 전통사회에서 빈발하는 전쟁의 원인과 방법 등을 서술한 것이지 이로부터 어떤 교훈을 도출하자는 것은 아니기 때문이다.
  1. 양육법
  2. 노인의 대우
  3. 분쟁 해결 방법
  4. 위험 관리
  5. 다중 언어 사용
  6. 건강한 생활 방식
  7. 종교에 대한 인식
특히 나에게 가장 흥미로웠던 것은 제9장 <전기뱀장어는 종교의 진화에 대해 우리에게 무엇을 말해주는가?>였다. 483쪽에 소개된 종교의 속성은 1) 초자연적인 존재에 대한 믿음, 2) 사회운동이라 생각하며 그 운동에 동참하는 회원들, 3) 비용이 많이 드는 구체적인 증거를 보여줘야 하는 헌신, 4) 행동을 실질적으로 규제하는 법칙들, 5) 초자연적인 존재와 힘을 현실의 삶에 개입하도록 유도할 수 있다는 믿음(즉 기도)이다. 

신앙을 가진 사람이라면 매우 불손하게 생각하겠지만, 종교는 왜 생겨났고 개인과 사회에게 어떤 기능을 하며 앞으로 종교는 어떻게 될 것인가라는 질문을 나는 늘 갖고 있다. 진화심리학에서 비교적 최근에 시작된 접근법에 의하면 종교는 어떤 문제를 해결하기 위해 진화된 것도 아니고 의식적으로 만들어진 것도 아니다. 
종교는 우리 조상이었고, 그 위로 동물 조상이었던 어떤 생명체들이 지녔던 어떤 능력들의 부산물로 생겨났을 가능성이 크다. 그 능력들이 발전하는 과정에서 뜻밖의 영향을 미치며 점진적으로 새로운 기능을 획득했다는 것이 진화심리학에서 파생된 접근법의 결론이다(490쪽).
어쩌다보니 생긴 종교가 발전을 거듭하면서 사회에서 뜻밖에 큰 영향력을 미치게 되었다는 것이 명쾌한 결론이다.  지난 토요일 팔순을 맞으셨던 작은아버지께서는 성직자셨기에 나는 보실 때마다 더 늦기 전에 다시 신앙의 길을 찾으라고 권하시지만, 생명과학자로서 나의 신념이 그와는 다르기에 그 권면을 받아들이지 못함을 늘 죄송스럽게 생각하고 있다.

제6장 <노인의 대우>도 매우 중요한 의미를 담고 있다. 요즘 우리나라는 온갖 정지척·경제적 갈등이 최고조에 달해 있는데, 특히 노인들에 대한 편견과 혐오가 점점 심해지고 있다. 물론 어른 노릇을 하지 못하는 사람이 많다는 문제가 없지는 않겠으나, 기록문화와 인터넷의 보급에 의해 지식의 전달자로서 전통 사회에서 노인이 누렷던 중요한 위치가 점차 무너면서 세대 갈등도 점점 심해지고 있다. 심지어 <노 시니어 존>을 표방한 영업장이 생겨나고 있으니 말이다(기사 링크). 이에 대해서는 별도의 글로 정리해 보련다.

유발 하라리의 [사피엔스], [호모 데우스], 그리고 [21세기를 위한 21가지 제언]을 읽으면 인류의 미래가 다소 우울하게 느껴지는 면이 없지 않다. 그러나 재레드 다이아몬드의 책은 그렇지 않다. 『총, 균, 쇠』는 흔히 환경결정론이라 하여 비판을 받기도 하지만, 『어제까지의 세계』에서는 위트와 희망이 느껴지기도 한다면 과장일까? 그의 나머지 저서도 곧 읽어 보아야 되겠다.

2019년 10월 29일 화요일

Minimus2 circlator 실행을 위한 편법

Long read assembly에서 유래한 contig를 정리하여 염색체 형태로 완성된 염기서열을 얻는데 circlator만큼 편한 것은 없다. Circlator가 하는 일은 의외로 복잡하다. 원형의 replicon을 다 커버하고 끝부분에서 남는 서열(즉 앞부분에 해당하는 염기서열이 뒤에서 다시 나타나는)을 제거한 뒤 dnaA 유전자가 첫번째 ORF가 되도록 방향을 바꾸는 것만이 전부가 아니다. 만약 약간의 gap이 남아있다면 long read로부터 조립을 하여 이어주고, major contig 내부에 포함될만한 짧은 contig가 있다면 이를 병합하는 등의 일도 수행한다. 그렇게 때문에 circlator를 실행할 때에는 assembly와 더불어 long read(raw data)가 항상 필요한 것이다.

만약 말단에 겹칩이 확인되어 circularization이 확실시되는 contig가 있다고 하자. 양 끝에서 발견되는 말단을 제거하는 일만을 하고 싶지만 raw read에 해당하는 것이 없는 상황을 생각해 볼 수 있다. 그러면 minimus2 circularization pipeline을 따르면 된다고 하는데, 이때 필요한 amos가 골칫거리이다.

Bioconda의 circlator 패키지 레시피를 보면 amos 3.1.0 상이 필요하며, 파이썬은 3 이상이 필요하다. 하지만 실제 conda install circlator를 하면 amos는 저절로 깔리지 않는다. Amos는 고약하게도 파이썬 2.7까지만 작동한다.

AMOS는 whole genome assembly software의 모음이다. bank라는 독특한 데이터 체계를 사용하고 있으며, 나도 이를 이용하여 유전체를 조립한 뒤 hawkeye로 조립물의 시각화를 해 본 경험이 있다. 워낙 오래 전에 만들어진 프로그램이라서 파이썬 3 환경에서 작동하도록 개선이 되리라는 기대를 하기 어렵다.

그러면 어떻게 하면 될까? circlator의 minimus2 파이프라인에서 필요로하는 것은 toAmos와 minimus2 두 가지가 전부이다. 일단 amos를 파이썬 2.7 기반의 환경에 설치한 다음, 이 두 가지 스크립트를 실행 경로가 있는 곳에 추가하고, 파이썬 3 기반의 환경에서 circlator minimus2를 실행하면 될 것 같았다.

양 끝에 겹침을 인위적으로 도입한 대장균 K-12 MG1655의 유전체 서열을 만들어서 테스트를 해 보았다. 이어지지를 않는다. 왜 그럴까? 메시지를 찾아보니 show-coords가 제대로 작동하지를 않은 것이었다. toAmos와 minumus2 중 show-coords와 delta-filter를 내부적으로 부르는 것은 minimus2이다. minimus2를 열어보니 이 두 가지 실행파일의 경로가 /usr/local/bin/로 설정된 것이었다. 이를 제대로 고쳐주니 minimus2 파이프라인이 제대로 돌아가기 시작했다.

bioconda를 통해 배포되는 생명정보 분석용 프로그램이 이제는 족히 수천 가지는 될 것이다. 이들 사이에 의존성이 항상 완벽하게 맞아 떨어지는 것은 아니니 개별적인 사안에 대해서는 적절한 꼼수를 찾이 않을 수가 없다.




2019년 10월 23일 수요일

두 개의 계통수를 비교하는 tanglegram 그리기

같은 자료를 각각 다른 방법으로 처리하여 만들어낸 두 개의 계통수를 비교하기 위하여 같은 tip을 서로 연결한 그림을 tanglegram이라고 한다. 우리말로 옮기면 '엉킴그림' 또는 '엉킨그림' 정도가 될 것이다. R에서 dendextend 패키지의 tanglegram() 함수를 사용하면 원하는 그림을 그릴 수 있을 것 같은데, R을 쓰려면 이런 형태의 자료를 다루는 방법을 근본에서부터 공부해야 하니 당장 활용하기에는 매우 번거롭다. 스크립트를 별도로 만들지 않고 tanglegram을 그릴 방법이 없을까?

구글에게 물어보았다. Dendroscope라는 프로그램을 쓰면 된다고 한다. 나는 그동안 FigTreeiTOL server를 주로 사용해 왔는데, 계통수를 다루는 프로그램 목록에 하나를 더 추가하게 되었다.

https://www.ncbi.nlm.nih.gov/pubmed/22780991
 2012 Dec 1;61(6):1061-7. doi: 10.1093/sysbio/sys062. Epub 2012 Jul 10.

Dendroscope 3: an interactive tool for rooted phylogenetic trees and networks.

Author information

1
Department of Computer Science, Center for Bioinformatics (ZBIT), University of Tübingen, 72076 Tübingen, Germany. daniel.huson@uni-tuebingen.de

튀빙엔 대학교(Eberhard Karls Universität in Tübingen) 소속의 연구자가 개발한 툴이다. 튀빙엔(튀빙겐?) 대학은 초창기 메타게놈 분석 도구로 잘 알려진 MEGAN(MEtaGenome Analyzer, version 6 link)가 만들어진 곳이고, Dendrogram과 개발자가 같다(Huson DH). 튀빙엔 대학교는 1477년에 세워진 오래되고 유명한 학교로서 프리드리히 미셔가 19세기에 DNA를 처음 발견한 것도 이곳에서였다.

튀빙엔 대학교가 위치한 소도시 튀빙엔에 대한 여행 정보는 쉽게 검색이 가능하다.

튀빙겐, 독일에서 공부한다면 바로 이런 도시에서...

멋진 곳에서 멋진 연구 성과가 나오는 것이 맞을까? 매우 궁금하다.

Dendrscope를 이용하여 tanglegram을 그리는 방법은 다음의 링크에 상세히 설명되어 있다.

How to do a Dendroscope tanglegram

대장균의 유전체를 이용하여 roary에서 만든 core gene alignment 기반 트리(fasttree)와 accessory gene 기반 바이너리 트리를 비교하는 tanglegram을 그려 보았다. 이만하면 훌륭하다! Publication quality까지 이르도록 매만지려면 조금 더 기능을 알아보아야 되겠지만.


2019년 10월 22일 화요일

우분투 가상머신에 아나콘다 최신판을 설치하기가 왜 이렇게 힘이 들까?

11월에 한국바이오협회에서 주관하는 유전체분야 맞춤의료 기술인력 양성 교육에 강사로 참여하게 되었다. 지난 2016년에 KOBIC 주관 교육에서 강의를 한지 꼭 3년만의 일이다. 마이크로바이옴 시대가 활짝 열리면서 단일 미생물 유전체의 해독과 분석 교육에 대한 수요는 많이 줄어든 느낌이다. 왜냐하면 요즘은 시퀀싱 업체에 미생물 유전체 시퀀싱을 맡기면 genome assembly와 annotation까지를 다 해 주기 때문이다. 물론 약간의 추가 서비스 요금은 받게 될 것이다.

'맡기면 누군가 해 주는 것'의 시대가 되니 기본 원리를 이해하려고 애쓸 필요가 별로 없어진 것이 현실이다. 그래도 기본 개념과 역사에 대해서 어느 정도는 알아야 한다는 것이 나의 철학이다. 시퀀싱 서비스 업체에 전화를 걸어서 소비자로서 원하는 것을 얻고 궁금증을 해소하기 위해 다그치는 것에만 익숙해졌을 뿐이다. 비유하자면 최소한 파워포인트의 '슬라이드'라는 말이 어디에서 기원했는지는 알아야 할 것 아니겠는가? 슬라이드 환등기나 오버헤드 프로젝터, 타자기를 실제로 본 적이 없는 사람이 점점 많아지듯 말이다.

실습을 위한 서버의 테스트 및 사전 설정은 다음주부터 진행하기로 하였으므로, 당장은 노트북에 VirtualBox로 CentOS 7.6을 가상머신으로 설치하여 원하는 환경이 잘 만들어지는지 점검하기로 하였다. 설치 후 yum update를 하니 release 7.7이 되었다. 이제 남은 작업을 해 볼까? 이렇게 고생이 시작되었다...

VirtualBox guest additions의 설치가 안된다

Kernel module build 과정에서 자꾸 에러가 난다. 모든 패키지를 업데이트하고 커널 빌드에 필요한 것도 다 갖추어진 상태인지 거듭 확인을 해 보아도 소용이 없었다. VirtualBox의 버전을 6.x로 올려서 겨우 해결이 되었다. CentOS 7에서는 기본적으로 네트워크 인터페이스가 부팅 시 꺼진 상태이기 때문에 설정을 다시 찾아서 연결하는 번거로움이 있다. 게스트 OS에 잡힌 마우스 포인터를 해제하는 키는 뭐로 설정을 해야 되는가? 노트북 컴퓨터용 키보드는 101/104 키와 관계가 있던가?

최신 anaconda 배포본(anaconda3 2019.10)이 설치되지 않는다

설치용 파일(.sh)을 다운로드하여 bash로 실행하면 파일 압축 해제를 시작하는가 싶더니 전혀 진행이 되지 않았다. 무엇이 문제일까? Anaconda installer archive에서 작년 12월 버전부터 하나씩 배포판을 받아서 설치를 해 보았다. 2019.07까지는 문제가 없는데 유독 2019.10만 설치가 되지를 않았다. 이것을 확인하는데 꽤 많은 시간이 걸렸다. 정말 황당무계한 것은 이 문제는 윈도우 10 호스트에 VirtualBox로 설치한 CentOS 7에서만 벌어진다는 것이다. 온전히 CentOS가 설치된 서버에서는 어떤 배포판 버전을 쓰든 잘 설치가 된다.

리눅스 생활이 벌써 몇십년째인데 설치는 여전히 어렵다! 과거의 경험(겨우 두어달 전에 진행했던 일이라 해도)이 현재의 문제를 해결하는데 큰 도움이 되지 않는 일이 종종 발생한다.

이러한 어려움 속에서도 bioconda가 나를 살렸다는 결론에는 변함이 없다. 관리자 권한을 얻을 필요 없이 필요한 환경을 전부 구축할 수 있다는 것이 놀랍기만 하다.

2019년 10월 19일 토요일

낙선재 누마루 밑의 벽체의 빙렬문(氷裂紋)

가을 햇살이 좋던 주말 오후, 아내와 함께 창덕궁을 찾았다. 지난 8월 16일에는 창덕궁 후원(예전에 비원이라 부르던 곳)을 들렀었는데 너무 더워서 창덕궁의 본 모습을 제대로 감상하지 못했었다. 마침 조선시대 과거제 재현행사를 하느라 방문객들이 제법 많았다. 경복궁은 규모가 너무 크고 덕수궁은 늘 보수단체 집회가 문앞에서 열려서 소란스러운데 비하여 창덕궁은 정말로 편안하고 아름답다는 느낌이 든다. 조선의 궁궐 중에서 창덕궁만이 유네스코가 정한 세계유산에 오른 것도 그럴만한 이유가 있을 것이다.






창덕궁 안에 유일하게 단청도 없이 사대부의 주택 형식을 갖춘 수수한(?) 집이 있으니 바로 낙선재다. 차 시음행사가 있다고 하여 기웃거려 보았으나 미리 신청을 한 방문객에 한해서 체험을 할 수 있다고 하였다. 아쉬운 마음에 툇마루에 앉아서 쉬는데 누마루 밑에 있는 벽에 기하학적인 무늬가 있는 것이 눈에 뜨였다.



낙선재를 몇 번 왔었지만 누마루 밑까지 신경을 쓰지는 않았었다. '저것은 무엇이지? 손으로 그린 것인가?' 궁금한 마음에 가까이 다가가 보았다.





그려 넣은 문양이 아니었다. 기와 같이 흙으로 빚어 구운 판을 끼워 맞추고 그 사이에 회반죽을 발라 채운 것이었다. 구운 판의 색깔도 한가지가 아니었다. 이런 기가 막힌 미적 감각이라니! 집에 돌아와서 구글을 뒤져보니 얼음이 깨진 것 같은 문양이라는 뜻의 빙렬문(氷裂紋)이라 부른다고 한다. 안쪽에 있는 아궁이에서 불똥이 튀어서 누마루에 불이 붙는 것을 방지하기 위한 구조물이라고 한다. 벽체의 한쪽 면에만 문양을 넣은 것이 아니었다. 반대편을 돌아가 보면 그 모습 그대로이다.

낙선재와 석복헌 사이의 담에 만들어진 문양은 거북이 등껍데기와 같은 귀갑문이라 한다.

출처: [연합뉴스] 창덕궁 낙선재(2) 조선의 조형미가 응축된 장소(2014년 기사 링크)

능률과 편리함이란 잣대에서만 본다면 전통 건축의 형태는 현대의 '최적화'와는 거리가 멀다. 지붕에는 왜 그렇게 많은 공을 들여야 했으며, 문턱은 왜 이렇게 높게 만들어서 서둘러 통과하다가는 자칫하면 발이 걸려 넘어지게 만들었을까.



책고(冊庫). 나도 방 한칸을 채울 정도로 책을 많이 읽었으면 좋겠다.

건물은 왜 대지 위에 간격을 두고 띄워 지어서 대청마루를 힘겹게 '오르게' 만들었을까. 마당에는 돌이라도 깔아서 마른 날에는 흙먼지를, 비가 내리는 날에는 진창을 피하게 만들면 얼마나 좋았을까. 그걸 다 이해하려면 나이가 더 들어야 될 것 같다. 자연에 되도록 손을 대지 않고 조화를 이루려는 정신이 전통 건축 양식에 스며들어 있다고 당장은 이해해보련다.

2019년 10월 17일 목요일

Bash에서 탭(tab)을 표현하기 어려운 경우의 해결 방법

'\t'로 표현되는 tab 문자는 주의를 기울이지 않으면 화면에서 출력하기가 어렵다. Perl에서는 따옴표로 둘러치면 되지만 bash에서는 이것으로는 안된다. 그래서 echo 명령어에서는 -e 옵션을 통해서 백슬래쉬(\)로 이스케이프된 문자의 번역을 하도록 만든다.

$ echo 'hello\tworld'
hello\tworld
$ echo "hello\tworld"
hello\tworld
$ echo -e 'hello\tworld'
hello world
$ echo -e "hello\tworld"
hello world

이에 대한 보다 근본적인 해결 방법이 있다. 바로 $'string'을 쓰는 것이다. $'\t'라고만 하거나 혹은 문자열 전체를 $'..'로 둘러치거나 결과는 같다.

$ echo hello$'\t'world
hello world
$ echo $'hello\tworld'
hello world

Bash reference manual의 ANSI-C quoting 항목에서는 다음과 같이 설명하였다.
The word expands to string, with backslash-escaped characters replaced as specified by the ANSI C standard.
이러한 요령을 알고 있으면 텍스트 파일을 처리하는 유틸리티에서 탭을 구분자로 지정해 줄 때 발생하는 오류에 대처할 수 있다. sortjoin 명령어에서는 -t SEP 옵션을 사용하여 구분자(SEP은 구분자로 쓰려는 문자)를 설정하는데, 탭을 구분자로 정의하려면 -t$'\t'라고 하는 것이 안전하다. 물론 이것은 bash에서 그렇다는 뜻이다.

예를 들어 다음과 같이 test라는 파일을 두번째 컬럼 기준으로 정렬하는 경우를 생각해 보자. 구분자로는 탭을 사용하고자 한다. line 바로 앞에 오는 스페이스를 구분자로 써서는 안되는 것이다. 다음 사례 중 의도한 결과가 나온 것은 어느것인가?

$ cat test
[first line] 1 A
[third line] 3 C
[second line] 2 B
$ sort -t \t -k 2 test
second 1-line: 2 A
first 2-line: 3 C
third 3-line: 1 B
$ sort -t\t -k 2 test
second 1-line: 2 A
first 2-line: 3 C
third 3-line: 1 B
$ sort -t '\t' -k 2 test
sort: multi-character tab `\\t'
$ sort -t'\t' -k 2 test
sort: multi-character tab `\\t'
$ sort -t "\t" -k 2 test
sort: multi-character tab `\\t'
$ sort -t"\t" -k 2 test
sort: multi-character tab `\\t'
$ sort -t$'\t' -k2 test
third 3-line: 1 B
second 1-line: 2 A
first 2-line: 3 C
$ sort -t $'\t' -k2 test
third 3-line: 1 B
second 1-line: 2 A
first 2-line: 3 C

-t \t 또는 -t\t라고 입력한 것은 오류 메시지를 출력하지는 않았으나 원하는 결과가 아님에 주의해야 한다.

첨언하자면 나는 리눅스 명령어의 옵션과 그에 부속되는 설정어를 하나로 붙여서 쓰는 것을 그다지 좋아하지 않는다. 여러 옵션을 하나로 붙이는 것, 즉 ls -l -t를 ls -lt로 쓰는 것은 지극히 정상적이고 일상적인 방법이다. 그러나 sort -k 2 file을 sort -k2 file로 쓰는 것은 선호하지 않는다. -k -2를 축약해서 -k2라고 표현하는 것은 절대 아니기 때문이다.

awk의 입력 필드 정의 옵션인 -F fs(field separator)에서 는 $'\t' 형식으로 일부러 인용 처리하지 않아도 된다는 점이 장점이다. 그저 -F '\t' 또는 -F "\t"라고만 해도 된다. -F '\t'라 해도 작동은 하지만, awk의 표준 사용법은 awk 'command' 이므로 -F에 이어서 공급해야 하는 field separator 자체를 작은 따옴표로 둘러치는 것은 별로 바람직하지 않다고 생각한다. 같은 이유에서 작은 따옴표를 사용하게 되는 -F $'\t' 표현도 썩 내키지는 않는다.

화면에 오류 메시지가 나오지 않았다고 해서 내가 짠 스크립트가 항상 제대로 돌아가고 있다고 착각하지는 말자.

2019년 10월 15일 화요일

[하루에 한 R] 그룹 내의 최댓값/최솟값 구하기, 그리고 그 값을 갖는 행을 찾아내기 - dplyr 패키지

최대값·최소값이 아니라 최댓값·최솟값이 올바른 표기라 한다. 뒤에 오는 말의 첫소리가 된소리이면 사이시옷을 넣어야 한다는 것이다(링크). '북엇국'이라고 쓰기는 정말 어색한데...

행(row) 단위로 그룹을 지을 수 있는 자료가 데이터 프레임으로 주어졌다고 하자. 각 그룹 안에서 특정 컬럼의 최대 혹은 최솟값을 찾아내는 방법은 잘 알려져 있다. 예전에 작성한 [하루에 한 R] BLAST tabular output에서 best hit 뽑아내기에서는 base R을 이용한 원초적인 방법을 소개한 적이 있다. 학습 목적을 위하여 좀 더 단순한 데이터 프레임을 만들어 놓자.

> data = data.frame(
     letter=sample(LETTERS,1000,replace=TRUE),
     serial=1:1000,
     number=sample(1:20,1000,replace=TRUE)
)

A 그룹에 속하는 raw만 보고 싶다면 data[which(data$group=='A'),]라고 입력하는 것이 정석이다. which() 함수를 쓰지 않고 data[data$group=='A',]라고 쳐도 결과는 같지만 전자의 방법이 더욱 바람직하다고 생각한다.

각 그룹에 대하여 numer의 최댓값은 무엇일까? base R을 쓰려면 다음과 같이 입력하면 된다. 명령어가 끝나는 곳에서 닫아야 할 괄호가 많으니 빼먹지 말도록 하자.

> do.call(rbind,lapply(split(data,data$letter),function(x){return(x[which.max(x$number),])}))
  letter serial number
A     A     77     20
B     B    251     20
C     C    473     20
...
X     X    861     20
Y     Y    371     20
Z     Z    264     20

반환되는 serial column을 이용하여 max값을 갖는 row의 정보를 알 수 있다. 하지만 완벽하지는 않다. 왜냐하면 공동 1위에 대한 배려가 없기 때문이다. 각 그룹에 대하여 최댓값을 갖는 row가 여럿인 경우, 어느 하나만을 반환한다.

aggregate() 함수를 쓰면 각 그룹에 대한 number 컬럼의 최댓값을 출력할 수 있다.

> aggregate(data$number,by=list(data$letter),max)
   Group.1  x
1        A 20
2        B 20
..
25       Y 20
26       Z 19
> aggregate(number ~ letter,data,max)
   letter number
1      A     20
2      B     20
..
25     Y     20
26     Z     19

Hardley Wickham이 만든 dplyr 패키지(공식 문서)를 이용하면 좀 더 현명한 데이터 탐색이 가능하다. 다음의 웹사이트에 훌륭한 예제가 많다.

R: dplyr - Maximum value row in each group
Dplyr Introduction
[R] 데이터 처리의 새로운 강자, dplyr 패키지 - 강력 추천!

공구 그림을 내세운 것을 보니 '디(D)플라이어'라고 발음하는 것이 맞을 것이다.

그러면 최초의 질문으로 돌아오자. 각 그룹별로 최대의 number 값을 갖는 row를 찾아내자. serial 컬럼을 같이 출력하게 되면 문제가 해결된다. 웹을 뒤지다가 정말 단순하고 강력한 방법을 찾아내어 여기에 소개하고자 한다. 공동 1위가 나타나서 한 그룹에 대해 복수의 row를 출력하게 되어도 상관이 없다. 위에서 do.call() 함수를 쓴 것과 serial의 값이 다르게 나온 것은 data 데이터 프레임을 중간에 새로 만들었기 때문이다. merge() 함수를 이런 곳에서 사용하다니 정말 창의적이다.

Basic R: rows that contain the maximum value of a variable

> data.agg = aggregate(number ~ letter,data,max)
> data.max = merge(data.agg,data)
> data.max
   letter number serial
1      A     20    617
2      A     20     33
3      B     20    807
4      B     20    219
5      C     19    759
6      D     20    546
...
51     Z     19    539
52     Z     19    448
53     Z     19    542
54     Z     19     95

최종적으로 얻어지는 컬럼의 순서는 별로 마음에 들지는 않는다. dplyr 패키지를 사용하려면 다음과 같이 하라.

> library(dplyr)
> data_df = tbl_df(data)
> data_df %>%
    group_by(letter) %>%
    filter(number==max(number)) %>%
    arrange(letter)
# A tibble: 52 x 3
# Groups:   letter [26]
   letter serial number
   <fct>  <int>  <int>
 1 A         38     18
 2 A        364     18
 3 B        135     20
 4 C         33     20
 5 C        650     20
 6 C        661     20
 7 D        471     20
 8 E        647     20
 9 F        292     20
10 F        537     20
# ... with 42 more rows

dplyr은 데이터 프레임을 다루기에 매우 유용한 패키지이다. 기초 수준의 사용법을 익혀서 나중에 별도로 글을 써야 되겠다. 실습을 위한 장난감용 데이터와 코드 몇 줄을 만들어 보았다.

> library(dplyr)
> data = data.frame(
     letter=sample(LETTERS,1000,replace=TRUE),
     serial=1:1000,
     num1=sample(1:20,1000,replace=TRUE),
     num2=round(rnorm(1000,10,2),digit=0),
     num3=sample(0:50,1000,replace=TRUE)
)
> data_df = tbl_df(data)
> cols = c("num1","num2","num3")
> data_df %>%
  group_by(letter) %>%
  summarise_each(funs(mean,sd),cols)
  # A tibble: 26 x 7
   letter num1_mean num2_mean num3_mean num1_sd num2_sd num3_sd
   <fct>      <dbl>     <dbl>     <dbl>   <dbl>   <dbl>   <dbl>
 1 A          10.7      10.2       27.2    6.37    1.72    14.8
 2 B          10.7       9.93      24.3    5.33    1.91    15.0
 3 C          11.9      10         21.8    5.86    1.90    14.0
 4 D          10.2      10.3       24.8    5.82    1.80    16.0
 5 E           9.78     10.8       27.9    5.38    1.77    16.3
 6 F          10.5       9.97      25.9    5.67    1.97    14.8
 7 G          10.3       9.76      24.2    5.82    2.20    15.1
 8 H          11.5      10.3       23.2    5.75    2.09    16.0
 9 I          10.7      10.4       24.9    6.53    2.17    14.5
10 J          10.6      10.0       27.7    5.67    2.15    15.2
# … with 16 more rows

dplyr과 사랑에 빠진 어느 블로거의 글을 소개한다. dplyr을 쓰는 것에 익숙해지면, apply() 계열의 함수나 aggregate() 함수를 쓸 일이 없어질 것 같다.

[R-bloggers] I fell out with tapply and in love with dplyr

2019년 10월 13일 일요일

데이터 멍잉(data munging)

'데이터 멍잉(data munging)'이라는 말을 들어 보았는가? 내가 웹에서 이 낱말을 본 것은 불과 며칠 되지 않았다. 처음에는 오타인줄 알았다. 어디서 개가 짖나? 멍멍, 멍잉...

한빛미디어에서 출간한 전희원 저 [R로 하는 데이터 시각화] 52쪽에는 이렇게 설명을 했다고 한다.
멍잉(munging)은 전처리, 파싱, 필터링과 같이 데이터를 이리저리 핸들링한다는 뜻이다..사실 이 단어는 컴퓨터로 데이터를 처리하는 사람들 사이에서 많이 쓰이는 따끈따끈한 신조어이다.
데이터 멍잉은 데이터 랭글링(data wrangling)과 같은 뜻이라 한다. 그런데 이 신조어의 발음이 과연 '멍잉'이 맞을까? 구글에서 발음을 검색해 보면 '먼깅', '먼징' 등 일정하지가 않다. 신뢰도가 높아 보이는 웹 영어사전(Cambridge Dictionary)에서 munging이라는 표제어를 찾아보니 '멍잉'으로 발음한다. 의미는 the process of changing data into another format (=arrangement) so that it can be used or processed라고 하였다. munging이 현재 진행형이라면 원형은 mung이 되어야 한다. 그러나 같은 사전에 mung이라는 표제어는 없다. Merriam-Webster 사전에도 mung 혹은 munging은 올라와 있지 않으니 어지간히 최근에 생겨난 신조어임에 틀림이 없다. 다음 사전에서 mung은 '(미 속어) [프로그램 등을] 개조하다, 대폭 변경하다. 망가뜨리다'로 풀이하였다. 데이터 멍잉은 일부러 일을 망치려고 하는 것은 아닌데 말이다. 어쨌든 데이터 멍잉은 데이터 파싱(parsing, 구문 분석) 또는 데이터 프리프로세싱(preprocessing)과는 약간 다른 의미를 갖는다.

지난주에는 일주일이 넘게 계산을 했던 local InterProScan 결과물을 R로 분석하여 그래프를 그리는 일을 했었다. TSV 파일이 만들어지기는 하지만 컬럼의 수가 각 줄에 대하여 똑같지를 않아서 R의 read.table() 함수를 처음부터 쓸 수는 없었다. 대신 awk와 wc 등의 명령을 적절히 사용하여 텍스트 파일로 전환하는 일을 먼저 진행했는데, 바로 이것이 데이터 멍잉에 해당하는 일이 되겠다.

O'Reilly에서 출간한 Paul Teener의 [R Cookbook] 72쪽을 보면 이런 내용이 나온다.
R is not a great tool for preprocessing data files, however. The authors of S assumed you would perform that munging with some other tool: perl, awk, sed, cut, paste, whatever floats your boats. Why should you they duplicate that capability? ... Let R do what R does best.
나도 이 글에 100% 동의한다.

'data wrangling R'로 구글에서 검색을 해 보면 꽤 많은 유튜브 동영상이 나온다. 몇 개를 골라서 공부해 보는 것도 좋을 것이다. R Studio Inc.의 Garrett Grolemund가 만든 다음 4개의 연속 동영상에서 시작해 보겠다. Garret은 R for Data Science 및 R Markdown의 공저자이며, 해들리 위컴이 그의 박사과정 지도교수였다고 한다!

Pt. 1: What is data wrangling? Intro, motivation, outline, setup(여기에서는 munging을 분명히 '먼징'으로 발음하였다)


Pt. 2: Tidy data and tidyr


Pt. 3: Data manipulation toos: `dplyr`


Pt. 4: Working with two datasets: b ind, set operations, and joins


2019년 10월 12일 토요일

모바일보호 서비스 앱은 이름을 바꾸어야 한다

파견 근무지(사기업)에서 일을 하게 되면서 기업이 요청한 보안 프로그램 두 가지를 휴대폰에 설치하게 되었다. 이런 종류의 프로그램을 MDM(mobile device management) 솔루션이라 부른다. 이를 설치하고 작동시키면 회사 안에 있을 경우 카메라가 작동이 되지 않는다. 실제로는 더 깊숙한 수준에서 휴대폰을 제어하고 있고, 당연히 사용자의 동의를 거쳐서 설치를 하게 된다. 물론 그 동의 절차가 어떤 결과를 초래하는지 정확히 모르는 경우가 많다는 것이 문제이다.

설치된 두 가지의 프로그램은 엇비슷한 이름을 하고 있었다. 하나는 '모바일보안'이고 다른 하나는 '모바일보호 서비스(삼성전용)'이었다. 편의상 이를 각각 A와 B라 부르기로 한다. 앞의 것(A)은 사용자가 직접 제어할 수 있는 앱인데(실제로는 내 맘대로 작동시키는 것이 아니라 엄격한 위치 기반으로 움직임) 최소한 하루에 한 번을 건드려 주어야 해서 여간 불편한 것이 아니다. 설명하자면 상황은 이러하다. 아침에 출근하여 신분증을 인식기에 찍으면 찍으면 거의 즉각적으로 휴대폰의 보안 프로그램이 작동하여 카메라의 작동이 불가능해 진다. 그런데 퇴근을 하고 건물을 나깔 때에는 그렇지가 않다. 신분증을 찍어서 퇴근 상태로 만들면 일단 보안이 해제되지만, 계단이나 엘리베이터로 건물 내부를 통과하여 밖으로 나가자마자 그 짧은 시간 동안 휴대폰의 위치를 점검하여 다시 보안이 걸리는 것이다. 퇴근 후 건물을 빠져나와 불과 십 미터 정도밖에 가지 않았는데 휴대폰에서는 '보안이 적용되습니다'라는 알림 소리가 들린다. 그래서 회사에서 충분히 멀리 떨어진 곳까지 가거나 아예 집까지 와서 보안을 수동으로 해제해야 비로소 카메리를 쓸 수 있다.

만일 내가 좀 더 현명한 개발자였다면, 신분증을 인식기에 찍어서 퇴근 처리를 하고 난 뒤 5분이나 10분 쯤 지나서 자동으로 휴대폰의 현재 위치를 파악하여 회사에 있지 않음이 확인되면 보안을 해제하게 만들 것이다. 왜 매번 퇴근 후에 수작업으로 보안을 해제하게 만들었을까? 이렇게 함으로 인하여 유발되는 보안을 위협할 수 있는 다른 부작용이 발생할지는 모르겠으나, 개발자에게 개선을 요구해 볼 생각이다.

이 프로그램은 앞서 말했듯이 사용자가 직접 작동할 수 있지만, 더불어 설치하는 두번째 앱(B)은 '모바일보호 서비스'라는 애매모호한 이름을 갖고 있으면서 무소불의의 권력을 휘두른다. 설치된 프로그램 목록에서 이것을 볼 때마다 모바일용 V3와 같이 내 기기를 '보호'하는 프로그램으로 착각을 했었다. 앱 이름에서 풍기는 느낌이 딱 그러하지 않은가.


하지만 실상은 이렇다.

모바일 기기를 통한 정보 유출을 방지하기 위하여 기업/기관에서 요청하여 만들어진 프로그램으로서 해당 기업/기관(개발사 입장에서는 고객)에서 고용되어 일하거나 방문하는 사람의 모바일 기기에 강제적으로 설치하는 - 회사의 보안앱과 더불어 - 보안 프로그램.

이것이 정확한 설명이다. 그러나 정작 구글 플레이에서는 보면 프로그램에 대한 설명이 눈에 잘 뜨이지 않는 곳에 있으며 이마저도 충분하지 않다. 이 프로그램을 개발한 사람은 고객사에는 최선을 다하여 프로그램에 대한 정보를 제공하겠지만, 정작 이 프로그램을 강제로 설치해야만 하는 사람에게는 친절히 설명을 할 동기가 주어지지 않는다. 다음은 PC에서 구글 플레이를 접속하여 찾은 정보이다. 일반적인 앱이라면 구글 플레이에서 검색만 해도 이것이 무엇을 위한 앱인지 친절히 설명을 해 놓았을 것이다.


이 앱의 리뷰를 보면 설치 후 캡쳐 등이 되지 않아서 고생을 한 사람들의 불평이 하나 가득이다. 내가 보기에는 구글 플레이에서 앱의 이름만 보고서 보안에 도움이 되리라 생각하고 설치를 한 뒤 부작용을 겪는 것 같다. 위의 설명에서 이 앱은 '절대 단독으로 실행되어 동작될 수 없으며...;라 하였다. 그러면, A 앱이 먼저 설치되지 않은 상태에서는 모바일보호 서비스 앱(B)의 설치 또는 구동이 되지 않게 만들었다는 뜻인가? 불만이 섞인 리뷰를 보면 그렇지는 않은 것 같다. 이 앱의 원래 목적을 정확히 모르고 설치를 한 사람이 절대적으로 많은 것 같다는 뜻이다.

다시 말해서 A가 필요한 사람 - 정확히 말하자면 보안이 필요한 기업/기관에 고용관계 혹은 방문을 위해서 A를 설치하도록 요청받은 사람 - 이 아닌 경우에도 모바일보호 서비스(B)가 단독으로 설치가 되는 것 같고, 이런 상태에서 B를 설치하면 휴대폰 작동에 심각한 제한이 걸려서 고생을 하게 된다. A는 구글 플레이에서 검색이 되지 않는다. 고객사에서 배포하거나 다운로드 사이트를 알려주지 않으면 일반인은 이를 일부러 설치할 수 없다(설치할 이유도 없다). 그런데 구글 플레이에서 우연히 '모바일보호 서비스'라는 이름의 앱(B)을 발견하여 휴대폰의 보안에 도움이 될 것으로 오해하고 설치하면 그야말로 지옥을 맛보게 될 것이다.

혹은 MDM 솔루션이 설치된 휴대폰을 제대로 삭제하지 않고 중고로 판매한 경우 이를 구입한 사람은 생고생을 하게 된다. 웹을 검색해 보니 공장 초기화 정도로 해결이 되지 않는다고 한다. MDM 솔루션을 개발한 사람은 당연히 이렇게 만들었을 것이다.

따라서 모바일보호 서비스의 개발자인 지란지교시큐리티에서는 다음의 조치를 취해야 한다고 생각한다.

  1. B앱의 명칭을 '모바일 보안' 등으로 바꾸어야 한다. 앗, 그러나 A앱이 이미 이 이름을 쓰고 있다. 어쨌든 일반 사용자가 단순히 휴대폰을 보호해주는 앱으로 오해햐여 설치하는 일이 없게 해야 한다.
  2. A 프로그램을 먼저 깔지 않은 상태에서는 기술적으로 모바일보호 솔루션이 설치되지 않게 해야 한다. 어떤 일이 생길지 몰라서 다른 휴대폰으로 일부러 테스트를 할 수는 없었다.
  3. 고객사가 아니라 구글 플레이를 통해 이 앱을 찾은 일반 사용자에게 충분한 정보를 제공해야 한다.
  4. 정상적인 앱 제거 방법을 알려야 한다. 물론 보안이 필요한 기억/기관의 피고용자가 악의적으로 제거하기는 못하게 해야 하니 고민스러울 것이다.
구글 플레이의 앱 리뷰에 이러한 취지의 글을 남기기는 했는데 과연 수용될지는 모르겠다. 


이제는 필수품이나 다름이 없는 모바일 기기를 보안이 절실한 기업 입장에서는 어떻게 통제해야 될까? 개인의 권리는 또 어떻게 찾아야 할까? 정말 어려운 문제가 아닐 수 없다.