NGS 파일 처리를 위한 유틸리티가 너무나 많다!

Fastq 포맷의 파일을 다루다보면 트리밍, 셔플링, 포맷 전환 등 자질구레한 변환 및 조작을 해야 한다. 이러한 용도의 유틸리티가 하도 많아서 이제는 혼동스럽기까지 하다. 간단히 스크립트 하나만 인터넷에 돌아다니는 경우도 있고, de novo assembly와 같은 프로그램 패키지에 포함된 경우도 있다.

Fastq를 fasta로 전환하는 것을 예로 들어보자.

• Brian J. Knaus의 fastq2fasta.py
• IDBA의 fa2fq 및 fq2fa
• FASTX Toolkit의 fastq_to_fasta
• Seqtk: seqtk seq -a in.fq.gz > out.fa

펄이나 파이썬에 대한 기초적인 지식이 있다면 누구나 이런 목적의 스크립트를 어렵지 않게 만들어내는 것이 가능하다. Awk/sed를 써서 만들 수도 있다. 

사용 가능한 유틸리티의 수가 다섯 손가락을 넘어가게 되면, 실무를 접하였을때 '이런 일에는 이걸 쓰면 되지'하고 즉각적으로 머리에 떠오르는 것이 오히려 줄어든다는 것이 문제이다. 차라리 모르는게 약이라고나 할까?

이런 현상도 어쩌면 가트너의 하이프 사이클(이 시각적 도구 자체가 많은 비판을 받고 있지만)로 설명 가능할지 모르겠다. 아직은 부풀려진 기대의 정점으로 진행해 나가는 중?