think and scratch

zip & tar

리눅스에서 많이 사용되는 압축 방법

1. tar + xz
2. zip
3. tar + gz
4. tar + bz2

압축률

zip < gz < bz2 < xz

압축률이 높을수록, 속도는 느리다

실습

구성

아래와 같이 환경 구성

work1, work2에 각각 1MB 파일을 생성한다

mkdir work1
cd work1
for ((i=0;i<1024;*1024/2;i++)) do echo A >> a.txt; done
du -sh a.txt

mkdir work2
cd work2
for ((i=0;i<1024*1024/2;i++)) do echo A >> b.txt; done
du -sh b.txt

'A'와 줄바꿈문자 '\n' 까지 더해서 2byte * 1024 * 1024  / 2번 반복해서 해당 파일들은 각각 1mb 가 된다.

압축 -  zip

work1 디렉토리로 이동한 뒤 a.txt를 압축해보자.

zip all1.zip a.txt

원본 파일이 남아있는 것을 확인할 수 있다.

all1.zip을 지우고 a.txt와 work2를 같이 압축해보자.

zip all2.zip ./*

압축 파일 내 work2 디렉토리가 비어있는 파일인 것을 확인할 수 있다

-r 옵션을 줘야 하부 디렉토리가 정상적으로 같이 압축된다

all2.zip을 지우고 

-r 옵션을 주고 a.txt와 work2를 같이 압축해보자.

zip -r all3.zip ./*

압축해제 - unzip

unzip [압축파일명] -d [압축풀 경로]

[압축풀 경로]에 해당 경로가 없으면 생성하고 압축해제한다.

unzip all3.zip -d ./newDirect

압축 -  gzip, xz

gzip과 xz는 리눅스의 단일 파일 압축 방식이다.

원본 파일이 압축 파일로 변경된다 (원본 파일이 사라진다)

압축 성능 xz > gzip

gzip a.txt
xz b.txt

압축해제 - gunzip, xz -d

gunzip a.txt.gz
xz -d b.txt.xz

파일아카이브 유틸리티 - tar 

파일을 하나로 합칠 수 있다.

파일을 하나로 합치는 것뿐 압축을 하는 것은 아니다.

원본이 남아있다.

tar -cvf ab.tar a.txt b.txt

tar -cvf [파일명.tar] [파일1] [파일2] ...

• -c : 하나로 모아서 새파일 생성 (create)
• -f : 파일 이름을 지정 (file)
• -v : 진행 상황을 보여줌  (verbose)
• 원본이 남음

tar -xvf ab.tar -C ./ab/

tar -xvf [파일명.tar] -C [압축 풀 디렉토리 경로]

• -x : tar 해제 (extract)
• -C : 경로 지정 (change directory)
• tar는 자동으로 디렉토리를 만들어주는 기능이 없어서 해당 디렉토리를 만들어야 함
• 원본이 남음

핵심 - tar + xz

tar -Jcvf [파일명.tar.xz] [파일1] [파일2] ...

• -J : XZ 압축 방식을 사용하도록 지정하는 옵션

tar -Jcvf ab.tar.xz a.txt b.txt

tar -Jxvf [파일명.tar.xz] -C [디렉토리]

tar -Jxcf ab.tar.xz -C ./ab

환경 변수란?

사용자, process, 리눅스 자체 등 다같이 사용하는 변수

다양한 운영체제에서 적용된다.

printenv  명령어를 사용하여 환경변수를 확인할 수 있다

printenv

echo 명령어를 통해서 하나씩 출력할 수 있다

export [변수]=[값]

원하는 변수를 생성할 수 있다

재부팅하면 사라진다

환경 변수로 등록하면 어디서든 사용 가능하다!

• .sh 내부에서도 사용 가능

export HYndrome=good
printenv | grep HYndrome

환경 변수 영구적으로 등록하기

방법 1. 셀 초기화 파일에 등록하기

bash shell이 시작하자마자 시작되는 bash shell script 파일 편집

vi ~/.bashrc

export 명령어 등록

reboot 한다음에 남아 있는지 확인

방법 2. /etc/environment에 추가 (시스템 전체)

/etc/environment에 환경변수를 직접 등록할 수 있다.

해당 사용자뿐만 아니라 시스템 전체에 해당 환경 변수를 등록하는 것이다.

etc/environment 파일을 수정한 후에는 로그아웃하고 다시 로그인해야 변경사항이 적용된다

sudo vi /etc/environment

변수 등록

세션 로그아웃

exit

등록 확인

기본

모든 쉘 스크립트 확장자는 .sh

(권장 사항) 파일의 맨 위에는 #! /bin/bash를 적어준다.

• 이 문서는 bash 쉘 스크립트임을 알린다
  • #! /bin/bash : bash 쉘
  • #! /bin/sh: dash 쉘

bash vs dash

bash와 dash의 대부분의 명령어는 같다

user는 기본적으로 bash를 사용하지만 우분투 시스템에서는 기본적으로 dash를 사용한다.

bash

더 많은 기능 지원 (ex history)

기본 설정으로 POSIX 비호환 확장 기능을 제공하나 --posix 옵션을 사용하여 POSIX 모드 사용 가능

기능이 많아서 느릴 수 있음

dash

빠른 실행과 최소한의 리소스 사용을 목표로 함

POSIX 표준을 엄격히 준수

경량이라서 빠름

실행방법

• .source [파일이름.sh]
  • 가장 많이 사용되는 방법
• .  [파일이름.sh]
  • 실행권한이 필요한 경우가 있음

문법

변수

변수이름=값 (띄워쓰기 금지)

모든 값들은 문자열로 취급 (숫자로 취급 x)

$(( )) 를 붙이면 이 안에서 산술 연산으로 처리 됨

실행 결과

shell 명령어의 실행 결과를 변수에 저장할 수 있다

실행 결과

주석

한줄 주석 # 입력하고 그 후에 작성

조건문

if 문은 띄워쓰기를 조심해야 함

fi 로 조건문 종료를 해줘야 함

독보적인 비교 연산자

• -lt : less than
• -gt : greater than
• -eq : equal (수 비교)
• -ne : not equal
• -ge : greater or equal
• -le : less or equal

파일 비교도 가능하다

• -x : 파일이 존재하고, 권한이 (+x)일 때
• -f : 파일이 존재하고, Regular 파일일 때
• etc...

printf

c언어의 printf와 비슷하다

있다는 것 정도만 알아주자

배열

배열을 만들 때는 ( )  사용

배열 값을 출력할 때는 { } 괄호 필수

반복문

for 문법

함수

함수 호출할 때, 함수 이름만 입력하면 됨

리눅스는 모든 것을 파일로 관리한다!

사용자 권한 

Root

리눅스는 다중 사용자 시스템으로 설계되어 있다.

리눅스가 설치된 컴퓨터 한대를 host라고 한다.

다중 사용자를 관리하기 위한 시스템에서 관리자를 root라고 한다.

• 최고 권한
• 프로그램의 설치 / 삭제 관리
• user 관리
• etc

일반적인 임베디드 시스템에서는 다른 user 없이 자동으로 user 권한으로 app 실행하도록 구성한다.

사용자 권한 관련 명령어

권한 관련 명령어를 간단하게 둘러보자

sudo adduser [계정명]

• 계정 추가
• 해당 계정은 root 권한 없음
• 홈 디렉토리에 자동 생성
  • /home/[계정명]
• user을 생성할 경우 그룹이 함께 생성

su [계정명]

• 해당 계정으로 접속

exit

• 계정 로그아웃

sudo deluser [계정명]

• 계정 삭제
• 홈 디렉토리에 잔여파일 남아있음
• sudo deluser [계정명] --remove-all-files
  • 잔여 파일이 모두 삭제됨

man deluser

• deluser의 명령어 설명서 확인

groups [계정명]

• 특정 user가 소속된 그룹을 확인

sudo addgroup [그룹명]

• 그룹 추가
• useradd
  • 전문가용, 세부 옵션을 선택해줘야 한다

sudo gpasswd [옵션] [계정명] [그룹명]

• -a : 추가
• -d : 제거

sudo delgroup [그룹명]

• 그룹 제거

cat /etc/group

• 리눅스 시스템에서 그룹 관련 정보 (configuration)이 저장된 파일

파일 종류

리눅스 파일 종류

• Regular File
  • 일반 파일
• Directory File
  • 리눅스 커널 내부에서는 디렉토리도 파일 취급
• Link File
  • 바로가기와 비슷한 파일
• Device File
  • 새로운 장치를 연결하면 물리적 장치가 파일화되어 저장
  • 이 파일을 통하여 장치 제어가 가능
  • 프로젝트를 할 때 xboxController를 라즈베리파이에 블루투스로 연결했을 때 파일 생성되는 것을 확인했다
    • /dev/input/event

파일 종류 확인하기

ls -al

/dev에서 파일 목록을 조회보았다.

앞 글자로 파일들의 종류를 확인할 수 있다.

• - : regular file
• d : directory file
• l : link file
• c, b : device file

파일 권한

파일 권한 관리

파일 권한 관리란 특정 파일에 대한 read / write / execute 권한을 부여하는 것을 의미한다.

파일의 종류 다음으로 나오는 9개의 글자는 아래 순서의 사용자 범위에 따라서 3글자씩 권한을 의미한다.

• owner
• owner group
• other

권한

• r : read 읽기
• w : write 쓰기
• x: execute 실행
• - : 없음

파일 권한 바꾸기

sudo chmod [세자리 8진수] [파일명]

• user, group, other의 각각 3자리에 권한을 0~7까지 8진수로 표현
• 8진수는 권한 유무에 따른 세자리 2진수를 합한 값
• sudo chmod 421 newfile
  • r - -, - w -, - - e  => 421

sudo chmod [mode] [파일명]

• user / group / other의 앞글자와 연산자 권한의 앞글자로 표현도 가능하다
• sudo chmode u=rx newfile
• 기존 권한에 +, -, = 지정 가능
  • sudo chmod u+w newfile
  • sudo chmod u-w newfile
  • sudo chmod u=w newfile

파일 복사에 필요한 권한

• 복사할 파일의 r 권한
• 복사 도착지 디렉토리의 w 권한

디렉토리 복사에 필요한 권한

• 디렉토리 r 권한
• 디렉토리 e 권한

아래 포스트에서 MobaXterm과 가상머신에 설치된 우분투를 ssh로 연결해보았었다.

포트 포워딩을 조금만 더 자세히 알아보자

포트포워딩이란?

포트 포워딩은 네트워크 라우터 또는 방화벽에서 특정 포트 번호로 들어오는 트래픽을 내부 네트워크의 특정 장치(IP 주소)로 전달하는 기술이다.

외부요청 -> 라우터에서 매핑 -> 해당 장치에서 응답

VirtualBox의 포트포워딩 규칙을 삭제하고 MobaXterm으로 localhost:22에 접속해보자

연결이 안되는 것을 확인할 수 있다.

Ubuntu에서 net-tools를 설치하고 ifconfig 명령어로 가상머신의 ip를 확인해보자

sudo apt install net-tools -y
ifconfig

위에서 확인한 주소를 바탕으로 구체적으로 VirtualBox의 포트포워딩 설정을 해주자

호스트는  127.0.0.1 ( localhost ) 게스트 IP는 가상머신의 IP인 10.0.2.15로 설정해주었다.

해당 설정 후 MobaXterm으로 접속하면 정상적으로 작동하는 것을 확인할 수 있다.

위 과정을 그림으로 알아보자

라우트 호스팅이 없을 경우 MobaXterm은 실제 머신 주소로 접근하기 때문에 가상 머신으로 접근할 수 없다.

라우트 호스팅으로 실제 머신 주소 접속할 경우 가상머신으로 접속할 수 있도록할 수 있다.

기존 우분투 아카이브가 느려서 카카오 미러 아카이브로 변경해보자

해당 설정은 /etc/apt/source.list에서 확인할 수 있다.

/etc는 관리자와 서비스에서 사용되는 시스템 구성(system configuration) 파일들이 저장되는 경로이다

/etc/apt/source.list 을 vim으로 열어보자

sudo vi /etc/apt/source.list

찾아바꾸기로 기존 우분투 아카이브를 카카오미러 아카이브로 변경하자
:%s/[검색어]/[변경]/g    찾아바꾸기

:wq      저장하고 나가기

:%s/kr.archive.ubuntu.com/mirror.kakao.com/g
:wq

해당 변경 내역을 저장해주자

sudo apt update

텍스트 editor 중 하나인 Vim을 사용해보자!

vim 설치

sudo apt install vim -y

Vim 단축키

• i
  • command mode ⇒ insert mode
• v
  • command mode ⇒ visual mode
• esc
  • insert mode ⇒ command mode
• :wq
  • w: 저장, q: 종료
• q!
  • 강제 종료
• ctrl + f
  • 찾기
• ctrl + f + 화살표
  • 다음 / 이전 찾기
• ctrl + h
  • 모두 바꾸기
• [라인 수] + dd
  • [라인 수] 만큼 잘라내기
• p
  • 현재 커서 앞에 붙여 넣기
• P
  • 현재 커서 뒤에 붙여 넣기
• 마우스 더블 클릭
  • 복사
• 휠 키
  • 붙여 넣기
• visual mode (터미널에서 지원하는 복사/ 붙여넣기와 독립적)
  • 화살표
    • 영역 선택
  • y
    • 복사
  • p
    • 붙여 넣기
• gg
  • 페이지 상단 이동
• shift + g
  • 페이지 하단 이동
• u
  • 실행 취소
• ctrl + r
  • 다시 실행
• /[검색어] 위에서 아래로 내려가면서 검색
  • n 다음 검색
  • shift + n 이전 검색
• ?[검색어]
  • 아래쪽에서 위로 올라가면서 검색
• :%s/[검색어]/[변경]/g
  • 검색어 전부를 변경
    • g: global의 약어로, 파일 전체의 단어를 바꾸는 필수 옵션
    • i: 대소문자 구별
    • c: 하나씩 확인하면서 진행
• o
  • 커서 아래쪽에 라인 추가하면서 이동
• O
  • 커서 위쪽에 라인 추가하면서 이동
• cc
  • 현재 커서가 있는 라인 모두 지우면서 앞쪽으로 커서 이동
• I
  • home + insert
• A
  • end +insert
• cw
  • 단어 단위로 지우면서 insert
• cc
  • 한줄 지우면서 insert
• C
  • 커서 뒤에 지우면서 insert
• gg + V + G
  • 전체 선택: 제일 앞으로 이동 ⇒ 행단위 비주얼 모드 ⇒ 제일 뒤로 이동
    • V
      • 행 단위 비주얼 모드
• :set nonu
  • 소스코드를 복사할 때 라인 번호가 같이복사될때
• :vsp
  • 거울창 띄우기
    • :sp 거울창 띄우기 (세로)
    • :vps 거울창 띄우기 (가로)
    • ctrl + w + 방향키 창 전환
    • vimdiff [파일1] [파일2] 두 개 파일 텍스트 비교하기
• w
  • 단어 시작 문자 위치로 이동
• e
  • 단어 마지막 문자 위치로 이동
• home = shift + 6
• end = shift + 4
• gg = G
  • 전체 들여쓰기

vimrc 유용 설정

vimrc는 vim의 설정 파일이다.

' . ' 으로 시작하는 파일은 숨김파일이다.

vimrc 파일 생성

vi ~/.vimrc

유용한 설정

set hlsearch " 검색어 하이라이팅
set nu " 줄번호
set autoindent " 자동 들여쓰기
set scrolloff=2
set wildmode=longest,list
set ts=4 "tag select
set sts=4 "st select
set sw=1 " 스크롤바 너비
set autowrite " 다른 파일로 넘어갈 때 자동 저장
set autoread " 작업 중인 파일 외부에서 변경됬을 경우 자동으로 불러옴
set cindent " C언어 자동 들여쓰기
set bs=eol,start,indent
set history=256
set laststatus=2 " 상태바 표시 항상
"set paste " 붙여넣기 계단현상 없애기
set shiftwidth=4 " 자동 들여쓰기 너비 설정
set showmatch " 일치하는 괄호 하이라이팅
set smartcase " 검색시 대소문자 구별
set smarttab
set smartindent
set softtabstop=4
set tabstop=4
set ruler " 현재 커서 위치 표시
set incsearch
set statusline=\ %<%l:%v\ [%P]%=%a\ %h%m%r\ %F\
" 마지막으로 수정된 곳에 커서를 위치함
au BufReadPost *
\ if line("'\"") > 0 && line("'\"") <= line("$") |
\ exe "norm g`\"" |
\ endif
" 파일 인코딩을 한국어로
if $LANG[0]=='k' && $LANG[1]=='o'
set fileencoding=korea
endif
" 구문 강조 사용
if has("syntax")
 syntax on
endif

리눅스 파일 시스템

리눅스 파일 시스템에서는 / (Root) 에서 파일 관리가 시작한다. (윈도우에서는 C: 같은 드라이브에서 시작)

리눅스는 Root를 기준으로 Tree 형태의 파일 시스템을 갖고 있음

Root로 이동해서 파일트리를 확인해보자

아래 명령어를 치면 구조를 볼 수 있다. (hier은 hierarchy를 뜻함)

man hier

/bin - 바이너리

ls, cp, cd 같은 기본 Shell 명령의 실행 파일이 있다.

대부분 프로그램은 여기 바이너리의 형태로 있고 리눅스 시스템의 모든 유저들에게 접근 가능하다.

/dev - Device files

물리적 장치가 파일화되어 저장되는 곳이다. 시스템 디바이스 파일을 저장하고 있는 디렉토리다.

이 파일들은 물리적으로 디스크에 있는 것이 아니라 가상화된 파일들이다.

블루투스 장치를 연결하면 여기에 파일이 생성되는 것을 확인할 수 있다.

/etc - Configuration files

관리자와 서비스에서 사용되는 시스템 구성(system configuration) 파일들이 있다. 암호 파일과 네트워킹 파일 등이 여기에 포함된다.

시스템 구성을 변경한 경우 해당 파일에서 변경되는 것을 확인할 수 있다.

/usr 

모든 실행 파일, 라이브러리, 대부분의 시스템 프로그램 소스가 있다. 그래서 여기 있는 대부분의 파일은 읽기 전용이다.

• /usr/bin: 기본 사용자 명령
• /usr/sbin: 관리자를 위한 추가 명령
• /usr/lib: 시스템 라이브러리
• /usr/share: 모든 라이브러리의 공통된 문서가 포함. 예를 들면 /usr/share/manual 에는 메뉴얼 페이지의 텍스트가 있다!

/home - 개인 사용자 데이터

홈 디렉토리에는 사용자 데이터와 사용자별 구성 파일이 들어있다.

Linux 시스템에서는 사용자를 만들 때 일반적으로 사용자 홈 디렉토리를 만든다. /home/hyndrome ,  /home/otherUser 위치에 각각 홈 디렉토리를 갖게 됨

명령어 "cd ~" 를 입력했을 때 이동하는 경로가 여기다! 

/lib - 실행가능한 바이너리에서 사용할 수 있는 코드. /bin, /sbin 디렉토리의 바이너리에서 필요한 라이브러리를 보관한다.

/usr/bin 과 /usr/sbin 에 있는 바이너리에 필요한 라이브러리는  /usr/lib 디렉토리에 보관되어 있다.

/sbin - 시스템 바이너리

/bin 디렉토리와 비슷하나 루트나 sudo 사용자만 실행할 수 있는 바이너리를 포함. s를 super나 sudo로 생각하면 된다.

/tmp - 임시 파일

임시 파일을 보관하는 곳. 많은 애플리케이션이 이 디렉토리를 사용하여 임시파일을 저장한다.

일부 Linux 시스템은 오래된 파일을 자동으로 삭제하므로 중요한 것은 여기에 저장하면 안된다.

/var - 변수 데이터 파일

시스템 로깅, 사용자 추적, 캐시 및 시스템 프로그램에서 만들고 관리하는 다른 파일과 같은 런타임 정보를 저장하는 곳이다.

여기 저장된 파일은 자동으로 정리되지 않아서 시스템 관리자가 시스템 동작 정보를 정리할 수 있는 곳을 제공한다. 예를 들면  Linux 로그인 정보를 확인하고 싶으면 /var/log/wtmp에 있는 파일의 내용을 확인해보자!

/boot - Boot files

LILO, GRUB 같은 부트로더 파일과 외에 kernel 이미지 같은 부팅 관련 파일을 포함한다.

디렉토리가 디스크 시작부분의 파티션에 있는 것이 좋다

kernel 이미지: 컴퓨터가 부팅될 때 로드되는 커널의 바이너리 파일

LILO: Linux에서 사용되던 초기 부트로더, 현대에는 잘 사용되지 않음

GRUB (GRand Unified Bootloader): 멀티부팅과 실시간 수정이 가능한 더 강력하고 유연한 부트로더

부트로더: 컴퓨터가 켜질 때 실행되는 첫 번째 소프트웨어로, 운영체제를 메모리에 로드하고 실행을 시작한다. 하드웨어 초기화, 커널로드, 부팅 옵션을 제공한다

/proc - process, kernel 파일

해당 경로에는 현재 실행 중인 프로세스와 커널 매개변수에 대한 정보가 들어있다. 해당 디렉토리의 내용은 여러 도구에서 런타임 시스템 정보를 얻는데 사용된다.

예를 들어 Linux에서 프로세서 정보를 확인하려면  /proc/cpuinfo 파일을 참조하면 된다.

Linux 시스템 메모리 사용량을 확인하려면 /proc/meminfo 파일을 참조하면 된다.

/opt - 추가 응용프로그램 패키지 

추가 응용프로그램 패키지 설치 장소이다. 관례적으로 배포판 레포지토리에서  사용할 수 없는 서드파티 애플리케이션을 설치 저장하는 곳이다. 보통 소프트웨어 코드를 opt 에 보관하고 모든 사용자가 실행할 수 있도록 /bin 디렉토리에 있는 바이너리 파일을 링크한다.

/root - 루트의 홈 디렉토리

/home/root 대신에 루트의 홈은 /root에 위치한다

/media - 이동식 미디어의 마운트 지점

USB, SD카드, DVD 같은 이동식 미디어를 연결하면 /media 디렉토리 아래에 해당 미디어에 대한 디렉토리가 자동으로 생성된다. 여기서 콘텐츠에 엑세스할 수 있다.

/mnt - 사용자 마운트 지점

/media와 비슷한데 차이점은 /media은 OS가 자동으로 마운팅해주는 포인트고

/mnt는 사용자가 수동으로 마운트하는 경로다.

/srv - 서비스 데이터

시스템에서 제공하는 서비스에 대한 데이터가 들어있다. 예를 들면 HTTP 서버를 실행하는 경우 웹 사이트 데이터를 /srv 디렉토리에 저장하는 것이 좋다.