sejong.jeonjo@gmail.com

글 작성 및 테스트한 날짜: 2023년 2월 21일

<< 참고 문서 >>

InnoDB(MariaDB, MySQL) System Variables 전체 목록 및 상세 설명 문서
  - https://mariadb.com/kb/en/innodb-system-variables/

DB 관리 목적의 SQL (예: show, backup, analyze, kill, reset, use)
  - https://mariadb.com/kb/en/administrative-sql-statements/

자세한 설명을 하기 전에 설정 파일 예제부터 보자.

$ cat /etc/mysql/conf.d/mariadb.cnf

[client-server]
port = 3306
socket = /run/mysqld/mysqld.sock

[mariadbd]
server-id = 1
bind-address = 0.0.0.0
lower_case_table_names = 1

... 중간 생략 ...

##
## NOTE: 성능 테스트를 위해 아래 4개 항목을 변경하면서 Query Per Second를 측정해봤다.
##
innodb_flush_log_at_trx_commit = 0
innodb_flush_method = O_DIRECT_NO_FSYNC
innodb_flush_sync = OFF
innodb_use_native_aio = OFF

... 중간 생략 ...

$

Transaction Commit Log에 대한 Flush 여부 설정

설정 항목: innodb_flush_log_at_trx_commit

##
##  innodb_flush_log_at_trx_commit 설정 변경
##


MariaDB [(none)]> show variables like '%innodb_flush_log_at%';
+--------------------------------+-------+
| Variable_name                  | Value |
+--------------------------------+-------+
| innodb_flush_log_at_timeout    | 1    |
| innodb_flush_log_at_trx_commit | 0     |
+--------------------------------+-------+
2 rows in set (0.001 sec)

MariaDB [(none)]> set global innodb_flush_log_at_trx_commit=0;
Query OK, 0 rows affected (0.000 sec)

MariaDB [(none)]>  show variables like 'innodb_flush_log_at_trx_commit';
+--------------------------------+-------+
| Variable_name                  | Value |
+--------------------------------+-------+
| innodb_flush_log_at_trx_commit | 0     |
+--------------------------------+-------+
1 row in set (0.000 sec)

MariaDB [(none)]>

위 설정 관련 참고 문서:  innodb_flush_log_at_trx_commit 개념 그림 및 튜닝
https://yunhyeonglee.tistory.com/41

Flush method 개념

설정 항목: innodb-flush-method

아래 문서를 참고

-  https://medium.com/releem/innodb-flush-method-cbe0ebba8acb
-  https://dus815.tistory.com/entry/Mysql-InnoDB-%EC%97%90%EC%84%9C-OS-Cache-%EC%99%80%EC%9D%98-%EA%B4%80%EA%B3%84

그런데 mariaDB, MySQL 버전이 올라오면서 최근에는 이 설정값을 변경할 수 없다.

작성일: 2023년 7월 16일
IPv6 스터디하면서 참고했던 자료나 기억할 것을 여기에 기록하기

IPv6 주소 표기

• 128 bit
• 16 bit 씩 8자리로 구성. 각 자리는 콜론으로 구분
• 앞 64 bit는 network address, 뒤 64 bit는 장비의 network interface address
  (network address는 64 bit 길이가 아니어도 된다. 더 크거나 더 작아도 된다.)
• IPv6 주소 예시

IPv4, IPv6 Header 구조 비교

IPv6 확장 Header

IPv6 통신 방식 (Network Node 간 통신 방식)

IPv6 주소 종류

Unicast Address 종류

예시: Global Unicast Address

예시: Link Local Unicast Address

Multicast Address

ff00::/8 - IPv6 멀티캐스트를 위한 주소공간이다. IPv4에서 제공했던 브로드캐스트는 IPv6에서는 더 이상 지원되지 않으며, IPv6에서는 대신 멀티캐스트를 사용해야 한다.

IPv6 Multicast Group

Anycast Address

Anycast 통신은 ‘1:가장 가까운 1’간의 통신방식이라고 정의할 수 있다.

동일한 주소를 가지는 여러 목적지 장비들 중 출발지 장비와 가장 가까운 장비가 응답을 하는 통신방식이다.
이러한 통신방식은 멀티캐스트와 유사하지만 멀티캐스트의 경우 동일 그룹에 소속된 장비들이 응답을 하는 반면, 애니캐스트의 경우는 동일 주소를 가지는 장비들 중 가장 가까운 장비 하나만 응답을 한다는 차이가 있다.

IPv4-mapped IPv6 addresses

IPv6 Address Scope 개념

국내 IPv6 관리대행자별 IPv6 주소 목록 (2023.07.17 현재)

Linux (Ubuntu)에서 IPv6 Address 사용

IPv6 Address 설정하기 (nmcli 명령 사용)

## ip addr 명령으로 설정
##   a) IPv6 주소 설정
$ ip -6 addr add 2001:db8:0:1::a00:2/64 dev enp1s0

##   b) IPv6 주소 삭제
$ ip -6 addr del 2001:db8:0:1::a00:2/64 dev enp1s0

##   c) IPv6 주소 확인
$ ip -6 addr show dev enp1s0


## nmcli 명령으로 설정
##   a) Network device list 출력
$  nmcli  dev

##   b) IPv6 주소 설정
$ nmcli  con  mod  ens0  ipv6.address 2001:db8:0:1::a00:1/64  ipv6.gateway 2001:db8:0:1::1

참고 문서   https://www.lesstif.com/system-admin/centos-nmcli-ip-static-ip-98926807.html

IPv6 Address 설정하기 (Gnome GUI 설정 화면 사용)

아래 예시 화면처럼 [IPv6] 설정 탭에서 Address, Prefix, Gateway를 설정한다.

Web Browser로 IPv6 주소의 웹 페이지 조회하기

아래 예제처럼 주소창에 IPv6 주소값을 입력하고 테스트해본다.

http://[2001:db8:0:1::a00:1]:8080/

curl 명령으로 동일하게 테스트할 수 있다. (아래 예제를 참고)

$  curl http://[2001:db8:0:1::a00:1]:8080/

 Hello from example application. (written by Andrew)

$

CURL 명령으로 IPv6 주소 확인하기 (Global scope address)

## 이 장비의 Network port에 설정된 IPv6 주소 열람하기
$  ip -6 addr

## IPv6 주소 중에서 Global scope 주소만 열람하기
$  ip -6 addr show scope global 

## 나의 NAT 장비의 IPv6 인터넷 주소 확인하기
## (참고: NAT에 IPv6가 설정되지 않았으면, IPv4 주소가 출력된다)
$  dig -6 TXT +short o-o.myaddr.l.google.com @ns1.google.com

$  dig -t aaaa +short myip.opendns.com @resolver1.opendns.com

$  curl -6 https://ifconfig.co

$  curl -6 https://ipv6.icanhazip.com  

$  ssh -6 sshmyip.com

IPv4 to IPv6 주소 변환하기

참고 문서:
  KRNIC 스터디 자료 
    https://xn--3e0bx5euxnjje69i70af08bea817g.xn--3e0b707e/jsp/resources/vsix/icmp.jsp
  NDP 설명 영상
    https://www.youtube.com/watch?v=A3LFt7CHpgs
  https://www.minzkn.com/moniwiki/wiki.php/IPv6
  https://en.wikipedia.org/wiki/IPv6_address

일하다보면, 폐쇄망을 영어로 뭐라고 해? 라는 질문을 종종 주고 받는다.

'air-gapped' 연결이 끊긴 상태

'air-gapped'는 언뜻 머릿속에서 떠오르지 않는 용어다.

그래서 메모를 해두려한다.

'air-gapped'은 장비(또는 Private Network)와 다른 Network가 연결되지 않은 상태를 의미한다.

우리나라 말로 옮기면, '폐쇄망' 이나 '고립망'이라고 표현될라나... ^^

air-gapped network, air-gapped test 등 업무에서 자주 사용하는 용어인데, 정작 필요할 때 말하려고 하면 입 안에서 맴돈다 ㅠㅠ

Block Chain을 스터디하면서 필요한 URL을 이 페이지에 정리할 생각이다.

Bitcoin 홈페이지

Bitcoin Core - Application Download

다운로드해볼까 했는데, 최초 Download할 데이터가 500GB나 된다고 해서... 일단 보류하기로 했다.

내 맥북은 현재 500GB의 데이터를 저장할 공간이 없다. ㅠㅠ

Full node

Bitcoin Core 설치에 관해 긴 글을 읽기 귀찮다면, 아래 동영상을 보는 것을 추천~

Bitcoin Core Source Code

강연 / 쉽게 이해하는 Block Chain과 NFT - 김승주 교수

전자 화폐(흔히 가상 화폐, 암호 화폐라고 하는 것)에 관해 역사와 개념, 활용 사례를 쉽게 설명한 강연이다.

강연 / NFT(Non-fungible token) 이해하기 - 박도현 대표

 강연 / 스마트 계약 쉽게 이해하기 - 조재우 교수

블록체인과 스마트 계약 작동 원리, 사용 예시(Token ERC20, ERC721(NFT), ICO(Initial Coin Offering, DeFi(Decentralized Finance)를 쉽게 설명해주고 있다.

그리고 Smart Contarct의 단점(높은 수수료, Bug / The DAO 사건) 에 대해서도 설명한다.

블록체인 시범 사업 소개 / 블록체인 기반 드론 종합안전관리 플랫폼 구축

이 시범 사업은 드론 비행 자격에 초점을 맞추어 진행하고 있다.

내 생각에는 대상을 드론에서 다른 Object까지 확장해보면 무궁무진하게 사업/서비스 영역을 넓힐 수 있을 것 같다.

블록체인 시범 사업 소개 / DID(Decentralized ID) 기반 신원 인증 및 비대면 민원 서비스 플랫폼 구축 - 연금공단

위 YouTube 영상에서 소개된 내용 중에서 가장 핵심은 이 그림이다.

그리고 이 절차 중에서 "(5)번 DID 신원 정보 등록발급 내역 기록" 데이터가 Block Chain에 기록되는 것이 가장 중요한 내용이다.

Block Chain에 기록하여 제3자에 의한 신원 정보 변조를 막겠다는 것이다. 

이렇게 저장된 신원 정보는 신뢰성이 높다고 볼 수 있다.

준비 작업:  Elastic 8.0 및 Kibana 설치하기

아래 김종민 님의 설명을 읽고, Elasticsearch 및 Kibana 설치하는 것이 제일 쉽고 간단하다.

##
## Elasticsearch 기동하기
##

$  bin/elasticsearch


##
## Kibana 기동하기
##   주의: 명령 옵션으로 --host를 지정하지 않으면, 기본값이 127.0.0.1로 설정된다.
##        만약 Web Browser가 kibana 서버와 다른 곳에 있다면 반드시 아래와 같이 
##        외부에서 접근 가능한 서버 주소를 지정해주어야 한다.

$ bin/kibana  --host=192.168.0.11

Elasticsearch 서버와 Kibana 서버를 설치했으면, 아래의 문서를 보면서 Python Example App을 작성한다.

Elasticsearch Python Client Example

2022년 11월 현재, 아래의 Web Docs가 가장 쉽게 설명된 것 같다.

Python PKG 설치, 인증/연결, 설정, Client Example Code 등 필요한 내용을 다 포함하고 있다.

아래  Docs는 초반에 "Elastic Cloud"를 먼저 예시로 설명하고 있는데,
만약 Private 환경(즉, self-managed cluster)에서 Client Example을 테스트할 것이라면
이 Docs의 아래 부분만 읽으면 된다.

[ 즉, 바로 이 부분부터 읽고 따라하면 된다 ]
https://www.elastic.co/guide/en/elasticsearch/client/python-api/master/connecting.html#connect-self-managed-new

CRUD(Create, Read, Update, Delete) 예제를 보고 싶다면, 아래  Web Docs를 열람.

https://www.elastic.co/guide/en/elasticsearch/client/python-api/current/examples.html

실제로 위 Web Docs를 보고 조금 변경해서 작성해본 예시이다.

그냥 Copy & Paste해서  `python3  myexample.py` 명령을 수행하면 된다.

Document 1개를 Elasticsearch에 저장하는 예제

from datetime import datetime
from elasticsearch import Elasticsearch

##
## NOTE : Configuration for multi node
##
NODES = [ "https://10.1.3.166:9200" ]

##
## Password for the 'elastic' user generated by Elasticsearch
##
ELASTIC_PASSWORD = "mypasswd"

##
## Create the client instance
##
es = Elasticsearch(
    NODES,
    ca_certs="/MyWorkSpace/elastic-stack-metal-install/elasticsearch-8.5.1/config/certs/http_ca.crt",
    basic_auth=("elastic", ELASTIC_PASSWORD)
)

## Create documents
doc = {
    'my-key-example-a': 'my-value-1',
    'my-key-example-b': 'my-value-2',
    'date': datetime.now(),
    'msg': "my log message example... hello~  world ^^",
}

resp = es.index(index="example-index-0", id=0, document=doc)
print(resp['result'])

Bulk로 많은 Document를 Elasticsearch에 저장하는 예제

from datetime import datetime
from elasticsearch import Elasticsearch
from randmac import RandMac


NODES = [ "https://10.1.3.166:9200" ]

##
## Password for the 'elastic' user generated by Elasticsearch
##
ELASTIC_PASSWORD = "mypasswd"

##
## Create the client instance
##
es = Elasticsearch(
    NODES,
    ca_certs="/MyWorkSpace/elastic-stack-metal-install/elasticsearch-8.5.1/config/certs/http_ca.crt",
    basic_auth=("elastic", ELASTIC_PASSWORD)
)

doc_id = 0
loop_cnt = 0

##
## Create documents
##
##   참고: 아래 for 문은 document 예시를 그럴듯하게 만들기 위함이다.
##        실제 Elasticsearch와는 아무런 관련이 없다. ^^
ip_networks = ["10", "172", "192"]

for ii in ip_networks:
    for xx in range(254):
        for yy in range(254):
            for zz in range(254):
                macaddress = str(RandMac())
                doc = {
                    'app': 'nac-server',
                    'level': 'info',
                    'date': datetime.now(),
                    'ip-address': ii + '.' + str(xx) + '.' +  str(yy) + '.' + str(zz),
                    'mac-address': macaddress,
                    'msg': 'Device ' + macaddress + ' is started',
                }

                doc_id += 1
                loop_cnt += 1
                resp = es.index(index="example-index-0", id=doc_id, document=doc)
            print("Count: " + str(loop_cnt) + "   " + str(resp['_index']) + "   " + str(resp['_id']) + "   " + str(resp['result']) + "   shard:" + str(resp['_shards']) + "   " + str(resp['_seq_no']))

print("\nTotal Document: " + str(doc_id))

Document를 조회하기

from datetime import datetime
from elasticsearch import Elasticsearch

NODES = [ "https://10.1.3.166:9200" ]

# Password for the 'elastic' user generated by Elasticsearch
ELASTIC_PASSWORD = "mypasswd"

# Create the client instance
es = Elasticsearch(
    NODES,
    ca_certs="/MyWorkSpace/elastic-stack-metal-install/elasticsearch-8.5.1/config/certs/http_ca.crt",
    basic_auth=("elastic", ELASTIC_PASSWORD)
) 

resp = es.get(index="test-index", id=5)
print(resp)

Kibana Web GUI로 결과 확인하기

Kibana Web GUI의 'dev tool'을 이용하여 아래와 같이 index, document를 조회할 수 있다.

위 Web GUI에서 사용했던 Elasticsearch Query 참고.

##
## Index 정보를 가져온다.
##

GET _cat/indices?v

## 응답은 이런 모양이다.
health status index           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   example-index-0 Up1jqY3PTG2pLHdOLJcLGQ   1   1   18126912          739      2.9gb          2.9gb
yellow open   test-index      nGaLdNNORHKfJF1maBlNvw   1   1          2            0     11.2kb         11.2kb




##
## "example-index-0" 인덱스에 있는 모든 document 중에서 3개만 가져온다.
##

GET example-index-0/_search?size=3
{  
  "query": {
    "match_all": { }
  }
}
 

##
## "app" 항목 중에서 "server"라는 어휘가 포함돠ㅣㄴ 문서를 모두 가져온다.
##

GET example-index-0/_search
{  
  "query": {
    "match": { "app": "server" }
  }
}


##
## "mac-address" 항목 중에서 정확하게 "0e:c3:0d:97:ba:f0" 와 일치하는 document만 가져온다.
##

GET example-*/_search
{  
  "query": {
    "match_phrase": { "mac-address": "0e:c3:0d:97:ba:f0" }
  }
}


##
## Elasticsearch Cluster 상태 정보를 가져온다. 
##

GET /_cluster/state

GET /_cluster/state?filter_path=metadata.indices.*.stat*

GET /example-index-0/_stats


##
## Elasticsearch Cluster에 저장된 전체 Document 개수를 가져온다.
##

GET /_count


##
## 위 _count 정보 중에서 _shard 정보를 제외한 정보를 가져온다.
##

GET /_count?filter_path=-_shards

Geneve (Generic Network Virtualization Encapsulation) protocol

Comparison Table: VXLAN vs Geneve

Macbook(맥북)을 사용하면서 모니터를 연결하는 대부분의 경우

Macbook <--> USB-C 4K 60Hz 영상 케이블 <--> 4K, 5K 모니터

이런 방식으로 연결한다.

그런데, 회사 회의실에 가면 대형 모니터가 4K 60Hz가 지원되지만 영상 케이블이 HDMI to HDMI인 경우가 거의 90% 이상이다.

이럴 때, 일반(저렴이) USB-C to HDMI 젠더를 사용하면 4K 30Hz로 Frame Rate가 절반으로 뚝 떨어진다.

(물론, 30만원 이상 가격의 좋은 USB-C 허브를 가진 경우라면 문제 없이 4K 60Hz 영상이 전송된다)

내가 2만원 이하의 금액으로 해결한 방법은

1)  USB-C to HDMI 케이블을 구입
     --> 결론: 꽝 !!!
                    모니터 화면이 깜빡 깜빡하는 현상이 있다.

2)  USB-C to HDMI 젠더 구입 
     --> 결론:  완전 만족  :D
                     모니터 화면 깜빡이는 현상이 없고, 마우스 움직임도 맥 모니터처럼 부드럽다.
                     배송비를 포함해서 15,000원에 만족하면서 쓰고 있다.
                     심지어 이 제품은 60W PD 충전까지 지원한다. ^^
                     HDMI만 지원하는 모니터에서 3840 x 2160 60Hz 영상을 보고자 한다면, 이 제품 추천~