9566

Kubernetes + PyTorch DDP에서 NCCL ALLREDUCE 타임아웃 해결기

9566 — Thu, 13 Nov 2025 19:38:42 +0900

(NCCL_P2P_DISABLE / NCCL_IB_DISABLE 2줄로 해결)

최근 Kubernetes GPU 노드에서 PyTorch DDP(DistributedDataParallel) 학습을 돌리던 중,

GPU 2장이 모두 정상적으로 할당되고 nvidia-smi도 잘 찍히는데,

항상 일정 시간이 지나면 NCCL ALLREDUCE 타임아웃이 발생하면서 학습이 죽어버리는 문제가 있었다.

로그는 아래처럼 폭발적으로 길어지며 결국 DistBackendError로 종료된다.

Watchdog caught collective operation timeout:
WorkNCCL(SeqNum=1, OpType=ALLREDUCE)

c10::DistBackendError: watchdog thread terminated with exception
process 1 terminated with signal SIGABRT

처음엔 코드 문제(샘플러, 에폭 루프, barrier, DataLoader 워커 수 등)를 다 확인했지만

결정적인 원인은 NCCL 통신 경로 자체가 환경과 충돌하는 문제였다.

문제 원인 요약

우리가 사용한 환경은:

단일 노드
GPU 2장 (RTX PRO 6000 Black)
Kubernetes Pod 1개에 nvidia.com/gpu: 2 할당
외부 네트워크 통신 없이 로컬 IPC로만 통신해도 충분한 구조

즉, InfiniBand도 없고, GPU 간 P2P(Not NVLink)도 사실 필요 없는 환경이었다.

그런데 NCCL은 기본적으로 다음을 시도한다:

GPU 간 P2P(NVLink) 통신
InfiniBand / RDMA
소켓 기반 통신
SHM 기반 IPC

여기서 **걸리는 경로(=지원되지 않거나, 지연이 발생하거나, 인터페이스가 꼬이는 경우)**가 발생하면

collective op(ALLREDUCE)의 타이밍이 뭉개지고, 결국 watchdog이 타임아웃을 때린다.

✨ 해결: 환경 변수 2줄 추가

결론적으로 문제는 아래 두 줄로 완전히 해결되었다.

    os.environ["NCCL_P2P_DISABLE"] = "1"  # GPU 간 P2P 통신 비활성화
    os.environ["NCCL_IB_DISABLE"] = "1"   # InfiniBand 비활성화

즉,

단일 노드지만 NVLink가 없는 GPU들끼리의 P2P를 NCCL이 억지로 시도하다가 끊김 → 타임아웃
InfiniBand가 없는 환경에서 IB path 스캔 중 지연 발생 → 타임아웃

을 방지했다는 뜻이다.

이 두 옵션을 비활성화하자마자:

NCCL이 SHM/Socket 기반으로 깨끗하게 고정
통신이 안정화
ALLREDUCE 타임아웃 완전 소멸
2GPU DDP 학습이 정상적으로 끝까지 진행

정말 “두 줄의 기적”이었다.

수정 코드 (초기 DDP setup 직전)

전체 코드 구조는 유지하고, main_worker() 또는 setup_distributed() 가장 앞쪽에 아래처럼 넣으면 된다.

# --- 핵심 해결 코드 ---
os.environ["NCCL_P2P_DISABLE"] = "1"  # GPU 간 P2P 통신 비활성화
os.environ["NCCL_IB_DISABLE"] = "1"   # InfiniBand 비활성화
# ------------------------

dist.init_process_group(backend="nccl")
torch.cuda.set_device(local_rank)

Kubernetes 환경에서는 Container spec 안에 다음처럼 추가해도 동일하게 동작한다.

env:
- name: NCCL_P2P_DISABLE
  value: "1"
- name: NCCL_IB_DISABLE
  value: "1"

왜 이 두 줄이 효과가 있었을까?

정리하자면:

NCCL 기능우리 환경결과

P2P (NVLink)	RTX PRO 6000 Black — NVLink 없음	NCCL이 P2P 경로를 시도 → 실패/지연
InfiniBand	없음	NCCL이 IB 스캔하다가 초기화 지연
Socket/SHM	있음 (정상)	우리가 원하는 통신 방식

따라서 “쓰지 않는 기능을 강제로 끄는 것”이 오히려 더 안전했다.

최종 결과

NCCL ALLREDUCE 타임아웃 100% 해결
rank0/rank1 모두 안정적으로 에폭 종료
GPU 2장 DDP 학습 정상 진행
학습 속도와 GPU 활용률이 일정하게 유지됨
종료 시 DistBackendError / SIGABRT도 더 이상 발생 안 함

결론은 아주 명확하다.

단일 노드에서 P2P(NVLink 없음) + InfiniBand 없는 환경이라면

NCCL_P2P_DISABLE=1 / NCCL_IB_DISABLE=1 을 기본값으로 깔고 가는 게 더 좋다.

비슷한 문제를 겪는 분들에게

만약 다음과 같은 증상을 겪고 있다면:

DDP에서 ALLREDUCE 타임아웃 발생
rank 간 collective 불일치 에러
watchdog이 collective를 죽였다는 메시지 출력
DistBackendError
SIGABRT, SIGKILL로 종료
GPU는 잘 보이는데 통신이 계속 불안정함
NCCL이 “work sequence id 1”에서 멈춰 있음

가장 먼저 아래 두 줄을 시도해보길 추천한다.

os.environ["NCCL_P2P_DISABLE"] = "1"
os.environ["NCCL_IB_DISABLE"] = "1"

10분짜리 에러 로그를 한 번에 종결할 수 있는 해결책이었다.

✅2개의 GPU 환경에서 DDP 분산 학습 구축하기: 오늘의 기술 실험 기록

9566 — Mon, 10 Nov 2025 20:22:55 +0900

오늘은 “데이터 병렬은 안 되는데… 그렇다고 GPU를 놀릴 순 없고…” 라는 현실적인 고민에서 출발했다.

하루 종일 CUDA 지형도를 탐사하며, GPU 간 통신부터 DDP 구조까지 파고든 실전 기록을 남긴다.

1. 문제의 시작: DataParallel이 먹통이었다

초기 목표는 단순했다.

“GPU 두 장 있으니 DataParallel로 성능 두 배!”

하지만 NVIDIA의 냉정한 진단 한 줄.

nvidia-smi topo -p2p a

결과는…

GPU0 ↔ GPU1 : NS (Not Supported)

즉, 두 GPU가 서로 직접 접근(P2P, peer-to-peer)을 지원하지 않는 구조였다.

메인보드의 PCIe 토폴로지 때문인데, 이건 소프트웨어로 바꿀 수 있는 문제가 아니다.

따라서 DataParallel은 비효율, 심지어 멈춤 현상까지 발생.

그래서 방향을 틀었다.

2. 결론: DistributedDataParallel(DDP)로 전환

P2P가 없어도 동작하는 GPU 분산 방식이 바로 DDP(DistributedDataParallel).

DP는 메인 GPU로 모든 배치를 몰아주는 구조라 P2P가 필수
DDP는 각 프로세스가 자신의 GPU에서 모델을 독립적으로 수행하고, NCCL로만 통신하여 P2P 필요 없음

즉,

P2P Not Supported 시스템 → DDP는 문제 없음

실제로 DP 보다 DDP에 대한 내용이 더 최신이었고 효과도 좋았다.

python main.py 에서도 2GPU DDP 실행

spawn 기반으로 프로세스 n개 생성
GPU 개수 따라 world_size 자동 설정
torchrun 호출 없이도 same behavior

오늘은 이 기반 구조까지 완성했다.

4. main.py 개선: use_gpu 옵션 기반 자동 실행

오늘 작성한 핵심 구조:

def main(use_gpu):
    if use_gpu == 1:
        main_worker(world_size=1)
    else:
        mp.spawn(main_worker, nprocs=use_gpu, args=(world_size,))

이제 사용자는 GPU 몇 개 사용할지만 정하면 된다.

처음엔 gpu 1장과 2장의 성능 차이를 비교하는걸 생각했는데 그렇게 하지 않아도 되었다.

하지만 궁금증 때문에 비교햇고 2장이 조금 더 나았다.(35분 vs 32분)

5. GPU 사용 시간 추적 기능 추가

전체 main.py 실행 시간
GPU 두 장이 동시에 사용된 시간
두 시간의 비율(%)

이걸 실시간 모니터링하는 GPUUsageTracker 클래스도 추가.

학습 끝에는 이런 리포트가 뜨도록 했다:

⏱️ 실행 시간 요약
• main.py 전체 실행 시간 : 0시간 32분 12초
• GPU 2대 동시 사용 시간 : 0시간 14분 55초
• 동시 사용 비율        : 46.32%

학습 병렬성 체크의 아주 훌륭한 지표.

6. GPU 메모리 출력 포맷 개선

기존 출력:

GPU 0: 100% 2340/97887MB

개선 후:

GPU 0: 2340/97887MB (2.23%)
GPU 1: 2340/97887MB (2.23%)

훨씬 직관적이다.

7. 결과 분석: DDP는 잘 돌아갔다

로그를 보면 DDP가 정상적으로 두 GPU를 활용하고 있음:

GPU 0: 2340/97887MB (2.23%)
GPU 1: 2340/97887MB (2.23%)

→ 두 GPU 모두 모델 shard를 가지고 forward/backward 수행한 흔적

→ NCCL은 정상 작동

→ 병렬학습 ✔︎

9. 오늘의 전체 성과

GPU 토폴로지 분석	P2P 불가 → DataParallel 비효율 원인 확인
분산 학습	spawn 기반 DDP 2GPU 지원 완료
실행 UX	python main.py –use-gpu=2 구현
GPU 모니터링	실시간 메모리 사용률 + 동시 사용 시간
출력 로그 정리	불필요한 중복 출력 제거

일반 개인 개발자가 ‘코드 저작권 등록’하는 가장 쉬운 방법

9566 — Sat, 8 Nov 2025 16:34:30 +0900

프로젝트를 지키는 가장 빠르고 확실한 법적 증명 만들기

코드를 직접 작성하는 순간 저작권은 자동으로 생긴다.

문제는 증명이다.

누군가 먼저 만들었다고 주장하거나, 비슷한 코드로 분쟁이 생기면?

바로 이때 필요한 것이 저작권 등록증이다.

개인 개발자에게는 보험 같은 존재다.

그리고 비용도 시간도 의외로 아주 적게 든다.

1. 어디에서 등록하나요?

한국저작권위원회에서 ‘프로그램 저작물’로 등록한다.

https://www.copyright.or.kr

문학·음악 같은 일반 저작물과 달리, 코드는 프로그램 저작물로 등록해야 한다.

2. 개인이 준비해야 할 것

개인 개발자가 준비해야 할 것은 사실 딱 세 가지다.

본인 인증(간편인증 또는 공동인증서)
소스코드 일부(PDF)
프로그램 설명서(PDF 또는 DOCX)

여기서 중요한 포인트는:

전체 코드를 제출할 필요 없다

연속된 30페이지 이내의 코드만 제출
핵심 기능이 드러나는 부분만 제출하면 충분
영업비밀도 잘 보호된다
외부 공개되지 않음

3. 등록 절차 (개인 기준 가장 빠른 방법)

1) 한국저작권위원회 사이트 접속

→ ‘저작권 등록 서비스’ 클릭

→ ‘온라인 등록’ 선택

2) ‘프로그램 저작물’ 선택

일반 저작물이 아니라 프로그램임을 잊지 말자.

3) 서류 업로드

프로그램 설명서
소스코드 일부
프로그램 명칭 및 개발 목적 입력

설명서는 대략 이렇게 구성하면 된다:

프로그램 이름
개발 목적
주요 기능
전체 구조(아키텍처 등)
모듈별 기능 설명
구동 화면 또는 예시

원하면 템플릿도 만들어줄 수 있다.

4) 비용 결제

온라인 신청 기준: 3만 원대

5) 등록증 발급

보통 1~2주 이내

PDF 형태의 ‘프로그램 저작권 등록증’ 수령

4. 비용: 개인 기준 얼마쯤 드나?

일반 개인 개발자가 직접 온라인으로 신청하면:

항목금액

등록 수수료	20,000 ~ 30,000원
등록면허세	3,600원
합계	약 23,600 ~ 33,600원

✅ 부담 없는 금액
✅ 개인이 직접 신청하면 여기서 끝
✅ 변리사나 법무사는 필요 없음

5. 왜 개인이 등록해야 할까?

개인에게 가장 중요한 건 타임스탬프와 법적 증명력이다.

개발한 코드의 “작성 시점” 증거 확보
나중에 분쟁 발생 시 강력한 보호
퍼블리싱·상업화·외주 작업할 때 신뢰도 상승
파트너/고객/기업과 협업할 때 공식 자료로 인정됨
정부 과제나 스타트업 IR에서 IP 보호 증빙으로 활용 가능

특히 개인 개발자라면 더더욱 중요하다.

회사라는 보호막이 없으니까.

6. GitHub만으로 충분하지 않을까?

GitHub 커밋 기록도 증거로 쓰일 수 있다.

하지만:

법적 증명력은 저작권 등록보다 약함
정식 등록증 요구하는 경우가 종종 있음
기업·정부과제·외주 시장에서는 등록증이 신뢰성을 만든다

즉, 비용 대비 효과가 크다.

7. 마무리

개인이 코드 저작권을 등록하는 과정은

정말 생각보다 간단하고, 비용도 크지 않다.

단 3만 원대.

그리고 1~2주 후에 ‘법적 증명서’가 생긴다.

내가 만든 것을 공식적으로 내가 만들었다고 증명하는 첫걸음이다.

만약 지금 개발 중인 프로젝트가 있다면

설령 아주 작은 사이드 프로젝트라도

이 등록 하나는 꽤 든든한 방패가 되어줄 거다.

Federated Learning 이미지

9566 — Wed, 5 Nov 2025 21:02:13 +0900

포트폴리오 소재

9566 — Wed, 5 Nov 2025 20:36:30 +0900

- 타 이력서

페더레이티드 러닝(Federated Learning) 이란? 쉬운 설명

인공지능 분야에서 '페더레이티드 러닝(Federated Learning)'은 마치 여러 마을 사람들이 각자 집에서 공부한 내용을 공유하여 함께 똑똑해지는 것과 같습니다. 개인 정보를 보호하면서 인공지능 모

ai-inform.tistory.com

Hugging Face Hub 사용 가이드 gpt-oss 모델

9566 — Wed, 5 Nov 2025 20:25:24 +0900

https://huggingface.co/

Hugging Face – The AI community building the future.

The Home of Machine Learning Create, discover and collaborate on ML better. We provide paid Compute and Enterprise solutions. We are building the foundation of ML tooling with the community.

huggingface.co

1. 서론

Hugging Face Hub는 다양한 머신러닝 모델, 데이터셋, 스페이스(Spaces)를 공유하고 협업할 수 있는 플랫폼입니다.

허가된(gated) 혹은 비공개(private) 모델의 경우에는 **액세스 토큰(access token)**을 발급받아야 다운로드 또는 사용이 가능하며, 토큰을 통해 인증(authentication)과 권한(authorisation)을 처리할 수 있습니다.

이 글에서는 토큰을 어떻게 발급하고, 그리고 모델을 어떻게 사용하는지 (다운로드/로드/인퍼런스) 단계별로 살펴보겠습니다.

2. 액세스 토큰 발급 방법

2.1 계정 준비

위 사이트에 접속하여 계정을 생성하거나 로그인합니다.
이메일 인증이나 프로필 설정 등이 완료되어야 토큰 발급이 가능할 수 있습니다.

2.2 토큰 생성

로그인 후 우측 상단 아바타(프로필 아이콘)를 클릭 → Settings(설정) 메뉴 진입.
좌측 메뉴에서 Access Tokens 또는 Tokens 탭을 선택합니다.
“New token” 또는 “+ Create new token” 버튼을 클릭하여 새 토큰을 생성합니다.
토큰 이름(Name)을 지정하고, 권한(scope) 또는 역할(role)을 선택합니다. (예: 읽기(read)만, 읽기+쓰기(read+write) 등)
생성된 토큰 값을 복사해 둡니다. 생성 후 다시는 보이지 않을 수 있으므로 안전한 장소에 저장해야 합니다.

2.3 권한 및 안전 주의사항

읽기(read) 전용 토큰은 모델 다운로드 또는 인퍼런스만 가능하며, 쓰기(write) 권한이 있는 토큰은 업로드(push) 및 리포지토리 수정도 가능.
비공개 조직(organization)이나 팀 계정 사용하는 경우에는 토큰 관리, 권한 정책 등이 추가로 존재합니다 (예: 조직 관리자가 토큰 만들기/리뷰 가능) .
토큰을 코드나 버전관리(GitHub 등)에 노출시키면 안 됩니다. 외부 공개 저장소에 토큰이 담기면 보안 사고로 이어질 수 있습니다.

3. 토큰을 이용한 모델 사용 방법

3.1 인증(Authentication)

모델 사용 전 인증이 필요합니다. 방법은 여러 가지가 있습니다.

환경 변수(environment variable)로 설정: HF_TOKEN="hf_xxx…” 등
코드 내에서 토큰을 전달: 예) use_auth_token=… 파라미터 등
CLI 로그인: huggingface-cli login 명령어로 토큰을 입력하는 방식.

3.2 모델 다운로드 및 로드

예를 들어, 비공개 또는 사용 허가가 필요한 모델(예: google/gemma-2-2b-it 등) 사용할 때 다음과 같은 코드를 참고할 수 있습니다.

https://huggingface.co/google/gemma-2-2b-it

google/gemma-2-2b-it · Hugging Face

This repository is publicly accessible, but you have to accept the conditions to access its files and content. To access Gemma on Hugging Face, you’re required to review and agree to Google’s usage license. To do this, please ensure you’re logged in

huggingface.co

access to this model

3.4 게이트드(Gated) 모델 접근 주의

일부 모델은 사용 전에 라이선스 동의(usage license) 또는 액세스 요청(request access) 절차가 필요합니다. 예를 들어 google/gemma-2-2b-it 모델은 사용 전에 허가 조건을 동의해야 합니다.

이 경우 토큰만으로는 부족하고, 모델 페이지에서 “Accept license” 또는 “Request access” 버튼을 눌러야 할 수 있습니다.

LLM 기반 MLOps 시연 중 발생한 Hugging Face Gated Model 인증 오류 정리

9566 — Wed, 5 Nov 2025 20:01:11 +0900

최근 MLOps 시연 환경에서 vLLM을 통해 gpt-oss-20b 모델을 연동하던 중 다음과 같은 오류가 발생했습니다.

이 글에서는 오류 원인, 배경, 해결 방향을 단계별로 정리했습니다.

프로젝트 개요

1️⃣ 시연 구성

모델: gpt-oss-20b (OSS LLM)
서빙: vLLM
UI: Streamlit 기반 대화형 인터페이스

사용자는 Streamlit에서 프롬프트를 입력하고, vLLM 서버를 통해 모델 추론 결과를 실시간으로 확인할 수 있는 구조입니다.

2️⃣ 병행 작업

현대차 배터리 DPAST 모델용 MLOps 템플릿 구축
- 전처리 / 모델 / 학습 / MLflow 로그 저장까지 자동화
- best_epoch 메타데이터를 MLflow에 저장하는 부분에서 시간이 다소 소요

3️⃣ 남은 과업

gpt-oss-20b 모델 연동 인증 오류 해결
관련 토큰 발급 및 환경 변수 주입 과정을 블로그로 문서화

⚠️ 발생 오류 요약

로그의 핵심 부분은 다음과 같습니다:

OSError: You are trying to access a gated repo.
Make sure to have access to it at https://huggingface.co/google/gemma-2-2b-it.
401 Client Error. Access to model google/gemma-2-2b-it is restricted.
You must have access to it and be authenticated to access it.

Hugging Face의 게이트드(Gated) 모델에 접근 중이며,
인증 토큰을 인식하지 못한 상태에서 요청이 전송된 상황입니다.

251105 수 작업일지

9566 — Wed, 5 Nov 2025 19:59:39 +0900

1. mlops 시연 영상 구축(llm 모델 - gpt-oss-20b 모델 활용)

- 모델 / 서빙 / 스트림릿 화면 제작 ( 스트림릿 화면은 사용자를 위해)

2. mlops 템플릿 만들기(현대차 배터리 dpast 모델 - 전처리 / 모델 / 학습 )

- mlflow에 best_epoch 을 저장하는 것에 시간 소요

3. 남은 과업

- gpt-oss-20b 연동오류(토큰이 안맞다는데 관련해서 토큰 발급 블로그 만들것)

_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m     return ModelConfig(
[2025-11-05T13:35:25.865+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m            ^^^^^^^^^^^^
[2025-11-05T13:35:25.865+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m   File "/opt/conda/lib/python3.11/site-packages/pydantic/_internal/_dataclasses.py", line 123, in __init__
[2025-11-05T13:35:25.865+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m     s.__pydantic_validator__.validate_python(ArgsKwargs(args, kwargs), self_instance=s)
[2025-11-05T13:35:25.865+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m   File "/opt/conda/lib/python3.11/site-packages/vllm/config/__init__.py", line 603, in __post_init__
[2025-11-05T13:35:25.865+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m     self.model, self.tokenizer = maybe_override_with_speculators_target_model(  # noqa: E501
[2025-11-05T13:35:25.865+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m                                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[2025-11-05T13:35:25.865+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m   File "/opt/conda/lib/python3.11/site-packages/vllm/transformers_utils/config.py", line 487, in maybe_override_with_speculators_target_model
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m     config_dict, _ = PretrainedConfig.get_config_dict(
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m                      ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m   File "/opt/conda/lib/python3.11/site-packages/transformers/configuration_utils.py", line 662, in get_config_dict
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m     config_dict, kwargs = cls._get_config_dict(pretrained_model_name_or_path, **kwargs)
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m                           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m   File "/opt/conda/lib/python3.11/site-packages/transformers/configuration_utils.py", line 721, in _get_config_dict
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m     resolved_config_file = cached_file(
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m                            ^^^^^^^^^^^^
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m   File "/opt/conda/lib/python3.11/site-packages/transformers/utils/hub.py", line 321, in cached_file
[2025-11-05T13:35:25.866+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m     file = cached_files(path_or_repo_id=path_or_repo_id, filenames=[filename], **kwargs)
[2025-11-05T13:35:25.867+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[2025-11-05T13:35:25.867+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m   File "/opt/conda/lib/python3.11/site-packages/transformers/utils/hub.py", line 542, in cached_files
[2025-11-05T13:35:25.867+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m     raise OSError(
[2025-11-05T13:35:25.867+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m OSError: You are trying to access a gated repo.
[2025-11-05T13:35:25.867+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m Make sure to have access to it at https://huggingface.co/google/gemma-2-2b-it.
[2025-11-05T13:35:25.867+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m 401 Client Error. (Request ID: Root=1-690ad40d-6065067156b6c5ac666168e4;1c1791cc-fe12-495c-80a4-fcd647aed6a4)
[2025-11-05T13:35:25.867+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m
[2025-11-05T13:35:25.867+0900] {pod_manager.py:472} INFO - [base]  [1;36m(APIServer pid=21) [0;0m Cannot access gated repo for url https://huggingface.co/google/gemma-2-2b-it/resolve/main/config.json.
[2025-11-05T13:35:26.861+0900] {pod_manager.py:490} INFO - [base]  [1;36m(APIServer pid=21) [0;0m Access to model google/gemma-2-2b-it is restricted. You must have access to it and be authenticated to access it. Please log in.

에러 요약

OSError: You are trying to access a gated repo … google/gemma-2-2b-it … 401 Client Error
의미: Hugging Face 게이트드(승인 필요) 모델에 접근 중인데, vLLM 프로세스에서 인증 토큰을 인식 못 함.

핵심 원인

모델이 게이트드 → 계정에서 접근 승인이 필요
Pod/컨테이너/프로세스 환경에 HF 토큰 미주입 또는 잘못된 변수명
실행 유저 불일치(토큰은 A유저 홈, 프로세스는 B유저)
네트워크/프록시로 huggingface.co 접근 실패

1) 접근 권한 확인

모델 페이지에서 Access Granted인지 확인(이미 승인되었다면 OK)

아직 해결 못함

GPU 두 대로 학습 속도 개선한 후기(data parallel 활용)

9566 — Tue, 4 Nov 2025 20:51:52 +0900

모델 학습 속도를 높이기 위해 RTX 6000 GPU 2대를 활용했습니다.

처음에는 여러 병렬화 기법을 검토했는데, 상황에 따라 효율이 크게 달라서 선택이 중요했습니다.

1. 병렬화 방식 검토

딥러닝 모델을 여러 GPU에서 학습시킬 때 주로 사용하는 병렬화 방식은 다음과 같습니다:

Data Parallel
→ 학습 후 각 GPU의 gradient를 평균내 업데이트.
→ CNN 계열 모델에서 가장 일반적이고 구현이 간단함.
→ 각 GPU에 동일한 모델을 복제하고, 데이터를 분할해 병렬 학습.
Model Parallel / Tensor Parallel
→ 거대한 파라미터(수십억 단위)를 가진 대형 모델에서 유용하지만, CNN처럼 상대적으로 작은 모델에서는 오히려 통신 비용이 커서 비효율적임.

2. 선택한 방식: Data Parallel

이번 프로젝트는 CNN 기반 모델이라,

Tensor Parallel은 오히려 오버헤드가 커서 사용하지 않았습니다.

대신, PyTorch의 torch.nn.DataParallel 방식을 적용하여

2개의 RTX Pro 6000 GPU를 활용했습니다.

3. 결과

단일 GPU 대비 약 1.8배 속도 향상 확인
구현이 간단하면서도 안정적인 학습 속도 개선
메모리 분산 효과로 batch size를 더 크게 설정 가능

4. 한줄 요약

대형 언어모델이 아니라면, 복잡한 병렬화 대신

Data Parallel이 가장 깔끔하고 실용적인 선택입니다.

리눅스 마스터 2급 암기

9566 — Mon, 21 Jul 2025 17:01:51 +0900

X 윈도 환경에서만 사용할 수 있는 (GUI 기반) 편집기
- kwrite

터미널(콘솔)환경에서만 사용할 수 있는 (텍스트) 편집기
- nano, vim, pico (nvp -> mvp)

[프롬프트 제공]GPT로 데이터 정의서 자동화! 엑셀 파일만 올리면 바로 완성하는 방법

9566 — Thu, 17 Jul 2025 14:41:46 +0900

GPT로 데이터 정의서 쉽게 자동화하기

많은 데이터를 관리할 때 데이터 정의서는 꼭 필요하지만, 만드는 데 시간이 많이 걸립니다.
이제는 GPT를 활용해서 데이터 정의서를 빠르고 쉽게 자동으로 만들 수 있습니다.

어떻게 할까?

프롬프트만 잘 만들면 테이블명, 컬럼 설명 등 정의서가 자동으로 작성돼요.
고객사가 자료를 많이 제공해도, GPT에 입력하면 대량의 정의서를 한 번에 만들 수 있습니다.

보안도 중요!

민감한 정보(개인정보 등)는 미리 빼고,
예시 값이 필요하면 첫 번째 값만 보여주어 데이터가 새지 않도록 합니다.

효과

정의서 만드는 시간이 크게 줄어요.
반복 작업이 쉬워집니다.
보안도 신경 쓰니, 안심하고 쓸 수 있습니다.

프롬프트

하기 프롬프트 2개를 순서대로 그대로 복붙하여 사용 가능합니다.
- 1번 프롬프트 복붙 + 엔터 -> 엑셀파일 업로드 -> 2번 프롬프트 복붙 + 엔터 -> 최종결과 도출
도메인은 직접 작성이 필요합니다.

작업 요청: 데이터 정의서(.xlsx) 자동 생성
도메인 : 농업
목표 : 업로드하는 도메인의 엑셀 데이터를 기반으로 데이터 정의서를 .xlsx 파일 형식으로 생성해 주세요.

세부 조건 :
1. 엑셀 파일이 여러 개일 경우, 3개씩 묶어서 순차적으로 처리해 주세요.
    1-1. .xlsx 파일을 클릭해서 직접 다운로드 가능하도록 하려면, 아래와 같이 다운로드 가능한 URL 형태로 결과를 제공
    1-2. 데이터 정의서가 성공적으로 생성되었습니다. 아래 파일명을 클릭하면 .xlsx 파일을 직접 다운로드할 수 있습니다:
        1-2-1. [(190101)비닐_주차수_데이터정의서.xlsx](sandbox:/mnt/data/(190101)비닐_주차수_데이터정의서.xlsx)
        1-2-2. [(190101)유리_주차수_데이터정의서.xlsx](sandbox:/mnt/data/(190101)유리_주차수_데이터정의서.xlsx)

2. 생성되는 데이터 정의서에는 아래 항목이 포함되어야 합니다:
    2-1. 변수명
    2-2. 데이터 타입 (int, float, object 등)
    2-3. 결측값 여부 (TRUE, FALSE)
    2-4. 대표값 (실수/정수는 nan제외 첫번째 값 1개, 명목형은 대표값 1개)
3. 대표값 처리 기준:
    3-1. 숫자형 변수 (int, float)
    3-2. float는 소수점 셋째 자리까지만 표시
    3-3. 명목형 변수 (object, category 등): 첫 번째 값 기준으로 표시
4. 정의서 시트의 **첫 번째 행(헤더)**은 다음과 같이 강조:
    4-1. 글씨 크기 크게
    4-2. 배경 색상 노란색
5. 각 원본 엑셀 파일에 대해 개별적인 데이터 정의서 파일을 생성
    5-1. 원본 파일명에 한글이 포함되어 있다면, 해당 부분은 간단한 영문 매핑(예: "비닐" → "vinyl", "주차수" → "week")을 적용해 변환합니다.

예시: (190101)_비닐_주차수.xlsx → (190101)_vinyl_week.xlsx

한글이 포함된 유니코드 조합형(NFC/NFD) 문제를 방지하기 위해 반드시 영문으로 변환하여 사용합니다.

최종 파일명은 변환된 영문 파일명 뒤에 _data_definition을 붙여 .xlsx 확장자로 저장합니다.

예시: (190101)_vinyl_week_data_definition.xlsx

최종 산출물에서 변수명을 확인한 후, 농업 도메인 기준으로 해석하여 변수 설명을 작성합니다.
작성한 변수 설명을 "변수설명"이라는 마지막 열에 추가한 엑셀 파일을 생성합니다.

최종 결과

결과는 다음과 같은 엑셀(.xlsx)로 출력됩니다.

Bidirectional LSTM-CRF Models for Sequence Tagging 정리

9566 — Sat, 9 Mar 2024 14:41:38 +0900

POS 태킹 리스트

9566 — Sat, 2 Mar 2024 15:01:51 +0900

Alphabetical list of part-of-speech tags used in the Penn Treebank Project:
Number Tag Description
1. CC Coordinating conjunction
2. CD Cardinal number
3. DT Determiner
4. EX Existential there
5. FW Foreign word
6. IN Preposition or subordinating conjunction
7. JJ Adjective
8. JJR Adjective, comparative
9. JJS Adjective, superlative
10. LS List item marker
11. MD Modal
12. NN Noun, singular or mass
13. NNS Noun, plural
14. NNP Proper noun, singular
15. NNPS Proper noun, plural
16. PDT Predeterminer
17. POS Possessive ending
18. PRP Personal pronoun
19. PRP$ Possessive pronoun
20. RB Adverb
21. RBR Adverb, comparative
22. RBS Adverb, superlative
23. RP Particle
24. SYM Symbol
25. TO to
26. UH Interjection
27. VB Verb, base form
28. VBD Verb, past tense
29. VBG Verb, gerund or present participle
30. VBN Verb, past participle
31. VBP Verb, non-3rd person singular present
32. VBZ Verb, 3rd person singular present
33. WDT Wh-determiner
34. WP Wh-pronoun
35. WP$ Possessive wh-pronoun
36. WRB Wh-adverb

Bidirectional-LSTM-CRF 논문 번역

9566 — Thu, 29 Feb 2024 04:25:01 +0900

Abstract

이 논문에서는 시퀀스 태깅을 위한 다양한 LSTM(Long Short-Term Memory) 기반 모델을 제안합니다. 이러한 모델에는 LSTM 네트워크, 양방향 LSTM(BI-LSTM) 네트워크, 조건부 랜덤 필드(CRF) 계층(LSTM-CRF)이 있는 LSTM 및 CRF 계층(BI-LSTM-CRF)이 있는 양방향 LSTM이 포함됩니다. 저희의 연구는 양방향 LSTM CRF(BI-LSTM-CRF로 표시됨) 모델을 NLP 벤치마크 시퀀스 태그 생성 데이터 세트에 적용한 첫 번째 연구입니다. 저희는 BI-LSTM-CRF 모델이 양방향 LSTM 구성 요소 덕분에 과거 및 미래 입력 기능을 모두 효율적으로 사용할 수 있음을 보여줍니다. CRF 계층 덕분에 문장 수준 태그 정보도 사용할 수 있습니다. BI-LSTM-CRF 모델은 POS, 청킹 및 NER 데이터 세트에서 최첨단(또는 거의 근접)의 정확도를 생성할 수 있습니다. 또한 이전 연구에 비해 견고하고 단어 임베딩에 대한 의존도가 낮습니다.

1 Introduction

음성 태그 부분(POS), 청크 및 명명된 엔터티 인식(NER)을 포함한 시퀀스 태그 지정은 전형적인 NLP 작업이었습니다. 이는 수십 년 동안 연구의 주목을 받아왔습니다. 태거의 출력은 다운스트림 응용 프로그램에 사용될 수 있습니다. 예를 들어, 사용자 검색 쿼리로 훈련된 개체명 인식기는 어떤 텍스트 영역이 제품인지 식별하여 특정 제품 광고를 활성화할 수 있습니다. 또 다른 예는 이러한 태그 정보가 검색 엔진에 의해 관련 웹 페이지를 찾는 데 사용될 수 있다는 것입니다.
대부분의 기존 시퀀스 태깅 모델은 HMM(Hidden Markov Model), MEMM(Maximum entropy Markov Model)(McCallum et al., 2000) 및 CRF(Conditional Random Fields)를 포함하는 선형 통계 모델입니다.(Lafferty 등, 2001). 시퀀스 태깅 문제를 해결하기 위해 컨볼루셔널 네트워크 기반 모델(Collobert et al., 2011)이 최근 제안되었습니다. 우리는 이러한 모델을 Conv-CRF라고 부르는데, 이는 Convolutional Network와 출력의 CRF 레이어로 구성되어 있기 때문입니다(원본 논문에서는 문장 수준 대수 우도(SSL)라는 용어가 사용되었습니다). Conv-CRF 모델은 시퀀스 태깅 작업에서 유망한 결과를 도출했습니다. 음성 언어 이해(Speech Language Understanding) 커뮤니티에서는 최근 Recurrent Neural Network(Mesnil et al., 2013; Yao et al., 2014)와 Convolutional Nets(Xu and Sarikaya, 2013) 기반 모델이 제안되었습니다. 이와 관련된 다른 연구로는 음성 인식을 위해 양방향 순환 신경망(Bidirectional Recurrent Neural Network, Bi-RNN)을 제안한 Graves 등의 연구 등이 있습니다.
본 논문에서는 시퀀스 태깅 작업을 위한 다양한 신경망 기반 모델을 제안합니다. 이러한 모델에는 LSTM 네트워크, 양방향 LSTM 네트워크(BI-LSTM), CRF 계층이 있는 LSTM 네트워크(LSTM-CRF) 및 CRF 계층이 있는 양방향 LSTM 네트워크(BI-LSTM-CRF)가 포함됩니다. 우리의 기여는 다음과 같이 요약될 수 있습니다.
1) 우리는 NLP 태깅 데이터 세트에 대해 앞서 언급한 모델의 성능을 체계적으로 비교합니다.
2) 우리의 작업은 NLP 벤치마크 시퀀스 태깅 데이터 세트에 양방향 LSTM CRF(BI-LSTM-CRF로 표시됨) 모델을 적용한 최초의 작업입니다. 이 모델은 양방향 LSTM 구성 요소 덕분에 과거 및 미래 입력 기능을 모두 사용할 수 있습니다. 또한 이 모델은 CRF 레이어 덕분에 문장 수준의 태그 정보를 사용할 수 있습니다. 우리 모델은 POS, 청크 및 NER 데이터 세트에 대해 최첨단(또는 그에 가까운) 정확도를 생성할 수 있습니다.
3) 우리는 BI-LSTM-CRF 모델이 강력하고 이전 관찰과 비교하여 단어 임베딩에 대한 의존도가 낮다는 것을 보여줍니다.(Collobert et al., 2011). 워드 임베딩에 의존하지 않고도 정확한 태깅 성능을 발휘할 수 있습니다.
논문의 나머지 부분은 다음과 같이 구성되어 있습니다. 섹션 2는 본 논문에서 사용된 시퀀스 태깅 모델에 대해 설명합니다. 섹션 3은 Training 절차를 보여줍니다. 섹션 4는 실험 결과를 보고합니다. 섹션 5는 관련 연구에 대해 논의합니다. 마지막으로 섹션 6은 결론을 도출합니다.신

2 Models

이 섹션에서는 본 논문에서 사용된 모델인 LSTM, BI-LSTM, CRF, LSTM-CRF 및 BI-LSTM-CRF를 설명합니다.

2.1 LSTM Networks

순환 신경망(RNN)은 언어 모델(Mikolov et al., 2010; Mikolov et al., 2011)과 음성 인식(Graves et al., 2005)을 포함한 다양한 작업에서 유망한 결과를 산출하기 위해 사용되었습니다. RNN은 이력 정보(history information)를 기반으로 메모리를 유지하며, 이를 통해 모델은 장거리 변수(long distance features)에 따라 현재 출력을 예측할 수 있습니다. 그림 1은 입력 계층 x, 은닉 계층 h 및 출력 계층 y를 갖는 RNN 구조(Elman, 1990)를 보여줍니다. 개체명 태그 지정 컨텍스트에서 x는 입력 특징을 나타내고 y는 태그를 나타냅니다.

그림 1은 각 단어가 다른 것(O, Other) 또는 네 가지 개체 유형 = 개인(PER, Person), 위치(LOC, Location), 조직(ORG, Organization) 및 기타(MISC, Miscellaneous) 중 하나로 태그되는 명명된 개체 인식 시스템을 보여줍니다. "EU rejects German call to boycott British lamb."의 문장은 B-ORG O B-MISC O B-MISC O로 태그되며, 여기서 B(Begin)-, I(Inside)-태그는 개체의 시작 및 중간 위치를 나타냅니다.

여기서 U, W, V는 훈련 시간에 계산해야 할 연결 가중치이며, f(z)와 g(z)는 다음과 같은 시그모이드 및 소프트맥스 활성화 함수입니다.

입력층은 시간 t에서의 특성을 나타냅니다. 이 특성은 단어 특성에 대한 원-핫 인코딩, 밀집 벡터 특성, 또는 희소 특성이 될 수 있습니다. 입력 레이어는 feature 크기와 동일합니다. 출력층은 시간 t에서의 레이블에 대한 확률 분포를 나타냅니다. 레이블의 크기와 동일한 차원의 크기를 갖습니다.

feed-forward 네트워크와 비교하여 RNN은 이전의 숨겨진 상태와 현재의 숨겨진 상태(따라서 순환 계층 가중치 매개변수) 사이의 연결을 도입합니다. 이 순환층(Recurrent Layer)은 과거 정보를 저장하기 위해 설계되었습니다. 은닉층(hidden layer)과 출력층(output layer)의 값은 다음과 같이 계산됩니다.이 논문에서는 Long Short-Term Memory(Hochreiter and Schmidhuber, 1997; Graves et al., 2005)을 시퀀스 태깅에 적용합니다. Long Short-Term Memory 네트워크는 RNN과 동일하지만, 은닉층의 업데이트가 목적에 맞게 설계된 메모리 셀로 대체된다는 점이 다릅니다. 이로 인해 데이터의 장거리 의존성을 찾고 활용하는 데 더 우수할 수 있습니다. 아래의 Fig. 2는 단일 LSTM 메모리 셀을 보여줍니다(Graves et al., 2005).

LSTM 메모리 셀은 다음과 같이 구현됩니다.

여기서 σ는 로지스틱 시그모이드 함수이고, i, f, o, c는 각각 입력 게이트(input gate), 삭제 게이트(forget gate), 출력 게이트(output gate), 셀 벡터(cell vector)를 의미합니다. 이들은 모두 은닉 벡터 h와 동일한 크기를 가집니다. 가중치 행렬의 아래 첨자들은 그 이름이 나타내는 바와 같은 의미를 가집니다. 예를 들어, Whi는 은닉-입력 게이트 행렬을, Wxo는 입력-출력 게이트 행렬을 나타냅니다. 셀에서 게이트 벡터로의 가중치 행렬들 (예: Wci)은 대각선(diagonal) 행렬이므로 각 게이트 벡터의 요소 m은 셀 벡터의 요소 m에서만 입력을 받습니다.
Fig. 3은 앞서 언급된 LSTM 메모리 셀들을 사용하는 LSTM 시퀀스 태깅 모델을 보여줍니다. 이는 점선 상자로 표시된 라운드 코너(dashed boxes with rounded corners)를 가진 LSTM 메모리 셀들을 포함하고 있습니다.

2.2 Bidirectional LSTM Networks

시퀀스 태깅 작업에서는 주어진 시간 동안 과거와 미래의 입력 특성에 모두 액세스할 수 있으므로 (Graves et al., 2013)에서 제안한 대로 양방향 LSTM 네트워크(그림 4)를 활용할 수 있습니다. 이를 통해 특정 시간 프레임에 대해 과거 기능(순방향 상태를 통해)과 미래 기능(역방향 상태를 통해)을 효율적으로 사용할 수 있습니다. 우리는 시간에 따른 역전파(BPTT)를 사용하여 양방향 LSTM 네트워크를 학습시킵니다(Boden., 2002). 시간이 지남에 따라 펼쳐진 네트워크에 대한 정방향 및 역방향 전달은 모든 시간 단계에 대해 숨겨진 상태를 펼쳐야 한다는 점을 제외하면 일반 네트워크(NN) 정방향 및 역방향 전달과 유사한 방식으로 수행됩니다. 또한 데이터 포인트의 시작과 끝 부분에 특별한 처리가 필요합니다. 우리의 구현에서는 전체 문장에 대해 앞으로 및 뒤로 작업을 수행하며 각 문장마다 호출될 때 hidden state를 0으로 재설정하기만 하면 됩니다. 여러 문장을 동시에 처리할 수 있는 배치 구현이 있습니다.

2.3 CRF networks

현재 태그를 예측할 때 이웃 태그 정보를 활용하는 방법에는 두 가지가 있습니다.

첫 번째는 각 시간 단계에 대한 태그 분포를 예측한 다음 빔형 디코딩을 사용하여 최적의 태그 시퀀스를 찾는 것입니다. 최대 엔트로피 분류기(Ratnaparkhi, 1996)와 최대 엔트로피 마르코프 모델(MEMM)(McCallum et al., 2000)의 작업이 이 범주에 속합니다. 두 번째는 개별 위치 대신 문장 수준에 초점을 맞춰 조건부 무작위 필드(CRF) 모델로 이어지는 것입니다(Lafferty et al., 2001)(그림 5). 메모리 셀/반복 구성 요소가 사용되는 LSTM 및 양방향 LSTM 네트워크와 달리 입력 및 출력은 직접 연결됩니다. CRF(Conditional Random Fields)는 일반적으로 더 높은 태깅 정확도를 얻을 수 있다는 것이 보여졌습니다. 흥미로운 점은 이러한 태그 정보 사용 방식 간의 관계가 입력 특성을 사용하는 두 가지 방법(앞서 언급한 LSTM 및 BI-LSTM 네트워크 참조)과 유사하다는 것이며, 이 논문에서의 결과는 LSTM에 비해 BI-LSTM의 우월성을 확인합니다.

2.4 LSTM-CRF networks

LSTM 네트워크와 CRF 네트워크를 결합하여 그림 6과 같은 LSTM-CRF 모델을 구성합니다. 이 네트워크는 LSTM 레이어를 통해 과거 입력 특징과 CRF 레이어를 통해 문장 수준 태그 정보를 효율적으로 사용할 수 있습니다. CRF 레이어는 연속된 출력층을 연결하는 선으로 표현됩니다. CRF 레이어에는 상태 전이 행렬(state transition matrix)을 매개변수로 가집니다. 이러한 층을 사용하면 과거 및 미래 태그를 효율적으로 사용하여 현재 태그를 예측할 수 있습니다. 이는 양방향 LSTM 네트워크를 통해 과거 및 미래 입력 기능을 사용하는 것과 유사합니다.

네트워크에서 출력되는 점수 행렬 fθ([x]T1 )를 고려합니다. 표기를 간단히하기 위해 입력 [x]T1은 제외합니다. 행렬의 원소 [fθ]i,t는 매개변수 θ로 네트워크에 의해 출력된 점수로, [x]T1 문장과 i번째 태그에 대해 t번째 단어에서 출력됩니다. 우리는 연속된 시간 단계의 쌍을 위해 i번째 상태에서 j번째 상태로의 전이를 모델링하기 위해 전이 점수 [A]i,j를 소개합니다. 이 전이 행렬은 위치에 독립적입니다. 이제 네트워크의 새로운 매개변수를 θ ̃ = θ ∪ {[A]i,j ∀i, j }로 표기합니다. 문장 [x]T1과 태그 경로 [i]T1의 점수는 이제 전이 점수와 네트워크 점수의 합으로 주어집니다:

동적 프로그래밍(Rabiner, 1989)은 추론을 위한 전이행렬 [A]i,j 및 최적의 태그 시퀀스를 계산하는 데 효율적으로 사용될 수 있습니다. 자세한 내용은 (Lafferty et al., 2001)을 참조하세요.

2.5 BI-LSTM-CRF networks

LSTM-CRF 네트워크와 유사하게 양방향 LSTM 네트워크와 CRF 네트워크를 결합하여 BI-LSTM-CRF 네트워크를 형성합니다(그림 7). BI-LSTM-CRF 모델은 LSTM-CRF 모델에서 사용된 과거 입력 특징과 문장 수준 태그 정보 외에 미래 입력 특징을 사용할 수 있다. 실험에서 볼 수 있듯이 추가 기능은 태깅 정확도를 높일 수 있습니다.

3 Training procedure

이 문서에 사용된 모든 모델은 일반적인 SGD 순방향 및 역방향 훈련 절차를 공유합니다. 하기 알고리즘 1에 표시된 학습 알고리즘을 설명하기 위해 가장 복잡한 모델인 BI-LSTM-CRF를 선택했습니다.

각 epoch(인공 신경망에서 전체 데이터 셋에 대해 forward pass/backward pass 과정을 거친 것을 말함. 즉, 전체 데이터 셋에 대해 한 번 학습을 완료한 상태)마다 전체 훈련 데이터를 배치로 나누고 한 번에 하나의 배치를 처리합니다. 각 배치에는 배치 크기 매개변수에 의해 결정되는 문장 목록이 포함됩니다. 실험에서는 총 길이가 100보다 크지 않은 문장을 포함한다는 의미인 100의 배치 크기를 사용합니다. 각 배치에 대해 먼저 순방향 상태와 역방향 상태 모두에 대한 순방향 전달을 포함하는 양방향 LSTM-CRF 모델 순방향 전달을 실행합니다. LSTM의 결과적으로 우리는 모든 위치의 모든 태그에 대한 출력 점수 fθ([x]T1 )를 얻습니다. 그런 다음 CRF 레이어 정방향 및 역방향 전달을 실행하여 네트워크 출력 및 상태 전환 엣지(선)에 대한 기울기를 계산합니다. 그 후, 우리는 LSTM의 순방향 및 역방향 상태 모두에 대한 역방향 전달을 포함하여 출력에서 입력으로 오류를 역전파할 수 있습니다. 마지막으로 상태 전이 행렬 [A]i,j∀i,j와 원래 양방향 LSTM 매개변수 θ를 포함하는 네트워크 매개변수를 업데이트합니다.

4 Experiments

4.1 Data

저희는 PTB(Penn TreeBank) 데이터셋(https://paperswithcode.com/dataset/penn-treebank)으로 POS 태깅, CoNLL 2000 청킹, CoNLL 2003 개체명 태깅의 세 가지 NLP 태깅 작업에 대해 LSTM, BI-LSTM, CRF, LSTM-CRF 모델을 테스트합니다. 표 1은 각각 훈련, 검증 및 테스트 세트에 대한 문장, 토큰 및 레이블의 크기를 보여줍니다.
POS는 각 단어에 구문론적 역할을 나타내는 고유한 태그를 할당합니다. 청킹에서, 각 단어는 구문 유형으로 태그가 지정됩니다. 예를 들어, 태그 B-NP는 명사구를 시작하는 단어를 나타냅니다. NER 작업에서, 각 단어는 다른 또는 4가지 개체 유형(개인, 위치, 조직 또는 기타) 중 하나로 태그가 지정됩니다. 청킹 및 NER 작업에는 BIO2 주석 표준을 사용합니다.

4.2 Features

세 가지 데이터 세트에 대해 동일한 유형의 특징을 추출합니다. 기능은 철자 기능과 컨텍스트 기능으로 그룹화될 수 있습니다. 결과적으로 POS, 청킹 및 NER 데이터 세트에 대해 각각 401K, 76K 및 341K 기능이 추출되었습니다. 이러한 특징은 Stanford NER 도구(Finkel et al., 2005; Wang and Manning, 2013)에서 추출된 특징과 유사합니다. Senna 임베딩 사용을 제외하고는 POS 및 청킹 작업에 추가 데이터를 사용하지 않았습니다(섹션 4.2.3 참조). NER 작업의 경우 철자 및 컨텍스트 기능을 사용하여 성능을 보고하고 Senna 임베딩 및 Gazetteer 기능을 점진적으로 사용하여 성능을 보고합니다1.

우리는 세 개의 데이터 세트에 대해 동일한 유형의 특성을 추출합니다. 이러한 특성들은 철자 특성과 문맥 특성으로 그룹화할 수 있습니다. 결과적으로, 우리는 각각 POS, 청킹 및 개체명 인식(NER) 데이터 세트에 대해 각각 401K, 76K 및 341K 개의 특성을 추출합니다. 이러한 특성들은 Stanford NER 도구에서 추출된 특성과 유사합니다 (Finkel et al., 2005; Wang and Manning, 2013). POS 및 청킹 작업에 대해서는 Senna(NLP Software) 임베딩을 사용하는 것을 제외하고 추가 데이터를 사용하지 않았습니다 (4.2.3 절 참조). NER 작업의 경우, 우리는 철자와 문맥 특성을 사용하여 성능을 보고하며, Senna 임베딩 및 Gazetteer(사전) 특성을 추가하여 성능을 점진적으로 개선합니다.

4.2.1 Spelling features

주어진 단어에 대해 다음과 같은 특성을 추출합니다. 이는 소문자 단어 특성에 추가되는 것입니다.
• 대문자로 시작하는지 여부
• 모두 대문자인지 여부
• 모두 소문자인지 여부
• 첫글자를 제외한 대문자가 포함되었는지 여부
• 문자와 숫자가 혼합되었는지 여부
• 구두점이 포함되었는지 여부
• 글자 접두사 및 접미사 (윈도우 크기가 2에서 5인 범위)
• 아포스트로피로 끝나는지 여부 ('s)
• 글자만 포함하는지 여부, 예를 들어 I. B. M.을 IBM으로 변환
• 글자 이외의 것만 포함하는지 여부, 예를 들어 A.T.&T.을 ..&로 변환
• 단어 패턴 특성, 대문자, 소문자 및 숫자를 각각 'A', 'a', '0'으로 매핑하여 구성된 특성. 예를 들어 D56y-3을 A00a-0으로 변환
• 단어 패턴 요약 특성, 단어 패턴 특성과 유사하지만 연속적으로 동일한 문자가 제거된 것. 예를 들어 D56y-3을 A0a-0으로 변환문자, 숫자 혼용 여부

4.2.2 Context features

세 가지 데이터 세트의 단어 기능에는 유니그램 기능과 바이그램 기능을 사용합니다. CoNLL2000 데이터 세트의 POS 기능과 CoNLL2003 데이터 세트의 POS & CHUNK 기능의 경우 유니그램, 바이그램 및 트라이그램 기능을 사용합니다.

n-gram is basically set of occurring words within given window so when

n=1 it is Unigram
n=2 it is bigram

4.2.3 Word embedding

Collobert 등(2011)의 연구에서는 단어 임베딩이 시퀀스 태깅 성능을 향상시키는 데 중요한 역할을 한다는 것이 밝혀졌습니다. 이 연구에서는 130,000 개의 어휘 크기를 가진 임베딩이 다운로드되었고, 각 단어는 50차원의 임베딩 벡터로 표현되었습니다. 이 임베딩을 사용하려면 하나의 핫 인코딩 단어 표현을 해당 50차원 벡터로 바꾸면 됩니다.

4.2.4 Features connection tricks

우리는 철자와 문맥 특성을 단어 특성과 동일하게 처리할 수 있습니다. 즉, 네트워크의 입력에는 단어, 철자 및 문맥 특성이 모두 포함됩니다. 그러나 철자와 문맥 특성에서 직접적인 연결을 출력에 만들면 훈련을 가속화하고 매우 유사한 태깅 정확도를 얻을 수 있다는 것을 발견했습니다. 그림 8은 이러한 네트워크를 보여주며, 특성들이 네트워크의 출력에 직접적으로 연결되어 있습니다. 우리는 이 연결을 사용하여 모든 태깅 정확도를 보고할 것입니다. 이러한 특성의 사용은 (Mikolov 등, 2011)에서 사용된 최대 엔트로피 특성과 유사한 특징을 가지고 있습니다. 차이점은 (Mikolov 등, 2011)에서 특성 해싱 기술이 채택되어 특성 충돌이 발생할 수 있다는 것입니다. 시퀀스 태깅 데이터 세트의 출력 라벨은 언어 모델보다 적으므로(보통 수십만 개), 특성과 출력 간의 완전한 연결을 가질 수 있어 특성 충돌을 피할 수 있습니다.

4.3 Results

우리는 각 데이터 세트에 대해 LSTM, BI-LSTM, CRF, LSTM-CRF 및 BI-LSTM-CRF 모델을 훈련합니다. 단어 임베딩을 초기화하는 방법에는 Random과 Senna라는 두 가지 방법이 있습니다. 첫 번째 카테고리에서는 단어 임베딩 벡터를 무작위로 초기화하고 두 번째 카테고리에서는 Senna 단어 임베딩을 사용합니다. 각 카테고리에 대해 동일한 기능 세트를 사용하므로 다른 결과는 전적으로 다른 네트워크로 인해 발생합니다. 훈련 데이터를 사용하여 모델을 훈련하고 검증 데이터에 대한 성능을 모니터링합니다. 청크 데이터에는 검증 데이터 세트가 없으므로 검증 목적으로 훈련 데이터의 일부를 사용합니다.
모델 학습에는 학습률 0.1을 사용합니다. 히든 레이어 크기를 300으로 설정한 결과 모델 성능이 히든 레이어 크기에 민감하지 않다는 것을 발견했습니다. 세 가지 작업에 대한 훈련은 수렴하는 데 10개 미만의 epoch가 필요하며 일반적으로 몇 시간도 채 걸리지 않습니다. 우리는 Conv-CRF로 표시된 (Collobert et al., 2011)의 최상의 결과를 나열한 표 2의 테스트 데이터 세트에 대한 모델 성능을 보고합니다. POS 작업은 단어당 정확도를 계산하여 평가되는 반면, 청크 및 NER 작업은 청크에 대한 F1 점수를 계산하여 평가됩니다.

4.3.1 Comparison with Cov-CRF networks

LSTM, BI-LSTM 및 CRF의 세 가지 기준이 있습니다. LSTM은 세 가지 데이터 세트 모두에 대해 가장 약한 기준선입니다. BI-LSTM은 POS 및 청킹 데이터 세트에서 CRF에 가까운 성능을 발휘하지만 NER 데이터 세트에서는 CRF보다 성능이 떨어집니다. CRF는 실험에서 강력한 기준선을 형성합니다. 랜덤 카테고리에서는, CRF 모델이 세 데이터셋 모두에서 Conv-CRF 모델보다 우수한 성능을 보입니다. Senna 카테고리에서는, CRF가 POS 작업에서 Conv-CRF보다 우수한 성능을 보이는 반면, 청킹과 NER 작업에서는 성능이 낮습니다. LSTM-CRF 모델은 랜덤과 Senna 카테고리 모두에서 모든 데이터셋에서 CRF 모델보다 우수한 성능을 보입니다. 위 결과는 순방향 상태 LSTM 구성 요소가 시퀀스 데이터를 모델링하는 데 효과적임을 보여줍니다. BI-LSTM-CRF 모델은 LSTM-CRF 모델을 더 개선시키며, POS 데이터의 경우 랜덤 카테고리에서 LSTM-CRF 모델이 우승한 것을 제외하고는 모든 경우에 최고의 태깅 성능을 보입니다. Senna 카테고리의 CoNLL 2003의 괄호 안 숫자는 Gazetteer 특성을 사용하여 생성되었습니다.

우리의 최고 모델인 BI-LSTM-CRF가 Conv-CRF 모델에 비해 Senna 단어 임베딩에 대한 의존성이 적다는 것은 흥미롭습니다. 예를 들어, 랜덤과 Senna 카테고리 간의 태깅 차이는 POS, 청킹 및 NER 데이터셋에서 각각 0.12%, 0.33%, 4.57%입니다. 반면에 Conv-CRF 모델은 좋은 태깅 정확도를 얻기 위해 Senna 임베딩에 크게 의존합니다. POS, 청킹 및 NER 데이터셋에서 랜덤과 Senna 카테고리 간의 태깅 차이는 각각 0.92%, 3.99%, 7.20%입니다.

4.3.2 Model robustness

모델의 엔지니어링된 특성(스펠링 및 문맥 특성)에 대한 모델의 견고성을 추정하기 위해, 우리는 단어 특성만을 사용하여 LSTM, BI-LSTM, CRF, LSTM-CRF 및 BI-LSTM-CRF 모델을 훈련시켰습니다(스펠링 및 문맥 특성 제거). Table 3은 제안된 모델들의 POS, 청킹 및 NER 데이터셋에 대한 태깅 성능을 보여줍니다. 괄호 안의 숫자는 동일한 모델을 사용하지만 스펠링 및 문맥 특성을 사용하지 않았을 때의 성능 저하를 나타냅니다. CRF 모델의 성능은 스펠링 및 문맥 특성을 제거함으로써 크게 저하되었습니다. 이는 CRF 모델이 좋은 성능을 얻기 위해 엔지니어링된 특성에 크게 의존한다는 사실을 드러냅니다. 반면에, 특히 BI-LSTM 및 BI-LSTM-CRF 모델을 포함한 LSTM 기반 모델들은 더 견고하며, 엔지니어링 특성을 제거함으로써 덜 영향을 받습니다. 세 가지 작업 모두에서 BI-LSTM-CRF 모델이 가장 높은 태깅 정확도를 달성합니다.

예를 들어, 스펠링 및 문맥 특성을 사용하지 않고도 동일한 모델을 적용할 때와 비교하여 CoNLL2000 청킹 작업에서 94.40의 F1 점수를 달성했습니다. 이는 약간의 저하(0.06)를 보입니다.

4.3.3 Comparison with existing systems

POS 데이터셋의 경우, 우리는 추가 데이터 리소스를 사용하든 사용하지 않더라도 최신의 태깅 정확도를 달성했습니다. POS 데이터셋은 광범위하게 테스트되었으며, 과거의 개선 사항은 표 4에서 확인할 수 있습니다. 우리의 테스트 정확도는 97.55%로, 95% 신뢰 수준에서 다른 모델들보다 상당히 우수합니다. 또한, 우리의 BI-LSTM-CRF 모델은 Senna 임베딩을 사용하지 않고도 이미 좋은 정확도에 도달했습니다.
모든 청킹 시스템의 성능은 표 5에 나와 있습니다. Kudo et al.은 CoNLL 2000 챌린지에서 93.48%의 F1 점수로 우승했습니다. 그들의 접근 방식은 SVM 기반 분류기였습니다. 그들은 나중에 결과를 93.91%까지 개선했습니다. 최근의 작업에는 CRF 기반 모델들(Sha and Pereira, 2003; McDonald et al., 2005; Sun et al., 2008)이 포함됩니다. 더 최근에는 (Shen and Sarkar, 2005)가 각 분류기가 다른 태그 표현(IOB, IOE 등)으로 훈련된 투표 분류기 체계를 사용하여 95.23%의 정확도를 달성했습니다. 우리 모델은 (Shen and Sarkar, 2005)를 제외하고 모든 보고된 시스템을 능가합니다.
NER에 대한 모든 시스템의 성능은 표 6에 나와 있습니다. (Florian et al., 2003)는 NER CoNLL 2003 챌린지에서 최고의 시스템을 제시했으며, 88.76%의 F1 점수를 기록했습니다. 그들은 다양한 머신 러닝 분류기의 조합을 사용했습니다. CoNLL 2003에서 두 번째로 우수한 수행자(Chieu., 2003)는 88.31%의 F1 점수로, 외부 개체 목록의 도움을 받았습니다. 나중에 (Ando and Zhang., 2005)는 반지도 학습 접근 방식을 사용하여 89.31%의 F1을 달성했습니다. 90.90%의 최고 F1 점수는 (Passos et al., 2014)에서 보고되었으며, 이는 관련 사전에서 정보를 활용하여 표현을 개선할 수 있는 새로운 형태의 단어 임베딩을 사용했습니다. 우리 모델은 Senna 임베딩과 개체 목록 특성을 사용하여 최고의 F1 점수인 90.10을 달성할 수 있습니다. 이는 (Passos et al., 2014)보다 낮은 F1 점수이며, 이는 다른 단어 임베딩이 사용되었기 때문일 수 있습니다. 동일한 Senna 임베딩을 사용할 경우, BI-LSTM-CRF는 Conv-CRF보다 약간 우수한 성능을 보입니다(90.10% 대 89.59%). 그러나 랜덤 임베딩을 사용하는 경우 BI-LSTM-CRF는 Conv-CRF를 크게 능가합니다(84.26% 대 81.47%).

5 Discussions

우리의 작업은 둘 다 서열 태깅을 위해 심층 신경망을 활용했기 때문에 (Collobert et al., 2011)의 작업과 유사합니다. 그들의 작업에서는 컨볼루션 신경망을 사용했지만 우리의 작업에서는 양방향 LSTM 네트워크를 사용했습니다.
우리의 작업은 모두 태깅을 위해 LSTM 네트워크를 사용했기 때문에 (Hammerton, 2003; Yao et al., 2014)의 작업과 유사합니다. (Hammerton, 2003)의 성과는 인상적이지 않았습니다. Yao et al., 2014의 연구에서는 양방향 LSTM 및 CRF 레이어를 사용하지 않았으므로 태깅 정확도가 저하될 수 있습니다.
마지막으로, 우리의 연구는 (Wang and Manning, 2013)의 연구와 관련이 있습니다. 그 연구는 비선형 구조가 고차원 이산 특성 공간에서는 이점이 없다는 결론을 내렸습니다. 우리는 양방향 LSTM CRF 모델로 일관되게 동일한 특성 집합을 사용한 단일 CRF 모델보다 더 나은 태깅 정확도를 얻었음을 보여주었습니다.

6 Conclusions

이 논문에서는 시퀀스 태깅을 위한 LSTM 네트워크 기반 모델의 성능을 체계적으로 비교했습니다. 우리는 NLP 벤치마크 시퀀스 태깅 데이터에 BI-LSTM-CRF 모델을 처음 적용한 작업을 제시했습니다. 우리의 모델은 POS, 청킹 및 NER 데이터셋에서 최신 기술(또는 근접한) 정확도를 달성할 수 있습니다. 게다가, 우리의 모델은 (Collobert et al., 2011)에서의 관찰과 비교해 단어 임베딩에 대한 의존성이 적습니다. 단어 임베딩에 의존하지 않고도 정확한 태깅 정확도를 달성할 수 있습니다.

Bidirectional-LSTM-CRF 논문 사전 용어 리스트

9566 — Thu, 29 Feb 2024 04:24:46 +0900

Sequence Tagging : 입력 시퀀스(문장 또는 문서)의 각 요소(단어, 토큰, 또는 문자)에 대해 레이블 또는 태그를 할당
1. Sequence Data : 말 그대로 순서(sequence)가 있는 데이터
  예시) 시계열 데이터, 텍스트 데이터
  특징) 각 시퀀스 원소들은 특정 순서를 가져 독립적이지 않다.
2. Tagging : 텍스트에서 각 단어나 토큰에 레이블을 할당(https://wikidocs.net/24682)
  1. 품사 태깅(POS, Part-of-Speech Tagging) : 각 단어가 명사, 동사, 형용사 등의 품사 중 어떤 품사를 가지는지를 분류
    ex) "The cat is sleeping."에서 "cat"은 명사(NN), "is"는 동사(VB), "sleeping"은 형용사(JJ)로 태깅
  2. 개체명 인식(NER, Named Entity Recoginizer) : 문장에서 사람, 장소, 단체, 날짜 등의 개체를 식별
    ex) "Steve Jobs founded Apple in 1976."에서 "Steve Jobs"는 PERSON, "Apple"은 ORGANIZATION으로 태깅
  3. 구(chunking) : 문장을 단어의 그룹(청크)으로 나누고, 각 청크에 레이블을 할당(https://9566.tistory.com/552)
    ex)"[The quick brown fox] [jumps] [over] [the lazy dog]." 각 청크는 대괄호로 묶여있으며, 명사구(NP), 동사(V), 전치사구(PP) 등의 레이블이 부여
  4. 의존성 구문 분석(Dependency Parsing): 각 단어 간의 문법적인 의존 관계를 태깅
    ex) "The cat is sleeping on the mat."에서 "cat"은 "sleeping"에 의존(DOBJ), "sleeping"은 "is"에 의존(COMP) 등으로 태깅
3. 전형적인 NLP(자연어 처리) 작업 중 하나
NLP benchmark sequence tagging data sets: 자연어 처리 모델의 성능을 비교 평가하기 위해 사용되는 표준 데이터셋
1. 벤치마크는 컴퓨팅에서 특정 오브젝트에 대해 일반적으로 수많은 표준 테스트와 시도를 수행함으로써 오브젝트의 상대적인 성능 측정을 목적으로 컴퓨터 프로그램을 실행하는 행위 ex) 핸드폰 기종간 GeekBench Single Core 비교
sentence level tag information thanks to a CRF layer(https://wikidocs.net/147234)
1. sentence level tag information : 시퀀스 태깅 작업에서 문장 전체의 구조나 의미를 나타내는 정보를 의미(문장의 의도나 주제, 문장 구조, 문장의 형식적 특성)
2. CRF(Conditional Random Fields) layer : 모델이 생성한 시퀀스 레이블(예: 각 단어의 품사 태그)을 조정하여 문장 전체의 일관성을 높이는 역할을 합니다. 이를 통해 문장 수준의 태그 정보를 사용할 수 있게 됩니다. CRF 층을 추가하면 모델은 예측 개체명, 다시 말해 레이블 사이의 의존성을 고려할 수 있습니다.
  ex) "The cat is sleeping on the mat"이라는 문장에서 "cat" 다음에 오는 "is"는 동사(VB)일 가능성이 높습니다. "is" 다음에 오는 "sleeping" 역시 동사일 가능성이 높고, "on" 다음에 오는 "the"는 전치사(IN)일 가능성이 높습니다. 이런 문장 내 단어 간의 일관된 관계를 고려하여 모델이 레이블을 예측하는데 도움
Robust : 다양한 조건에서도 일관된 성능을 유지, 노이즈가 많거나 다양한 유형의 데이터셋에서도 잘 동작하여 신뢰성 있는 결과를 제공
Less dependence on word embedding : 워드 임베딩에 대한 의존성을 줄인다 -> 단어 수준이 아닌 문자, 하위단어, 문맥 등 모델이 더 많은 정보를 학습하도록 한다.
1. 워드 임베딩 : 단어를 밀집표현(사용자가 벡터의 차원(크기)을 맞춰 사용, 벡터값도 0,1이 아닌 실수값)한 것 (https://9566.tistory.com/549)
Down streaming applications : tagger의 결과를 활용하여 다른 새로운 작업을 하는 것
1. "Bob works at Google."이라는 문장에서 "Google"이 ORGANIZATION으로 인식되었을 때, 이 정보를 활용하여 구글에 관한 정보를 검색하거나 구글에 대한 뉴스를 찾는 등의 작업을 수행
2. 개체명 인식기(Named Entity Recognizer) : 태깅된 결과를 사용하여 제품 정보를 식별하여 광고를 활성화할 수 있습니다.
  ex) 사용자 검색 쿼리에서 "iPhone X"라는 제품 이름을 인식하면, 이를 통해 해당 제품에 대한 광고를 트리거할 수 있습니다.
3. 검색 엔진(Search Engine)은 태그 정보를 사용하여 관련 웹 페이지를 찾을 수 있습니다.
  ex) 사용자가 "최신 기술 트렌드"라는 검색어를 입력하면, 개체명 인식기가 "기술"이라는 개체를 인식하고, 검색 엔진은 이를 기반으로 관련된 기술 블로그나 뉴스 기사를 검색하여 사용자에게 제공할 수 있습니다.
4. Down streaming task : 전이학습을 통해 pretrained-model로 원하는 model을 만들고자 한 것(https://chan-lab.tistory.com/31)
Linear statistical models
1. HMM(Hidden Markov Models)
2. HEMMs(Maximum entropy Markov Models)
3. CRF(Conditional Random Fields)
4. 위 순서대로 발전하였고 CRF는 HMM에 비해 복잡한 패턴과 문맥을 고려하여 더 좋은 성능을 보인다.
Long distance feature : 과거 시간 단계에서 발생한 정보를 현재 시간 단계에서 사용, 모델이 문장이나 음성 데이터의 긴 의존성을 파악하고 이를 반영하여 예측을 수행
Feedforward network(순방향 신경망) : 가장 기본이 되는 신경망 구조(하기 사진)
1. Feedforward(순방향) 구조: 입력층에서 출력층으로 데이터가 한 방향으로만 흐르는 구조를 가집니다. 즉, 각 층의 출력은 그 다음 층의 입력이 되어 학습이 진행됩니다.
Backpropagation through time(BPTT) : 시퀀스 데이터의 각 시간 단계마다의 오차를 역방향으로 전파하여 가중치를 조정
1. Backpropagation : feedforward network(순방향 신경망)에서 사용
2. Backpropagation through time(BPTT) : RNN(순환 신경망), LSTM 등에서 사용
Beam-like decoding : 기계 번역 및 자연어 처리 분야에서 사용되는 디코딩 방법 중 하나입니다. 여러 후보 문장을 생성하고, 각 후보 문장에 점수를 매기는 과정을 반복하면서 최적의 문장을 선택하는 방식입니다.(하기사진) -> maximum entropy classifer, MEMMs 모델이 이용
1. Greedy Decoding : 단순하게 해당 시점에서 가장 확률이 높은 후보를 선택
2. Beam search : Greedy Decoding을 어느정도 극복하기 위해 사용, 빔서치에서 고려하는 모든 확률은 누적 확률, 유망한 빔의 개수만큼 (이하 K) 골라서 진행(https://blog.naver.com/sooftware/221809101199)
state transition matrix : 각 태그 상태 사이의 전이 확률을 나타내는 매개변수
1. 전이 행렬 Qij : 상태 i에서 상태 j로 갈 확률(하기사진)
generic SGD forward and backward training procedure : 모델 학습 과정에서 순방향,역방향 SGD 손실함수를 사용
1. SGD(Stochastic=Random Gradient Descent) : Loss Function(최적의 가중치값을 찾기 위해 사용)을 계산할 때, 전체 데이터(Batch) 대신 일부 데이터의 모음(Mini-Batch)를 사용하여 Loss Function을 계산한다. https://mangkyu.tistory.com/62
2. GD(Gradient Descent = 경사하강법) : https://www.youtube.com/watch?v=c7NURwHmM5k
state transition edges
1. edge : 그래프 이론에서 사용되는 단어로, 그래프 노드 간을 연결하는 선을 의미
BIO2(Begin, Inside, Outside, Other) annotation standard
1. B (Begin): 개체명의 시작을 나타냅니다
2. I (Inside): 개체명의 내부를 나타냅니다.
3. O (Outside): 개체명이 아닌 토큰을 나타냅니다.
4. Other: 추가적인 레이블로, 개체명이 아니거나 특정한 태깅이 필요하지 않은 경우에 사용됩니다.
Senna Embedding : NLP Software 중 하나, 단어를 밀집 벡터로 표현하는 임베딩 기술 > 단어 간의 의미적 유사성을 파악하는 데 사용
Gazetteer features : 사전 종류 중 하나로 지리적 장소, 기관명, 인명 등과 같은 명명된 개체를 나열한 사전
N-gram : SLM(Statistical Language Model) 의 일종으로, 이전에 등장한 모든 단어를 고려하지 않고, 일부 n 개의 단어만 고려하는 방식
1. Uni-gram : "apple", "banana", "orange"와 같은 개별 단어를 나타냅니다.
2. Bi-gram : "apple pie", "banana split", "orange juice"와 같은 두 개의 단어 조합을 나타냅니다.
3. Tri-gram : "eat an apple", "peel a banana", "drink orange juice"와 같은 세 개의 단어 조합을 나타냅니다.
Feature Hashing technique
Feature collision
to initialize word embedding: Random and Senna : 랜덤임베딩, Senna 임베딩
Lexicons : 사전, 어휘집
baselines : 특정 작업이나 문제에 대한 기본적인 비교 대상이나 기준을 의미. LSTM, BI-LSTM, CRF를 기준으로 사용하여 다른 모델들의 성능을 비교할 것임. 이 모델들은 해당 작업에 대한 기본적인 모델이며, 다른 모델들과의 성능 비교를 위한 출발점으로 사용됩니다. 따라서 이러한 모델들을 "baselines"로 간주하고, 다른 모델들과의 비교를 통해 해당 작업에 대한 효과적인 모델을 발견하고자 합니다.

========================================================================================

청크 태깅 레이블

9566 — Wed, 28 Feb 2024 00:49:15 +0900

B-NP: 명사구(Noun Phrase)의 시작
I-NP: 명사구(Noun Phrase)의 내부 (첫 단어 이후의 명사구 요소들)
B-VP: 동사구(Verb Phrase)의 시작
I-VP: 동사구(Verb Phrase)의 내부
B-PP: 전치사구(Prepositional Phrase)의 시작
I-PP: 전치사구(Prepositional Phrase)의 내부
B-ADJP: 형용사구(Adjective Phrase)의 시작
I-ADJP: 형용사구(Adjective Phrase)의 내부
B-ADVP: 부사구(Adverb Phrase)의 시작
I-ADVP: 부사구(Adverb Phrase)의 내부
B-SBAR: 부사절구(Subordinate Clause)의 시작
I-SBAR: 부사절구(Subordinate Clause)의 내부
B-CONJP: 접속사구(Conjunction Phrase)의 시작
I-CONJP: 접속사구(Conjunction Phrase)의 내부
B-INTJ: 감탄사구(Interjection Phrase)의 시작
I-INTJ: 감탄사구(Interjection Phrase)의 내부
B-UCP: 열거구(UnCoordinated Phrase)의 시작
I-UCP: 열거구(UnCoordinated Phrase)의 내부
B-PRT: 부사 동사구(Particle Phrase)의 시작
I-PRT: 부사 동사구(Particle Phrase)의 내부
B-LST: 리스트(List)의 시작
I-LST: 리스트(List)의 내부
B-CONJP: 합동구(Conjoined Phrase)의 시작
I-CONJP: 합동구(Conjoined Phrase)의 내부
O: 청크의 외부 (Outside) - 청크가 아닌 다른 부분

cbow

9566 — Mon, 26 Feb 2024 17:32:49 +0900

주변단어로부터 중심단어를 예측하는 모델

주변단어에 대한 워드 임베딩 벡터를 알아내보자

중심단어가 튀어나오도록 주변단어의 벡터를 알아내보자

w행렬의 두번째 행이 "나는"의 워드임베딩벡터

주변단어로부터 중심단어를 잘 예측하게끔 학습시켜서 주변단어에 대한 워드임베딩벡터를 알고싶다.

워드 임베딩, cbow

9566 — Sun, 25 Feb 2024 20:29:54 +0900

임베딩 : 비정형화된 텍스트를 숫자로 바꿔줌으로써 사람의 언어를 컴퓨터 언어로 번역하는 것

임베딩 종류 : 빈도 기반 임베딩, 분포 기반 임베딩

임베딩의 표현 방법 : 희소표현, 밀집표현

빈도 기반 임베딩 : 단어의 빈도를 기준으로 벡터로 변환, 운수좋은 날이라는 문서의 임베딩은 [2, 1, 1]입니다. 막걸리라는 단어의 임베딩은 [0, 1, 0, 0]이며, 사랑 손님과 어머니, 삼포 가는 길이 사용하는 단어 목록이 상대적으로 많이 겹치고 있는 것을 알 수 있습니다.

빈도 기반 임베딩 단점 : 등장 횟수(빈도) 기반의 표현은 간편하지만 몇 가지 한계가 있습니다. 대표적으로 희소 문제가 있는데요. 중요한 단어이더라도 자주 등장하지 않는 단어는 학습에서 가중치를 부여받는데 한계가 있습니다.

분포 가설 : 비슷한 의미를 지닌 단어는 주변 단어 분포도 비슷하다는 가설.
He is a good guy.
He is a cool guy.
위 문장에서 good과 cool은 해당 단어 주변에 분포한 단어(He, is, a, guy)가 유사하기 때문에 비슷한 의미를 지닐 것이라고 추측할 수 있습니다.

분포 가설에 맞춰 해당 단어들을 벡터화한다면 유사한 벡터값이 나올 것 = 의미적으로 가까운 단어이다

희소표현(원-핫 벡터) : 원핫인코딩을 통해 표현

희소표현 단점 :

1. 문장이 길어지면 벡터의 크기가 기하급수적으로 증가하여 공간적 낭비
2. 단어간 의미적, 구문적 유사도(코사인 유사도를 이용)를 평가하기 어려움
-> 코사인 유사도는 두 벡터를 내적한 값을 분자로 사용합니다. 하지만, 원-핫 인코딩을 적용한 서로 다른 두 벡터의 내적은 항상 0입니다. 따라서 어떤 두 단어를 골라서 코사인 유사도를 구하더라도 그 값은 항상 0이 됩니다. 이렇게 두 단어 사이의 관계를 전혀 알 수 없다면, 모델의 유연성이 매우 떨어지게 됩니다.

밀집표현(임베딩 벡터) : 사용자가 벡터의 차원(크기)을 맞춰 사용, 벡터값도 0,1이 아닌 실수값

워드 임베딩 : 단어를 밀집표현한 것

Word2Vec

분산표현 : 구글에서 개발한 Word2Vec은 분포 가설(distributional hypothesis)을 가정 하에 표현, 분포 가설에 맞춰 해당 단어들을 벡터화한다면 유사한 벡터값이 나올 것 = 의미적으로 가까운 단어이다

비슷한 실수를 지닌 벡터는 비슷한 벡터 공간 안에 위치하게 되면서 단어 간의 유사성을 계산할 수 있게 됩니다

Word2Vec은 주변 단어를 타겟으로 하여 중심 단어를 예측하는지, 혹은 중심 단어를 타겟으로 하여 주변 단어를 예측하는지에 따라 CBow와 Skip-gram으로 나뉩니다.

중심 단어를 예측하기 위해서 앞, 뒤로 몇 개의 단어를 볼지를 결정해야 하는데 이 범위를 윈도우(window)라고 합니다. 예를 들어 윈도우 크기가 2이고, 예측하고자 하는 중심 단어가 sat이라고 한다면 앞의 두 단어인 fat와 cat, 그리고 뒤의 두 단어인 on, the를 입력으로 사용합니다. 윈도우 크기가 n이라고 한다면, 실제 중심 단어를 예측하기 위해 참고하려고 하는 주변 단어의 개수는 2n입니다.

슬라이딩 윈도우(sliding window) : 윈도우를 옆으로 움직여서 주변 단어와 중심 단어의 선택을 변경해가며 학습을 위한 데이터 셋을 만드는 것

Word2Vec에서 입력은 모두 원-핫 벡터

출력층(Output layer)에서 예측하고자 하는 중간 단어의 원-핫 벡터가 레이블로서 필요합니다.

Word2Vec의 은닉층은 일반적인 은닉층과는 달리 활성화 함수가 존재하지 않으며 룩업 테이블이라는 연산을 담당하는 층으로 투사층(projection layer)이라고 부름 = 얉은 신경망 모델

윈도우의 크기가 1일 경우

M(투사층의 크기) = 5 = 밀집표현(사용자가 지정하는 벡터의 크기) = 임베딩 벡터의 크기(차원)

입력층과 투사층 사이의 가중치 W는 V × M 행렬이며, 투사층에서 출력층사이의 가중치 W'는 M × V 행렬이라는 점입니다. 여기서 V는 단어 집합의 크기를 의미

인공 신경망의 훈련 전에 이 가중치 행렬 W와 W'는 랜덤 값을 가지게 됩니다. CBOW는 주변 단어로 중심 단어를 더 정확히 맞추기 위해 계속해서 이 W와 W'를 학습해가는 구조

입력 벡터와 가중치 W 행렬의 곱은 사실 W행렬의 i번째 행을 그대로 읽어오는 것과(lookup) 동일합니다. 이 작업을 룩업 테이블(lookup table)이라고 합니다.

윈도우의 크기가 2일 경우

투사층에서 벡터의 평균을 구함

이렇게 구해진 평균 벡터는 두번째 가중치 행렬 W'와 곱해집니다. 곱셈의 결과로는 원-핫 벡터들과 차원이 V로 동일한 벡터가 나옵니다. 만약 입력 벡터의 차원이 7이었다면 여기서 나오는 벡터도 마찬가지입니다.

CBOW는 소프트맥스(softmax) 함수를 지나면서 벡터의 각 원소들의 값은 0과 1사이의 실수로, 총 합은 1이 됩니다.

다중 클래스 분류 문제를 위한 일종의 스코어 벡터(score vector)입니다. 스코어 벡터의 j번째 인덱스가 가진 0과 1사이의 값은 j번째 단어가 중심 단어일 확률을 나타냅니다. 그리고 이 스코어 벡터의 값은 레이블에 해당하는 벡터인 중심 단어 원-핫 벡터의 값에 가까워져야 합니다. 스코어 벡터를 ^라고 하겠습니다. 중심 단어의 원-핫 벡터를 로 했을 때, 이 두 벡터값의 오차를 줄이기위해 CBOW는 손실 함수(loss function)로 크로스 엔트로피(cross-entropy) 함수를 사용합니다. 크로스 엔트로피 함수에 중심 단어인 원-핫 벡터와 스코어 벡터를 입력값으로 넣고, 이를 식으로 표현하면 다음과 같습니다. 아래의 식에서 V는 단어 집합의 크기입니다.

크로스 엔트로피 : 모델에서 예측한 확률값이 실제값과 비교했을 때 틀릴 수 있는 정보량을 의미한다. 엔트로피와 마찬가지로 그 값이 적을 수록 모델이 데이터를 더 잘 예측하는 모델임을 의미한다.

클래스에 대해 예측한 확률값을 q, 실제 값의 확률을 p

1)
Q값: 0.0, 1.0, 1.0
크로스 엔트로피: -(log 0 * 1 + log1 *0 + log1* 0)= Infinity

2)
Q값: 0.8, 0.1, 0.1
크로스 엔트로피: -(log 0.8 * 1 + log 0.1 * 0 + log 0.1 * 0) = 0.32

3)
Q값: 1, 0, 0
크로스 엔트로피: -(log 1 * 1 + log 0 * 0 + log 0* 0) = 0

엔트로피 : 불확실성의 크기

실제 값의 확률을 p

동전을 던졌을 때 앞이 나올지 뒤가 나올지 예측하는 문제가 있다고 해보자. 앞이 나올 사건과 뒤가 나올 사건에 대해 예측한 확률 분포값에 따라 각각의 엔트로피를 구해보자.

1)
앞이 나올 확률: 50%
뒤가 나올 확률: 50%
엔트로피: -(0.5 * log0.5 + 0.5*log0.5) = 1

2)
앞이 나올 확률: 100%
뒤가 나올 확률: 0%
엔트로피: -(1*log1 + 0*log0)= 0

3)
앞이 나올 확률: 90%
뒤가 나올 확률: 10%
엔트로피: -(0.9*log0.9 + 0.1*log0.1)= 0.47

1번 케이스는 그만큼 어떤 면이 나올지 불확실하기 때문에 엔트로피 값이 가장 큰 1이 나왔다. 반면 앞이 나올 확률이 100%이기 때문에 의심할 여지가없는 2번 케이스의 경우 엔트로피가 가장 낮은 0이 나왔다.
분류해야하는 타겟의 클래스가 앞과 뒤, 두가지 였으므로 2^ 1=2로 엔트로의 최대값이 1이된다. 만일 구분해야하는 클래스가 8개라면 엔트로피의 최대값은 2^3=8로 3이 된다. 분류해야할 클래스가 32개라면 2^5= 32로 엔트로피 최대값은 5가 된다.

.aab .apk

9566 — Tue, 28 Nov 2023 15:00:24 +0900

Build APK(s) -> .apk(이미 완성된 안드로이드 앱 파일)

Build Bundle(s) -> .aab(.apk를 완성해주는 요소를 담은 패키지)

구글은 2021년 8월부터 '구글 플레이에 올라오는 모든 안드로이드 앱은 AAB 형식이어야한다'며 스토어 정책을 변경

맥에 리눅스 명령어 및 설치

9566 — Thu, 14 Sep 2023 13:02:36 +0900

#!/usr/bin/env bash

set -eu
wget https://srtm.csi.cgiar.org/wp-content/uploads/files/250m/SRTM_NE_250m_TIF.rar && \
wget https://srtm.csi.cgiar.org/wp-content/uploads/files/250m/SRTM_SE_250m_TIF.rar && \
wget https://srtm.csi.cgiar.org/wp-content/uploads/files/250m/SRTM_W_250m_TIF.rar && \
unar -f SRTM_NE_250m_TIF.rar && \
unar -f SRTM_SE_250m_TIF.rar && \
unar -f SRTM_W_250m_TIF.rar

set -eu: 이 명령은 스크립트를 실행할 때 오류가 발생하면 스크립트를 중지하도록 설정합니다. -e 옵션은 오류(실패)가 발생하면 즉시 종료하고, -u 옵션은 정의되지 않은 변수를 사용하려고 할 때 오류를 발생시킵니다.
wget 명령어: 이 명령어를 사용하여 웹에서 파일을 다운로드합니다. 각 wget 명령어는 SRTM 데이터 파일을 다운로드합니다.
unar 명령어: 이 명령어는 unar를 사용하여 RAR 압축 파일을 해제합니다.

pwd # 현재위치 확인
brew install wget # wget 설치
which wget # wget 저장위치
wget -V # wget 버젼
brew install unar # unar 설치

chmod +x download-strm-data.sh # 권한 부여
./download-strm-data.sh # bash 파일 실행

파이참 def 디버깅

9566 — Wed, 13 Sep 2023 19:58:18 +0900

파이참에서 디버그로 코드를 돌리는데

import numpy as np
import tensorflow as tf

# 학습 모델 종류 설정
model_prefix = "lstm"

total_length = 10000  # 10 km
window_size = int(total_length/link_length) 
shift_size = int(window_size/2) 

dp = DataPreprocessor(window_size=window_size, link_length=link_length, shift_size=shift_size, batch_size=1)

위와 같은 코드를 돌리는데는 이해가 갔는데

아래와 같이 def()형태로만 되어있는 코드가 돌아가는게 이해가 안갔다.

import pandas as pd
import requests
from django.http import HttpResponse
from django.views.decorators.csrf import csrf_exempt

@csrf_exempt
# @csrf_exempt 데코레이터는 Django 프레임워크에서 사용되며, Cross-Site Request Forgery (CSRF) 공격 방어 메커니즘을 해제하는 데 사용됩니다. 
# 이 데코레이터는 CSRF 보호를 해제하고 특정 뷰 또는 뷰 함수에서 CSRF 검사를 비활성화합니다. 
def get_road_info(request):
    lat_value = request.GET['lat']
    long_value = request.GET['long']

    key = ""
    url = "https://apis.openapi.sk.com/tmap/routes?version=1&format=json&callback=result"
    data = {"appKey": key,
    return HttpResponse(res)

처음엔

def sum(x, y):
	return x+y

sum(1,3)

처럼 def로 함수가 정의되고 최종적으로

함수를 실행하는 코드는 없지 않나? 어떻게 실행되는 건가? 등

코드가 돌아가지 않나 생각했다.

하지만 아래 코드는 그냥 파이썬 파일이 아니라 장고 서버의 view 파일(모델-뷰-컨트롤러(MVC) 아키텍처)이었고

장고에서 뷰는 http로 요청을 받고 처리하는 역할을 하면서 함수/클래스 형식으로 정의된다.

json 트리구조 만들기

9566 — Wed, 13 Sep 2023 00:22:06 +0900

https://jsonformatter.curiousconcept.com/#

코랩 ip 주소 확인 코드

9566 — Wed, 13 Sep 2023 00:21:21 +0900

!curl ipecho.net/plain

Weather Observation Station 19

9566 — Wed, 19 Jul 2023 21:35:48 +0900

Weather Observation Station 19

-- DB2, ORACLE, MYSQL, MS SQL SERVER
SELECT
    CAST(
        ROUND(
            SQRT(POWER((MAX(long_w)-MIN(long_W)),2)+POWER((MAX(lat_n)-MIN(lat_n)),2)),4
        ) AS DECIMAL(20,4)
    )
FROM STATION;

Weather Observation Station 18

9566 — Mon, 17 Jul 2023 21:25:42 +0900

Weather Observation Station 18

-- MYSQL
WITH POINTS as (
    SELECT
        MIN(LAT_N) AS a,
        MIN(LONG_W) AS b,
        MAX(LAT_N) AS c,
        MAX(LONG_W) AS d
    FROM STATION
)
SELECT ROUND(ABS((a-c)+(b-d)),4)
FROM POINTS

-- MS SQL SERVER
SELECT CAST(ABS((max(LAT_N) - min(LAT_N)) + (max(LONG_W) - min(LONG_W))) AS decimal(10,4))
FROM station

-- ORACLE
select round(max(LAT_N)-min(LAT_N)+max(LONG_W)-min(LONG_W),4) from STATION;

-- DB2
SELECT
    CAST(
        ROUND(
            ABS(MIN(LAT_N) - MAX(LAT_N)) +
            ABS(MIN(LONG_W) - MAX(LONG_W)),
            4
        ) AS DECIMAL(20,4)
    )
FROM STATION;

NEW Companies

9566 — Fri, 14 Jul 2023 21:13:25 +0900

NEW Companies

-- MYSQL
SELECT 
    e.company_code,
    c.founder,
    count( DISTINCT e.lead_manager_code ),
    count( DISTINCT e.senior_manager_code ), 
    count( DISTINCT e.manager_code ), 
    count( DISTINCT e.employee_code )
FROM 
    Employee e, 
    Company c
WHERE e.company_code = c.company_code
GROUP BY company_code, founder;

-- oracle, db2
select c.company_code, 
       c.founder, 
       count(distinct e.lead_manager_code),
       count(distinct e.senior_manager_code),
       count(distinct e.manager_code),
       count(distinct e.employee_code)
from employee e
join company c on e.company_code = c.company_code
group by c.company_code, c.founder
order by c.company_code;

-- MS SQL Server
SELECT C.company_code
        , C.founder
        , COUNT(DISTINCT(E.lead_manager_code))
        , COUNT(DISTINCT(E.senior_manager_code))
        , COUNT(DISTINCT(E.manager_code))
        , COUNT(DISTINCT(E.employee_code))
FROM Company C
     LEFT JOIN Employee E ON E.company_code = C.company_code
GROUP BY C.company_code, C.founder
ORDER BY C.company_code ASC;

Binary Tree Nodes

9566 — Wed, 12 Jul 2023 21:36:26 +0900

Binary Tree Nodes
-- DB2, ORACLE
SELECT N,
      (CASE WHEN P IS NULL THEN 'Root'
       WHEN N NOT IN (SELECT NVL(P,0) FROM BST) THEN 'Leaf'
       ELSE 'Inner'
       END)
FROM BST
ORDER BY N;

-- MYSQL, MS SQL SERVER
SELECT N ,
     CASE
       WHEN p IS NULL THEN "Root"
       WHEN N IN (SELECT DISTINCT P FROM BST) THEN "Inner"
       ELSE "Leaf"
       END
FROM BST ORDER BY N;

DD

9566 — Wed, 12 Jul 2023 21:36:05 +0900

The PADS

9566 — Mon, 10 Jul 2023 21:45:49 +0900

The PADS

-- DB2
SELECT (name || '(' || SUBSTR(occupation,1,1) || ')')
FROM occupations
ORDER BY name;

SELECT ('There are a total of ' || COUNT(occupation) || ' ' || LOWER(occupation) || 's' || '.')
FROM occupations
GROUP BY occupation
ORDER BY COUNT(occupation), occupation ASC;

-- MYSQL
SELECT CONCAT(Name, '(', (SUBSTRING(Occupation, 1, 1)), ')')
FROM OCCUPATIONS
ORDER BY Name ASC;

SELECT CONCAT('There are a total of ', COUNT(OCCUPATION), ' ', LOWER(Occupation), 's.')
FROM OCCUPATIONS
GROUP BY OCCUPATION
ORDER BY COUNT(OCCUPATION) ASC;

-- ORACLE
SELECT NAME || '(' || SUBSTR(OCCUPATION, 1,1) || ')'
FROM OCCUPATIONS
ORDER BY NAME ASC;

SELECT 'There are a total of ' || COUNT(OCCUPATION) || ' ' || LOWER(occupation) || 's.' FROM OCCUPATIONS
GROUP BY OCCUPATION
ORDER BY COUNT(NAME), OCCUPATION ASC;

-- MSSQL SERVER
SELECT CONCAT(Name, '(', (SUBSTRING(Occupation, 1, 1)), ')')
FROM OCCUPATIONS
ORDER BY Name ASC;

SELECT CONCAT('There are a total of ', COUNT(OCCUPATION), ' ', LOWER(Occupation), 's.')
FROM OCCUPATIONS
GROUP BY OCCUPATION
ORDER BY COUNT(OCCUPATION) ASC;

[SQL 프로그래머스 STRING, DATE] 특정 옵션이 포함된 자동차 리스트 구하기(ORACLE, MYSQL)

9566 — Sat, 8 Jul 2023 15:50:46 +0900

특정 옵션이 포함된 자동차 리스트 구하기
CAR_RENTAL_COMPANY_CAR 테이블에서 '네비게이션' 옵션이 포함된 자동차 리스트를 출력하는 SQL문을 작성해주세요. 결과는 자동차 ID를 기준으로 내림차순 정렬해주세요.

-- MYSQL, ORACLE
SELECT CAR_ID, CAR_TYPE, DAILY_FEE, OPTIONS
FROM CAR_RENTAL_COMPANY_CAR
WHERE OPTIONS LIKE '%네비게이션%'
ORDER BY CAR_ID DESC;

[SQL 프로그래머스 STRING, DATE] 자동차 대여 기록에서 장기/단기 대여 구분하기(ORACLE, MYSQL)

9566 — Wed, 5 Jul 2023 21:10:42 +0900

자동차 대여 기록에서 장기/단기 대여 구분하기
CAR_RENTAL_COMPANY_RENTAL_HISTORY 테이블에서 대여 시작일이 2022년 9월에 속하는 대여 기록에 대해서 대여 기간이 30일 이상이면 '장기 대여' 그렇지 않으면 '단기 대여' 로 표시하는 컬럼(컬럼명: RENT_TYPE)을 추가하여 대여기록을 출력하는 SQL문을 작성해주세요. 결과는 대여 기록 ID를 기준으로 내림차순 정렬해주세요.

--MYSQL
SELECT HISTORY_ID, CAR_ID,
       DATE_FORMAT(START_DATE, '%Y-%m-%d') AS START_DATE,
       DATE_FORMAT(END_DATE, '%Y-%m-%d') AS END_DATE,
       CASE WHEN DATEDIFF(END_DATE, START_DATE)+1 >= '30' THEN '장기 대여' ELSE '단기 대여' END AS RENT_TYPE
FROM CAR_RENTAL_COMPANY_RENTAL_HISTORY
WHERE DATE_FORMAT(START_DATE, '%m') = '09'
ORDER BY HISTORY_ID DESC;

-- ORACLE
SELECT HISTORY_ID, CAR_ID,
       TO_CHAR(START_DATE, 'YYYY-MM-DD') AS START_DATE,
       TO_CHAR(END_DATE, 'YYYY-MM-DD') AS END_DATE,
       CASE WHEN (END_DATE-START_DATE+1) >= '30' THEN '장기 대여' ELSE '단기 대여' END AS RENT_TYPE
FROM CAR_RENTAL_COMPANY_RENTAL_HISTORY
WHERE TO_CHAR(START_DATE, 'MM') = '09'
ORDER BY HISTORY_ID DESC;

[SQL 프로그래머스 SELECT] 조건에 맞는 회원수 구하기(ORACLE, MYSQL)

9566 — Sat, 1 Jul 2023 20:58:09 +0900

조건에 맞는 회원수 구하기
USER_INFO 테이블에서 2021년에 가입한 회원 중 나이가 20세 이상 29세 이하인 회원이 몇 명인지 출력하는 SQL문을 작성해주세요.

--MYSQL
SELECT COUNT(USER_ID) AS USERS
FROM USER_INFO
WHERE DATE_FORMAT(JOINED, '%Y') = '2021'
AND AGE BETWEEN 20 AND 29

-- ORACLE
SELECT COUNT(USER_ID) AS USERS
FROM USER_INFO
WHERE TO_CHAR(JOINED, 'YYYY') = '2021'
AND AGE BETWEEN 20 AND 29

[SQL 프로그래머스 SELECT] 인기있는 아이스크림(ORACLE, MYSQL)

9566 — Sat, 1 Jul 2023 19:18:48 +0900

인기있는 아이스크림
상반기에 판매된 아이스크림의 맛을 총주문량을 기준으로 내림차순 정렬하고 총주문량이 같다면 출하 번호를 기준으로 오름차순 정렬하여 조회하는 SQL 문을 작성해주세요.

--MYSQL, ORACLE
SELECT FLAVOR
FROM FIRST_HALF
ORDER BY TOTAL_ORDER DESC, SHIPMENT_ID ASC;

[SQL 프로그래머스 SELECT] 12세 이하인 여자 환자 목록 출력하기(ORACLE, MYSQL)

9566 — Thu, 29 Jun 2023 23:46:11 +0900

12세 이하인 여자 환자 목록 출력하기
PATIENT 테이블에서 12세 이하인 여자환자의 환자이름, 환자번호, 성별코드, 나이, 전화번호를 조회하는 SQL문을 작성해주세요. 이때 전화번호가 없는 경우, 'NONE'으로 출력시켜 주시고 결과는 나이를 기준으로 내림차순 정렬하고, 나이 같다면 환자이름을 기준으로 오름차순 정렬해주세요.

-- MYSQL
SELECT PT_NAME, PT_NO, GEND_CD, AGE, COALESCE(TLNO, 'NONE') AS TLNO
FROM PATIENT
WHERE AGE <= 12
AND GEND_CD = 'W'
ORDER BY AGE DESC, PT_NAME ASC;

-- ORACLE
SELECT PT_NAME, PT_NO, GEND_CD, AGE, NVL(TLNO, 'NONE') AS TLNO
FROM PATIENT
WHERE AGE <= 12
AND GEND_CD = 'W'
ORDER BY AGE DESC, PT_NAME ASC;

[SQL 프로그래머스 SELECT] 조건에 맞는 도서 리스트 출력하기(ORACLE, MYSQL)

9566 — Wed, 28 Jun 2023 20:15:56 +0900

조건에 맞는 도서 리스트 출력하기
BOOK 테이블에서 2021년에 출판된 '인문' 카테고리에 속하는 도서 리스트를 찾아서 도서 ID(BOOK_ID), 출판일 (PUBLISHED_DATE)을 출력하는 SQL문을 작성해주세요.

-- MYSQL
SELECT BOOK_ID, DATE_FORMAT(PUBLISHED_DATE, '%Y-%m-%d') AS PUBLISHED_DATE
FROM BOOK
WHERE DATE_FORMAT(PUBLISHED_DATE, '%Y') = '2021'
AND CATEGORY = '인문'
ORDER BY PUBLISHED_DATE ASC;

-- ORACLE
SELECT BOOK_ID, TO_CHAR(PUBLISHED_DATE, 'YYYY-MM-DD') AS PUBLISHED_DATE
FROM BOOK
WHERE TO_CHAR(PUBLISHED_DATE, 'YYYY') = '2021'
AND CATEGORY = '인문'
ORDER BY PUBLISHED_DATE ASC;

[SQL 프로그래머스 SELECT] 평균 일일 대여 요금 구하기(ORACLE, MYSQL)

9566 — Tue, 27 Jun 2023 23:39:10 +0900

평균 일일 대여 요금 구하기
CAR_RENTAL_COMPANY_CAR 테이블에서 자동차 종류가 'SUV'인 자동차들의 평균 일일 대여 요금을 출력하는 SQL문을 작성해주세요. 이때 평균 일일 대여 요금은 소수 첫 번째 자리에서 반올림하고, 컬럼명은 AVERAGE_FEE 로 지정해주세요.

--MYSQL, ORACLE
SELECT ROUND(AVG(DAILY_FEE), 0) AS AVERAGE_FEE
FROM CAR_RENTAL_COMPANY_CAR
WHERE CAR_TYPE = 'SUV'

[SQL 프로그래머스 SELECT] 흉부외과 또는 일반외과 의사 목록 출력하기(ORACLE, MYSQL)

9566 — Sun, 25 Jun 2023 16:02:24 +0900

흉부외과 또는 일반외과 의사 목록 출력하기
DOCTOR 테이블에서 진료과가 흉부외과(CS)이거나 일반외과(GS)인 의사의 이름, 의사ID, 진료과, 고용일자를 조회하는 SQL문을 작성해주세요. 이때 결과는 고용일자를 기준으로 내림차순 정렬하고, 고용일자가 같다면 이름을 기준으로 오름차순 정렬해주세요.
-- MYSQL
SELECT DR_NAME, DR_ID, MCDP_CD, DATE_FORMAT(HIRE_YMD, '%Y-%m-%d') AS HIRE_YMD
FROM DOCTOR
WHERE MCDP_CD IN ('CS', 'GS')
ORDER BY HIRE_YMD DESC, DR_NAME ASC;

-- ORACLE
SELECT DR_NAME, DR_ID, MCDP_CD, TO_CHAR(HIRE_YMD, 'YYYY-MM-DD') AS HIRE_YMD
FROM DOCTOR
WHERE MCDP_CD IN ('CS', 'GS')
ORDER BY HIRE_YMD DESC, DR_NAME ASC;

[SQL 프로그래머스 SELECT] 강원도에 위치한 생산공장 목록 출력하기(ORACLE, MYSQL)

9566 — Sat, 24 Jun 2023 20:09:59 +0900

강원도에 위치한 생산공장 목록 출력하기
FOOD_FACTORY 테이블에서 강원도에 위치한 식품공장의 공장 ID, 공장 이름, 주소를 조회하는 SQL문을 작성해주세요. 이때 결과는 공장 ID를 기준으로 오름차순 정렬해주세요.

--MYSQL, ORACLE
SELECT FACTORY_ID, FACTORY_NAME, ADDRESS
FROM FOOD_FACTORY
WHERE ADDRESS LIKE '강원도%'
ORDER BY FACTORY_ID ASC;

Google 검색 실적

9566 — Tue, 20 Jun 2023 23:24:39 +0900

깃허브 잔디심기 3년

9566 — Sat, 17 Jun 2023 16:34:49 +0900

[SQL 프로그래머스 STRING, DATE] DATETIME에서 DATE로 형 변환(ORACLE, MYSQL)

9566 — Wed, 14 Jun 2023 20:41:15 +0900

DATETIME에서 DATE로 형 변환
ANIMAL_INS 테이블에 등록된 모든 레코드에 대해, 각 동물의 아이디와 이름, 들어온 날짜1를 조회하는 SQL문을 작성해주세요. 이때 결과는 아이디 순으로 조회해야 합니다.

--MYSQL
SELECT ANIMAL_ID, NAME, DATE_FORMAT(DATETIME, '%Y-%m-%d') AS 날짜
-- SELECT ANIMAL_ID, NAME, SUBSTR(DATETIME, 1, 10) AS 날짜
-- SELECT ANIMAL_ID, NAME, LEFT(CONVERT(DATETIME, DATE), 10) AS 날짜
-- SELECT ANIMAL_ID, NAME, LEFT(DATETIME, 10) AS 날짜
-- SELECT ANIMAL_ID, NAME, SUBSTRING(DATETIME, 1, 10)  AS 날짜
FROM ANIMAL_INS 
ORDER BY ANIMAL_ID;

-- ORACLE
SELECT ANIMAL_ID, NAME, TO_CHAR(DATETIME, 'YYYY-MM-DD') AS 날짜
FROM ANIMAL_INS 
ORDER BY ANIMAL_ID;

이 SQL 쿼리는 ANIMAL_INS 테이블의 모든 레코드에 대해 각 동물의 아이디, 이름 및 들어온 날짜를 조회하는 것을 목표로 합니다. 결과는 아이디 순으로 정렬됩니다.

쿼리의 구조를 살펴보겠습니다.

SELECT 문에서 다음 열을 선택합니다:
- ANIMAL_ID: 동물의 아이디를 선택합니다.
- NAME: 동물의 이름을 선택합니다.
- DATE_FORMAT(DATETIME, '%Y-%m-%d') AS 날짜 (MySQL) 또는 TO_CHAR(DATETIME, 'YYYY-MM-DD') AS 날짜 (Oracle): DATETIME 열을 날짜 형식으로 변환하여 날짜 열로 표시합니다. MySQL의 경우 DATE_FORMAT 함수를 사용하여 날짜 형식을 지정합니다. Oracle의 경우 TO_CHAR 함수를 사용하여 날짜를 원하는 형식으로 변환합니다.
FROM 절에서 ANIMAL_INS 테이블을 선택합니다.
ORDER BY 문에서 ANIMAL_ID를 기준으로 결과를 아이디 순으로 정렬합니다.

[SQL 프로그래머스 STRING, DATE] 조건에 부합하는 중고거래 상태 조회하기(ORACLE, MYSQL)

9566 — Sun, 11 Jun 2023 20:37:00 +0900

조건에 부합하는 중고거래 상태 조회하기
USED_GOODS_BOARD 테이블에서 2022년 10월 5일에 등록된 중고거래 게시물의 게시글 ID, 작성자 ID, 게시글 제목, 가격, 거래상태를 조회하는 SQL문을 작성해주세요. 거래상태가 SALE 이면 판매중, RESERVED이면 예약중, DONE이면 거래완료 분류하여 출력해주시고, 결과는 게시글 ID를 기준으로 내림차순 정렬해주세요.

--MYSQL
SELECT BOARD_ID, WRITER_ID, TITLE, PRICE,
       CASE WHEN STATUS = 'SALE' THEN '판매중'
       WHEN STATUS = 'RESERVED' THEN '예약중'
       ELSE '거래완료' END AS STATUS
FROM USED_GOODS_BOARD
WHERE TO_CHAR(CREATED_DATE,'YYYY-MM-DD') = '2022-10-05'
ORDER BY BOARD_ID DESC;

--ORACLE
SELECT BOARD_ID, WRITER_ID, TITLE, PRICE,
       CASE WHEN STATUS = 'SALE' THEN '판매중'
       WHEN STATUS = 'RESERVED' THEN '예약중'
       ELSE '거래완료' END AS STATUS
FROM USED_GOODS_BOARD
WHERE DATE_FORMAT(CREATED_DATE,'%Y-%m-%d') = '2022-10-05'
ORDER BY BOARD_ID DESC;

[SQL 프로그래머스 STRING, DATE] 카테고리 별 상품 개수 구하기(ORACLE, MYSQL)

9566 — Sun, 11 Jun 2023 19:57:42 +0900

카테고리 별 상품 개수 구하기
PRODUCT 테이블에서 상품 카테고리 코드(PRODUCT_CODE 앞 2자리) 별 상품 개수를 출력하는 SQL문을 작성해주세요. 결과는 상품 카테고리 코드를 기준으로 오름차순 정렬해주세요.

--MYSQL
SELECT LEFT(PRODUCT_CODE, 2) AS CATEGORY, COUNT(*) AS PRODUCT
FROM PRODUCT
GROUP BY CATEGORY
ORDER BY CATEGORY ASC;

--ORACLE
SELECT LEFT(PRODUCT_CODE, 2) AS CATEGORY, COUNT(*) AS PRODUCT
FROM PRODUCT
GROUP BY SUBSTR(PRODUCT_CODE,1,2)
ORDER BY CATEGORY ASC;

[SQL 프로그래머스 STRING, DATE] 조건에 맞는 사용자 정보 조회하기(ORACLE, MYSQL)

9566 — Sun, 11 Jun 2023 19:03:01 +0900

조건에 맞는 사용자 정보 조회하기
USED_GOODS_BOARD와 USED_GOODS_USER 테이블에서 중고 거래 게시물을 3건 이상 등록한 사용자의 사용자 ID, 닉네임, 전체주소, 전화번호를 조회하는 SQL문을 작성해주세요. 이때, 전체 주소는 시, 도로명 주소, 상세 주소가 함께 출력되도록 해주시고, 전화번호의 경우 xxx-xxxx-xxxx 같은 형태로 하이픈 문자열(-)을 삽입하여 출력해주세요. 결과는 회원 ID를 기준으로 내림차순 정렬해주세요.

--MYSQL
SELECT USER_ID, NICKNAME,
       CONCAT(CITY, ' ', STREET_ADDRESS1,' ',STREET_ADDRESS2) AS 전체주소,
       CONCAT(SUBSTR(TLNO,1,3),'-',SUBSTR(TLNO,4,4),'-',SUBSTR(TLNO,8,4)) AS 전화번호
FROM USED_GOODS_USER
WHERE USER_ID IN (SELECT WRITER_ID
                  FROM USED_GOODS_BOARD
                  GROUP BY WRITER_ID
                  HAVING COUNT(*) >= 3)
ORDER BY USER_ID DESC;

--ORACLE
SELECT USER_ID, NICKNAME,
       CITY||' '||STREET_ADDRESS1||' '||STREET_ADDRESS2 AS 전체주소,
       SUBSTR(TLNO,0,3)||'-'||SUBSTR(TLNO,4,4)||'-'||SUBSTR(TLNO,8,4) AS 전화번호
FROM USED_GOODS_USER
WHERE USER_ID IN (SELECT WRITER_ID
                  FROM USED_GOODS_BOARD
                  GROUP BY WRITER_ID
                  HAVING COUNT(*) >= 3)
ORDER BY USER_ID DESC;

[SQL 프로그래머스 STRING, DATE] 취소되지 않은 진료 예약 조회하기(ORACLE, MYSQL)

9566 — Sun, 11 Jun 2023 01:10:38 +0900

취소되지 않은 진료 예약 조회하기
PATIENT, DOCTOR 그리고 APPOINTMENT 테이블에서 2022년 4월 13일 취소되지 않은 흉부외과(CS) 진료 예약 내역을 조회하는 SQL문을 작성해주세요. 진료예약번호, 환자이름, 환자번호, 진료과코드, 의사이름, 진료예약일시 항목이 출력되도록 작성해주세요. 결과는 진료예약일시를 기준으로 오름차순 정렬해주세요.

--MYSQL
SELECT BC.APNT_NO, A.PT_NAME, A.PT_NO, BC.MCDP_CD, BC.DR_NAME, BC.APNT_YMD
FROM (SELECT C.PT_NO, C.MCDP_CD, C.APNT_YMD, B.DR_NAME, C.APNT_NO
      FROM DOCTOR B
      JOIN APPOINTMENT C
      ON B.DR_ID = C.MDDR_ID
      WHERE DATE_FORMAT(C.APNT_YMD, '%Y-%m-%d') = '2022-04-13'
      AND C.MCDP_CD = 'CS'
      AND C.APNT_CNCL_YN = 'N') BC
JOIN PATIENT A
ON A.PT_NO = BC.PT_NO
ORDER BY BC.APNT_YMD ASC;

--ORACLE
SELECT BC.APNT_NO, A.PT_NAME, A.PT_NO, BC.MCDP_CD, BC.DR_NAME, BC.APNT_YMD
FROM (SELECT C.PT_NO, C.MCDP_CD, C.APNT_YMD, B.DR_NAME, C.APNT_NO
      FROM DOCTOR B
      JOIN APPOINTMENT C
      ON B.DR_ID = C.MDDR_ID
      WHERE TO_CHAR(C.APNT_YMD, 'YYYY-MM-DD') = '2022-04-13'
      AND C.MCDP_CD = 'CS'
      AND C.APNT_CNCL_YN = 'N') BC
JOIN PATIENT A
ON A.PT_NO = BC.PT_NO
ORDER BY BC.APNT_YMD ASC;

[SQL 프로그래머스 STRING, DATE] 조회수가 가장 많은 중고거래 게시판의 첨부파일 조회하기(ORACLE, MYSQL)

9566 — Sat, 10 Jun 2023 21:43:42 +0900

조회수가 가장 많은 중고거래 게시판의 첨부파일 조회하기
USED_GOODS_BOARD와 USED_GOODS_FILE 테이블에서 조회수가 가장 높은 중고거래 게시물에 대한 첨부파일 경로를 조회하는 SQL문을 작성해주세요. 첨부파일 경로는 FILE ID를 기준으로 내림차순 정렬해주세요. 기본적인 파일경로는 /home/grep/src/ 이며, 게시글 ID를 기준으로 디렉토리가 구분되고, 파일이름은 파일 ID, 파일 이름, 파일 확장자로 구성되도록 출력해주세요. 조회수가 가장 높은 게시물은 하나만 존재합니다.

-- MYSQL
SELECT
CONCAT('/home/grep/src/', BOARD_ID, '/', FILE_ID, FILE_NAME, FILE_EXT) AS FILE_PATH
FROM USED_GOODS_BOARD B
JOIN USED_GOODS_FILE F
ON B.BOARD_ID = F.BOARD_ID
WHERE VIEWS = (SELECT MAX(VIEWS) FROM USED_GOODS_BOARD )
ORDER BY FILE_ID DESC;

--ORACLE
SELECT
'/home/grep/src/' || F.BOARD_ID || '/' || FILE_ID || FILE_NAME || FILE_EXT AS FILE_PATH
FROM USED_GOODS_BOARD B
JOIN USED_GOODS_FILE F
ON B.BOARD_ID = F.BOARD_ID
WHERE VIEWS = (SELECT MAX(VIEWS) FROM USED_GOODS_BOARD )
ORDER BY FILE_ID DESC;

[SQL 프로그래머스 STRING, DATE] 자동차 대여 기록 별 대여 금액 구하기(ORACLE, MYSQL)

9566 — Sat, 10 Jun 2023 17:45:30 +0900

자동차 대여 기록 별 대여 금액 구하기
CAR_RENTAL_COMPANY_CAR 테이블과 CAR_RENTAL_COMPANY_RENTAL_HISTORY 테이블과 CAR_RENTAL_COMPANY_DISCOUNT_PLAN 테이블에서 자동차 종류가 '트럭'인 자동차의 대여 기록에 대해서 대여 기록 별로 대여 금액(컬럼명: FEE)을 구하여 대여 기록 ID와 대여 금액 리스트를 출력하는 SQL문을 작성해주세요. 결과는 대여 금액을 기준으로 내림차순 정렬하고, 대여 금액이 같은 경우 대여 기록 ID를 기준으로 내림차순 정렬해주세요.

--MYSQL
SELECT HISTORY_ID,
       ROUND(DAILY_FEE*(DATEDIFF(END_DATE, START_DATE)+1)
       *(100-IF(DISCOUNT_RATE IS NULL, 0, DISCOUNT_RATE))/100) AS FEE
FROM CAR_RENTAL_COMPANY_CAR AS A
JOIN CAR_RENTAL_COMPANY_RENTAL_HISTORY AS B
ON A.CAR_ID = B.CAR_ID
LEFT OUTER JOIN CAR_RENTAL_COMPANY_DISCOUNT_PLAN AS C
ON A.CAR_TYPE = C.CAR_TYPE
AND C.DURATION_TYPE = (CASE WHEN DATEDIFF(END_DATE,START_DATE)+1>='90' THEN '90일 이상'
                            WHEN DATEDIFF(END_DATE,START_DATE)+1>='30' THEN '30일 이상'
                            WHEN DATEDIFF(END_DATE,START_DATE)+1>='7' THEN '7일 이상'
                          ELSE NULL END)
WHERE 1=1
AND A.CAR_TYPE = '트럭'
ORDER BY FEE DESC, B.HISTORY_ID DESC;

--ORACLE
SELECT HISTORY_ID,
       (DAILY_FEE*(B.END_DATE-B.START_DATE+1))*NVL(1-DISCOUNT_RATE/100, 1) AS FEE
FROM CAR_RENTAL_COMPANY_CAR A
JOIN CAR_RENTAL_COMPANY_RENTAL_HISTORY B
ON A.CAR_ID = B.CAR_ID
LEFT OUTER JOIN CAR_RENTAL_COMPANY_DISCOUNT_PLAN C
ON A.CAR_TYPE = C.CAR_TYPE
AND C.DURATION_TYPE = (CASE WHEN (B.END_DATE-B.START_DATE+1)>='90' THEN '90일 이상'
                            WHEN (B.END_DATE-B.START_DATE+1)>='30' THEN '30일 이상'
                            WHEN (B.END_DATE-B.START_DATE+1)>='7' THEN '7일 이상'
                          ELSE NULL END)
WHERE 1=1
AND A.CAR_TYPE = '트럭'
ORDER BY FEE DESC, B.HISTORY_ID DESC;

[SQL 프로그래머스 SELECT] 재구매가 일어난 상품과 회원 리스트 구하기(ORACLE, MYSQL)

9566 — Sat, 10 Jun 2023 15:31:20 +0900

재구매가 일어난 상품과 회원 리스트 구하기
ONLINE_SALE 테이블에서 동일한 회원이 동일한 상품을 재구매한 데이터를 구하여, 재구매한 회원 ID와 재구매한 상품 ID를 출력하는 SQL문을 작성해주세요. 결과는 회원 ID를 기준으로 오름차순 정렬해주시고 회원 ID가 같다면 상품 ID를 기준으로 내림차순 정렬해주세요.

--MYSQL, ORACLE
SELECT USER_ID, PRODUCT_ID
FROM ONLINE_SALE
GROUP BY USER_ID, PRODUCT_ID
HAVING COUNT(*) > 1
ORDER BY USER_ID ASC, PRODUCT_ID DESC;

[SQL 프로그래머스 SELECT] 오프라인/온라인 판매 데이터 통합하기(ORACLE, MYSQL)

9566 — Sat, 10 Jun 2023 15:15:06 +0900

오프라인/온라인 판매 데이터 통합하기
ONLINE_SALE 테이블과 OFFLINE_SALE 테이블에서 2022년 3월의 오프라인/온라인 상품 판매 데이터의 판매 날짜, 상품ID, 유저ID, 판매량을 출력하는 SQL문을 작성해주세요. OFFLINE_SALE 테이블의 판매 데이터의 USER_ID 값은 NULL 로 표시해주세요. 결과는 판매일을 기준으로 오름차순 정렬해주시고 판매일이 같다면 상품 ID를 기준으로 오름차순, 상품ID까지 같다면 유저 ID를 기준으로 오름차순 정렬해주세요.

-- MYSQL
(SELECT DATE_FORMAT(SALES_DATE, '%Y-%m-%d') AS SALES_DATE, PRODUCT_ID, NULL AS USER_ID, SALES_AMOUNT
FROM OFFLINE_SALE
WHERE DATE_FORMAT(SALES_DATE, '%m') = '03')
UNION ALL
(SELECT DATE_FORMAT(SALES_DATE, '%Y-%m-%d') AS SALES_DATE, PRODUCT_ID, USER_ID, SALES_AMOUNT
FROM ONLINE_SALE
WHERE DATE_FORMAT(SALES_DATE, '%m') = '03')
ORDER BY SALES_DATE, PRODUCT_ID, USER_ID;

--ORACLE
(SELECT TO_CHAR(SALES_DATE, 'YYYY-MM-DD') AS SALES_DATE, PRODUCT_ID, NULL AS USER_ID, SALES_AMOUNT
FROM OFFLINE_SALE
WHERE TO_CHAR(SALES_DATE, 'MM') = '03')
UNION ALL
(SELECT TO_CHAR(SALES_DATE, 'YYYY-MM-DD') AS SALES_DATE, PRODUCT_ID, USER_ID, SALES_AMOUNT
FROM ONLINE_SALE
WHERE TO_CHAR(SALES_DATE, 'MM') = '03')
ORDER BY SALES_DATE, PRODUCT_ID, USER_ID;

[SQL 프로그래머스 SELECT] 상위 n개 레코드(ORACLE, MYSQL)

9566 — Fri, 9 Jun 2023 21:37:43 +0900

서울에 위치한 식당 목록 출력하기
REST_INFO와 REST_REVIEW 테이블에서 서울에 위치한 식당들의 식당 ID, 식당 이름, 음식 종류, 즐겨찾기수, 주소, 리뷰 평균 점수를 조회하는 SQL문을 작성해주세요. 이때 리뷰 평균점수는 소수점 세 번째 자리에서 반올림 해주시고 결과는 평균점수를 기준으로 내림차순 정렬해주시고, 평균점수가 같다면 즐겨찾기수를 기준으로 내림차순 정렬해주세요.

--MYSQL, ORACLE
SELECT A.REST_ID,
       A.REST_NAME,
       A.FOOD_TYPE,
       A.FAVORITES,
       A.ADDRESS,
       ROUND(AVG(B.REVIEW_SCORE),2) as SCORE
FROM REST_INFO A
INNER JOIN REST_REVIEW B
ON A.REST_ID = B.REST_ID
WHERE A.ADDRESS LIKE '서울%'
GROUP BY A.REST_ID, A.REST_NAME, A.FOOD_TYPE, A.FAVORITES, A.ADDRESS
ORDER BY SCORE DESC, A.FAVORITES DESC;