polars는 고성능의 데이터 프레임 라이브러리로, 파이썬에서 사용할 수 있으며, 큰 데이터셋을 빠르고 효율적으로 처리할 수 있는 다양한 기능을 제공합니다. polars 라이브러리를 사용하여 특정 조건을 만족하는 데이터를 필터링하는 방법과 JSON 형태의 복잡한 데이터 구조를 정규화하는 방법을 소개합니다. sample 데이터 사용될 샘플 데이터는 아...
[Review] 인과추론을 위한 연구디자인
본 글은 Korea Summer Workshop on Causal Inference 2023의 내용을 주관적으로 정리한 글입니다. 추가적인 설명이 필요한 분들을 위해 원래 영상 링크를 같이 첨부합니다. 링크: [Week 4-2] 인과추론을 위한 연구디자인 Week 4. Research Design for Causal Inference 4-2...
[Review] 인과추론의 다양한 접근법
본 글은 Korea Summer Workshop on Causal Inference 2023의 내용을 주관적으로 정리한 글입니다. 추가적인 설명이 필요한 분들을 위해 원래 영상 링크를 같이 첨부합니다. 링크: [Week 4-1] 인과추론의 다양한 접근법 Week 4. Research Design for Causal Inference 4-1....
[Alembic] Error - Target database is not up to date
Alembic을 통해 마이그레이션 파일을 생성할 때, Target database is not up to date 에러가 발생할 수 있습니다. 에러의 원인과 해결 방법에 대해서 알아 보겠습니다. 설명 해당 에러 메세지는 alembic 마이그레이션 기록(; revision 파일 기반)과 실제 데이터베이스 상태(; DB의 alembic_versions ...
[LLM] transformers - model weight 확인
transformers 라이브러리에서 모델의 전체 weight 수, 특정 layer의 weight 값, layer 이름 등을 확인하는 방법에 대해서 알아 보겠습니다. Total 파라미터 수 예제에서는 gemma-1.1-2b-it 모델을 이용하겠습니다. # !pip install -q transformers # 모델 불러오기 from transfor...
[FastAPI] SQLModel 테이블 이름 별도로 지정하기
SQLModel에서 table=true를 통해 ORM 모델 클래스를 DB 테이블로 정의하는 경우, 테이블 이름(; snake case)과 모델 class 이름(; camel case)이 네이밍 컨벤션에 맞지 않을 수 있습니다. 이런 경우, 테이블 이름을 별도로 지정하는 방법에 대해서 알아 보겠습니다. 코드 from sqlmodel import SQL...
[Git] 특정 directory만 타겟 브랜치 commit
Git에서 develop 브랜치의 특정 디렉토리의 변경 내용만 타겟 브랜치에 가져오는 방법에 대해서 알아 보겠습니다. 타겟 브랜치로 전환 git checkout을 이용해 특정 디렉토리의 변경 내용만 develop 브랜치에서 가져옵니다. # 타겟 브랜치로 전환 git checkout <your-branch> # 특정 디렉토리의 변경 사항...
[python] list 중복 제거
파이썬에서 list의 중복 항목을 제거하는 방법에 대해서 알아보겠습니다. set my_list = [1, 2, 2, 3, 4, 4, 5] unique_list = list(set(my_list)) print(unique_list) # [1, 2, 3, 4, 5] set은 순서를 보장하지 않습니다. list comprehension my_...
[Review] 매칭
본 글은 Korea Summer Workshop on Causal Inference 2023의 내용을 주관적으로 정리한 글입니다. 추가적인 설명이 필요한 분들을 위해 원래 영상 링크를 같이 첨부합니다. 링크: [Week 3-4] 매칭 Week 3. Regression and Matching 3-4. Matching Matching Ob...
[Opensearch] index 추출 api
파이썬에서 opensearch-py 라이브러리를 이용해 opensearch 문서의 index를 추출하는 api에 대해서 알아보겠습니다. client.cat.indices from opensearchpy import OpenSearch client = OpenSearch( hosts=[{'host': 'localhost', 'port': 92...