소개 네이버에서는 ‘파파고 번역’부터 ‘데이터랩’, ‘CLOVA Face Recognition’ 등 여러 종류의 오픈 API를 지원하고 있습니다. 그 중 본문에서는 ‘검색API’를 이용해 ‘네이버 쇼핑’의 상품 검색 결과를 가져오는 방법을 알아보겠습니다. 네이버 오픈API에서 지원하는 목록은 해당 링크에서 자세히 확인할 수 있습니다. API를 활용하...
시각화 - wifi 데이터
본 글은 Google Colab 기준으로 작성되었습니다. # Colab 한글 폰트 # 참고링크 : https://velog.io/@heiswicked/%EC%84%B8%ED%8C%85%EC%9D%B4-%EB%B0%98%EC%9D%B4%EB%8B%A4-Google-COLAB-%ED%95%9C%EA%B8%80%ED%8F%B0%ED%8A%B8%ED%8...
22년 9월의 공부 - 정규표현식 문자열 재사용, lambda 함수에 if-else 적용하기
2022년 9월 동안 검색하고 공부한 것들을 정리한 내용입니다. 1. 정규표현식 문자열 다시 사용하기 참고자료 코딩도장 - 43.4.1 찾은 문자열을 결과에 다시 사용하기 다음과 같은 문자열이 있습니다. price_of_iphone14pro = "128GB: 1550000/256GB: 17...
22년 8월의 공부 - 다른 길이의 list split, np.select, np.stack, MultiIndex.droplevel
2022년 8월 동안 검색하고 공부한 것들을 정리한 내용입니다. 1. 다른 길이의 리스트를 컬럼으로 split 참고자료 How to Split Column into Multiple Columns in Pandas 사용된 데이터는 다음과 같이 서로 다른 길이의 list가 기록된 dataframe을 이용합니다. import pandas as...
22년 5월의 공부 - DataFrame & Dict, mouse hover in 크롤링
2022년 5월 동안 검색하고 공부한 것들을 정리한 내용입니다. 1. DataFrame & Dictionary dictionary 객체를 pandas의 DataFrame으로 변환할 경우, key값은 컬럼명으로 각 key에 대한 value는 컬럼값으로 들어갑니다. import pandas as pd dict1 = {'A':[1,2,3],'B...
Docker 시작하기
본 문서는 docker 공식문서 - Get Started를 바탕으로 작성된 자료입니다. 필요한 자료는 링크 에서 다운로드 할 수 있습니다. build docker build 명령어를 통해 작성된 Dockerfile을 바탕으로 도커 이미지(docker image)를 생성할 수 있습니다. 도커 이미지는 [registry명]/[image명]:[...
22년 4월의 공부 - dataclasses, 중복레코드 처리 in SQL, Data Leakage
2022년 4월 동안 검색하고 공부한 것들을 정리한 내용입니다. 1. dataclasses 참고: dataclasses 공식문서 __init__() 나 __repr__() 과 같은 생성된 특수 메서드를 사용자 정의 클래스에 자동으로 추가하는 데코레이터와 함수를 제공합니다. @dataclass 데코레이터를 통해 사용할 수 있습니다. 아래와 같...
JSON 데이터 다루기
JSON 데이터와 관련된 함수를 알아봅니다. to_json to_json() 함수를 통해 데이터프레임을 json으로 변경할 수 있습니다. 먼저, 간단한 pandas 데이터프레임을 생성합니다. import numpy as np import pandas as pd import json df = pd.DataFrame([["a", "b"], ["c",...
pendulum - datetime 다루기
Python에서 datetime 객체를 다루는 라이브러리 중 하나인 pendulum에 대해서 간단히 알아보겠습니다. Instantiation pendulum의 default timezone은 ‘UTC’입니다. import pendulum dt = pendulum.datetime(2022, 3, 1) dt # DateTime(2022, 3, 1, ...
Airflow - Slack 알림 받기
Airflow에서 task의 성공 여부에 따라 slack으로 알림을 받는 방법을 알아보겠습니다. Operator kobis_operator 전체 코드는 아래와 같습니다. # plugins/operators/kobis_operator.py import sys import warnings import logging warnings.filterwar...