[Spark] pyspark를 이용한 간단한 추천 시스템 만들어보기
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 pyspark를 이용한 간단한 추천 시스템 만드는 것에 대해 알아봅니다.
최근 포스트
[Spark] 스트림 처리 및 정형 스트리밍(Structured Streaming) 기초와 카프카 예제
spark
스파크의 스트림 처리와 정형 스트리밍(Structured Streaming)의 핵심 원리부터 마이크로 배치, 스트림 트랜스포메이션, 카프카(Kafka) 연동 및 출력 모드·트리거까지 종합적으로 정리합니다. 연속형 처리와 마이크로 배치의 차이를 살펴보고 센서 데이터셋 기반의 PySp...
[논문 리뷰] Annotating Columns with Pre-trained Language Models
paper
DODUO는 테이블의 전체를 입력으로 받아 테이블의 여러 컬럼 정보들을 이용하여 컬럼 유형과 컬럼 관계 예측을 출력하는 트랜스포머 기반 멀티태스크 학습 아키텍처입니다. 본 논문을 리뷰해보았습니다.
[논문 리뷰] Quasar: Resource-Efficient and QoS-Aware Cluster Management
paper
퀘이사(quasar) 클러스터 관리자는 각 워크로드에 대한 성능 및 QoS 제약 조건을 충족하면서 리소스 활용을 극대화해줍니다. 퀘이사 논문을 개인 공부 및 리뷰를 위해 써보았습니다.
[논문 리뷰] PowerGraph: Distributed Graph-Parallel Computation on Natural Graphs
paper
PowerGraph는 Gather, Apply, Scatter 기능을 구현하여 그래프 처리를 하는 방법을 제안했습니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.
[Effective Python] 5장 클래스와 인터페이스 리뷰
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. 클래스, 인터페이스, 제너릭, 믹스인, collections
[논문 리뷰] Distributed GraphLab: A Framework for Machine Learning and Data Mining in the Cloud
paper
GraphLab은 각 정점이 인접한 정점과 에지의 데이터를 읽고 쓸 수 있는 순차적 공유 메모리 추상화입니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.
윈도우10 노트북 정밀터치패드 제스처 사용법
tips
윈도우10이 설치된 노트북에서 터치패드를 잘 사용하면 마우스가 없어도 된다는 것을 깨달았습니다. 터치패드 사용법 및 여러 가지 환경에서 단축키를 정리해보았습니다.