본문 바로가기

분류 전체보기

 (49)
[PySpark Documentation/API Reference] Spark SQL Core Classes pyspark.sql.SparkSession The entry point to programming Spark with the Dataset and DataFrame API. -> pyspark 사용 시 스파크 세션을 할당해야 spark 프로그래밍을 시작할 수 있음 pyspark.sql.Catalog User-facing catalog API, accessible through SparkSession.catalog. 카탈로그 메타스토어에 접근하기 위한 인터페이스 메타스토어: 메타정보를 보관하고 사용자의 요청에 따라 관련 정보를 제공하는 곳 (출처: https://wikidocs.net/28353 ) 즉, 데이터베이스, 로컬 및 외부 테이블, 함수, 테이블 컬럼, 임시 뷰의 데이터 ..
HDFS 휴지통 복구, HDFS 파일 복구, HDFS 폴더 복구 실수로 파일 삭제를 했을 때 휴지통에서 복구할 수 있는 방법을 소개한다. (왜냐면 내가 이런 적이 많거든 ..^^ㅠ) 간단하다. cp 명령어로 휴지통에 있는 파일/폴더를 복사해오면 된다. 그러면 휴지통 위치는 어떻게 알 수 있는가? 삭제 시 rm 명령어로 삭제했을텐데 친절하게도 휴지통이 어디에 있는지 알려준다. 나의 경우 폴더를 삭제했기 때문에 -r을 옵션으로 주었다. $ hdfs dfs -rm -r {삭제 전 폴더 위치} 22/07/21 15:23:59 INFO fs.TrashPolicyDefault: Moved: 'URI' to trash at: {삭제 후 휴지통에 있는 폴더 위치} 여기서 {삭제 후 휴지통에 있는 폴더 위치}를 다시 {삭제 전 폴더 위치}로 복사하면 된다. $ hdfs dfs -cp..
[이코테] 게임 개발 풀이 과정 자그마치 2시간이 넘게 걸린 풀이~^^ 하.. 알고리즘 진짜 만만하게 봤는데 요즘 한없이 작아지는 중이다... 계속하다 보면 늘겠지~ 하하하 그래도 이전 문제 통해서 배운 거 이번엔 써먹었다..! 게임 개발 문제는 시간제한이 40분이었다. 지금까지 풀어본 연습문제 중 최대였다. N x M 직사각형이 있고 각 칸은 육지(0) 혹은 바다(1)이다. 단, 바다는 갈 수 없다. 게임 캐릭터가 있는 칸의 좌표는 (A, B)이고 A는 북쪽으로부터 떨어진 칸의 개수, B는 서쪽으로부터 떨어진 칸의 개수이다. 말을 좀 어렵게 해 놨는데 N x M 직사각형을 행렬로 보고 A랑 B는 그냥 몇 행, 몇 열이라고 보면 된다. (1,1)이면 1행 1 열인 거다. 특이한 건 바라보는 방향 d까지 주어진다. d의 값도 ..
[이코테] 왕실의 나이트 풀이 과정 우선 이 문제는 시간제한이 20분인데 20분 안에 풀지 못했다. 시간도 초과되고 풀다가 막히니까 하기가 싫어졌다. 상하좌우 문제와 굉장히 비슷해서 똑같이 풀면 된다고 생각했는데 막상 적용하기가 어려웠다. 머리를 좀 더 써야 했는데 더 이상 생각하기가 싫었다. 그래서 일단 모로 가도 서울만 가면 된다고, 그냥 일일이 case를 나눠 작성해서 통과했다. 1시간 6분 만이었다. 생각하기가 싫을 땐 어떻게 해야 할까? ㅋㅋㅋ 하.. 연습이라 마음이 풀어진 건가.. 실전에서는 보통 괜찮은 해결책이 떠오르지 않을 때 일단 다른 문제로 넘어갔다 다시 온다. 처음 생각나는 풀이가 너무 노가다인 것 같을 때 어떤 규칙이 있는지를 생각해보자. 최대한 규칙을 찾아보려 노력하지만 마땅히 떠오르지 않을 때는 차라리 ..
[이코테] 시각 풀이 과정 1. 문제를 정독하면서 메모한다. 주의해야 할 것은 ※으로 표시한다. 문제의 길이가 굉장히 짧았다. 고등학교 때 확률과 통계에서 경우의 수 문제를 푸는 것 같았다. '하나라도 포함되는'을 보자마자 '하나 이상'일 때는 전체 경우의 수에서 하나도 없을 때를 빼야 한다는 생각의 흐름이 자동적으로 이어졌다. 역시 K-입시.. ^^ 입력 첫째 줄에 정수 N이 주어지므로 정수 N과 입력 조건을 메모했다. 내가 본 입력 조건 중 범위가 작았던 편에 속하는데, 최소 0시 0분 0초이고 최대 23시 59분 59초이다. 그리고 출력해야 하는 모든 시각 중 3이 하나라도 포함되는 모든 경우의 수도 메모했다. 2. 알고리즘을 떠올리고 적용하려고 노력한다. 구현 예시이므로 구현을 먼저 적었고 경우의 수 보자마자 완..

티스토리툴바