GoldenGenie

요즘 딥러닝을 위한 데이터셋 생성을 진행하는데.. 데이터셋이 용량이 워낙 크다보니 리소스 관리에 한계를 느낀다ㅠㅠ (힘내 내 컴퓨터야..) 코드 실행 중 자꾸 OOM(Out Of Memory) 이슈 때문인지 Killed 당해서 system monitor를 보니 CPU, Memory Swap이 곧 터지기 직전이었다. 무엇보다 Swap 이라는 임시 메모리 역할을 하는 친구가 코드 실행 중도 아닌데 꽉 차 있는 것을 발견 $ free -m 여유 공간을 확인해보니 Swap이 1GB도 남지 않아 있었다. swap 데이터를 비우고 초기화하기 위해서는 간단히 swap 모드를 껐다 켜주면 된다. $ swapoff -a && swapon -a root 계정이 아니라면 sudo 명령어를 쓰면 된다. $ sudo swapo..

HackerRank에서 퀴즈를 풀다 다중 LIKE문에 대한 문제를 만났습니다. SQL에서 LIKE를 여러개 조건으로 주고 싶을 때가 있습니다. LIKE IN (조건 1, 조건2, 조건3....)은 안되나 싶어서 해보니 안되더라구요. 물론 여러 번을 다 써주어도 됩니다. SELECT DISTINCT(CITY) FROM STATION WHERE (CITY LIKE 'a%' OR CITY LIKE 'e%' OR CITY LIKE 'i%' OR CITY LIKE 'o%' OR CITY LIKE 'u%'); 그렇지만 또 'CITY LIKE ~'가 반복되다보니 더 좋은 방법이 있을 것 같아 찾아보니 REGEX문으로 여러개의 LIKE를 적용할 수 있는 REGEXP_LIKE 가 있었습니다. REGEXP_LIKE(Str..

8월에 3주 바짝 공부해서 9월에 SQLD를 시험친 후에 진행하던 프로젝트도 종료되고, SQL을 직접 활용하는 기회가 적어졌습니다. 복습을 꾸준히 하고 쿼리 치는 연습을 해둬야 할 것 같아 복습 계획을 짜보기로 합니다. 가지고 있는 교재로만 복습을 하면 재미가 없을 것 같고, 이론 정리도 하지만 퀴즈 풀기를 위주로 진행하면 좋을 것 같다는 생각이 들었습니다. SQL 퀴즈가 있는 사이트를 공유드리고, 저도 순서대로 퀴즈 풀기를 해보려 합니다! 1. w3schools HTML, CSS, 부트스트랩 공부할 때 이론을 개념별로 쉽게 정리해둔 사이트라 보았었는데 SQL도 마찬가지로 간단한 문법과 테스트를 해볼 수 있었습니다. 좌측에 퀴즈를 풀어볼 수 있는 언어들이 있네요. 총 25개 문제이고, SQL 잊지 않았죠..

시각화 BI Tool 에 관심을 가지게 된 이유 엑셀로 데이터를 분석하고 대시보드 장표를 만들 때 도구의 한계를 느낀 적이 있는 저는 시각화 툴에 관심이 많습니다. 물론 엑셀도 너무 훌륭한 툴입니다. 엑셀로만 분석하는 것에 한계를 느낀 것도 맞지만, 모순적이게도 다른 컴퓨터 언어를 배우고 툴을 쓰면 엑셀만큼 진입장벽이 낮고 유저 친화적인 툴도 없는 것 같습니다. 그럼에도 데이터를 시각화하여 한 눈에 보기좋게 리포팅 하기 위해서 시각화 툴의 도움을 받는다면 더욱 효과적입니다. PowerBI 와 Tableau 시각화 BI툴로는 PowerBI 와 Tableau 를 사용해보았습니다. PowerBI 는 마이크로소프트에서 만든 툴 답게 powerpoint와 같이 생긴 UI를 지녔고, 개발 지식이 없어도 누구나 쉽게..

저는 문과생에 해외마케팅을 하던 비전공자입니다. 해외마케터 시절 매일 매출 데이터를 살펴보고 대시보드 기획해서 시각화하는 작업을 하다보니 "나도 데이터 분석가가 되고 싶다." 라는 생각이 들었습니다. 어쩌면 이미 데이터 분석가 스러운 일을 하고 있었을지도 모릅니다. 다만 전 개발 경험이 전무했기에, 먼저 적성에 맞는지 2달 정도 직장을 다니며 python 기초 강의로 독학을 해봤습니다. 재밌었습니다. 잘 할 거 같았어요!! 그렇게 올해 2021년 2월 퇴사를 감행하고 본격적으로 python과 sql 개발 공부에 뛰어들었죠. 철이 없었죠.. 2달 해보고 커리어 전환을 하겠다며 퇴사를 했다는게... 퇴사 이야기와 전 직장 회고는 다른 게시글에서 또 풀어보도록 하겠습니다. (공부를 핑계로 미룬지 10달째네요)..

코딩하다보면 정규 표현식의 도움이 필요할 때가 있다. 암호같은데 규칙만 알면 참 간단하게 코드 구현이 가능하니 언젠가 정리를 해두어야 겠다고 생각했다. 점프 투 파이썬을 참고하여 제가 자주쓰는 내용 위주로 정리했습니다. Windows에서 작성하였기에 백슬래시가 \로 표기되는 점 참고 부탁드립니다. 정규 표현식 import re p = re.compile('ab*') #패턴이란 정규식을 컴파일한 결과 문자 클래스 [ ] [a-zA-Z] - 알파벳 모두 [0-9] - 숫자 \d - 숫자와 매치, [0-9]와 동일한 표현식이다. \D - 숫자가 아닌 것과 매치, [^0-9]와 동일한 표현식이다. \s - whitespace 문자와 매치, [ \t\n\r\f\v]와 동일한 표현식이다. 맨 앞의 빈 칸은 공백문자..

요즘 한창 음성 인식 프로젝트를 진행하고 있습니다. librosa 라이브러리와 매일 씨름을 하고 있는데 직접 음성을 실시간으로 받아 분류하는 모델링을 하는 와중 pyaudio 가 필요했어요. 미뤄오던 우리의 ubuntu를 업데이트 했는데, 20.02로 업데이트하고 나니 무언가 달라졌는지 아니면 원래 잘 안되는지.... 결론적으로는 아래의 코드로 설치 완료! # how to install pyaudio in ubuntu $ sudo apt-get install libasound-dev portaudio19-dev libportaudio2 libportaudiocpp0 $ pip install pyaudio --user 실패의 과정들도 공유드립니다. 아마도 이렇게도 잘 되는게 맞을 거에요.. 1. .whl ..