전체 글 43

4주차 데이터사이언티스트와 분석 (2) _ 데이터시각화, 변형 이관

3. [권장] 데이터시각화 주로 대시보드 툴을 사용분석의 결과를 타인에게 공유할 때 사용하게 되므로, 경우에 따라 가장 중요한 부분이 될 수 있음 1) 데이터 준비 -> 2) Neo4J 설치 (크게 어려운 점은 없고 정보 입력과 다운로드가 끝) 3) 데이터 시각화Neo4J 웹 버전으로 진행할 경우, 프로젝트 생성 후 사용할 CSV 파일을 넣고새로운 인스턴스 생성인스턴스 설정에 들어가 query 부분에 csv 파일을 읽어 노드로 정의하는 명령어 작성**csv 파일은 import 했으며, 멘토님과 같은 방식으로 쿼리에 불러오기 위해 구글 드라이브에 한번 더 업로드해서 사용함** LOAD CSV WITH HEADERSFROM '파일 링크'AS rowMERGE (src:Variable {name: row.sou..

4주차 데이터사이언티스트와 분석 (1) _ 통계 분석, 알고리즘 분석

1. [권장] 통계 분석1) 데이터 준비 -> 2) MySQL에 데이터 업로드 DB 만들기create database population; 인코딩 euc-kr로 변경 테이블 이름을 영문으로 변경 내용 확인USE population;SELECT * from local_statistics; 3) SQL 쿼리로 통계분석 **테스트 데이터 사용**-각 시도별, 구별 인구수 파악하기SELECT sido_local AS 시도, gu_local AS 구, SUM(total) AS 총인구FROM local_statisticsGROUP BY sido_local, gu_local WITH ROLLUP; -시도별, 구별, 성별 30대 인원의 수를 파악하기SELECT sido_local AS 시..

3주차 DBA와 데이터보안 (2) _ 프로시저 개발, DB 장애처리, 백업과 복원

3. [권장] 프로시저 개발업무 지시사항: 1~100 사이의 값을 10개씩 생성하여 테스트 데이터를 만들어주는 프로시저 개발 1) 테이블 생성CREATE TABLE test_table ( id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(50) NOT NULL, value INT NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP); 2) 프로시저 생성 3) 테스트use cmt;CALL InsertTest();SELECT * FROM test_table; 4) 프로시저 로직 수정해 보기요건: 프로시저의 로직을 수정하여 랜덤으로 생성된 value 컬럼의 값이 짝수일 때는 name 컬럼에 even, 홀수일 때는 nam..

3주차 DBA와 데이터보안 (1) _ 보안요건 반영해 유저 관리하기, 인덱스로 성능 개선하기

1. [필수] 보안요건 반영하여 유저 관리하기 1) 업무 역할별 권한이 서로 다른 분리된 DB 계정을 사용해야 한다.다음과 같이 계정을 나눔cmt DB만 DML 할 수 있는 developer_usercmt DB만 DDL 할 수 있는 dba_usercmt 테이블의 Project, Position 테이블만 DML 할 수 있는 project_user전체 DB read 권한만 있는 read_user 현재 존재하는 유저 목록 조회SELECT * FROM mysql.user; developer_user라는 이름으로 개발자 전용 DB 계정을 만들고, cmt DB에 있는 모든 내용에 대해select, insert, update, delete를 의미하여 데이터를 읽거나 처리할 수 있는 권한 부여CREATE USER ..

2주차 ERD 읽기 (2) _ NoSQL을 위한 ERD, 이상데이터 검출 로직 작성, 데이터라이프사이클 구축

1) MongoDB 소개MongoDB는 사용 편의성과 확장성으로 유명한 문서 데이터베이스입니다.이는 NoSQL 데이터베이스의 한 유형으로, PostgreSQL과 같은 관계형 데이터베이스에서 볼 수 있는 기존 테이블 기반 형식에 비해 데이터를 저장하는 데 더 유연한 접근 방식을 사용합니다.MongoDB는 행과 열 대신 고도로 맞춤설정 가능한 필드와 해당 값을 포함하는 JSON과 유사한 문서에 데이터를 저장합니다. 다음은 문서에 사용자 프로필을 저장하는 간단한 예입니다.MongoDB는 유연한 스키마를 갖추고 있으므로 모든 문서에서 동일한 필드를 사용할 필요가 없습니다. 'occupation' 필드를 삭제하고 'email_address' 필드를 추가하는 등의 작업을 수행할 수 있습니다.그러나 이러한 유연성으로..

2주차 ERD 읽기 (1) _ 리버스 ERD, ERD 읽기, 논리 ERD 그리기

1. [필수] 리버스 ERD, ERD 읽기 먼저 ERD란?데이터베이스 설계를 돕는, 개체-관계 다이어그램.관계를 정의하고 분류해 데이터베이스 작성을 도움 ERD 주요 표현 확인 2. [권장] 요건 확인하여 논리 ERD 그리기 1) 업무 요건 확인하기 User : 이름, 이메일, 비밀번호, 관리자 여부Product : 상품명, 설명, 가격, 재고, 카테고리Category : 카테고리명Order : 사용자, 주문일시, 총금액OrderItem : 주문별 상품과 수량Review : 사용자, 상품, 평점, 댓글, 작성 시점Wishlist : 사용자와 상품의 찜 관계RecommendationLog : 사용자, 추천 상품, 추천 시점 2) ERD용 IDE (멘토님 자료 + 검색)ERWin : 세계 시장점유율 1..

1주차 DBMS 비교하기 (2) _ AWS 프리티어 구축&연결, SQL 중급, SQL 고급

4. [권장] AWS 프리티어 구축 및 연결클라우드와 비교분석 필요 회원가입 후 메뉴 > 예산에서 비용 모니터링 설정새로 가입하는 분들은 최대 100달러(가입 시) + 100달러(활동을 통해 지급) 받을 수 있음 (1년 후 소멸) 제로 지출 예산으로 설정 RDS 생성 (MySQL, 프리 티어) **로컬 연결 시 다 제대로 했는데 연결 되지 않는 경우: Driver Properties 탭에서 allowPublicKeyRetrieval을 TRUE로 변경** DBeaver와 연결 5. SQL 중급 - 직원의 최근 휴가시작정보 조회SELECT CONCAT(e.first_name, ' ', e.last_name) AS employee_name, l.leave_startFROM ..

1주차 DBMS 비교하기 (1) _ MySQL 설치, SQL 기초, DBMS 비교자료작성

1. [필수] 로컬에 MySQL 설치 및 데이터 업로드 기본 설정! 2. [권장] SQL 기초 - 직급 전체 조회select * from position; - 프로젝트 명과 시작일 조회select project_name, start_date from Project; - 2025년 4월까지 연차를 사용한 개수SELECT COUNT(*) AS annual_leave_countFROM `Leave`WHERE leave_type = '연차' AND leave_start - 부서 추가select * from Department;insert into Department(department_name) values ('경영지원팀'); - 부서 명 변경UPDATE Department SET departm..

[RAG 프로젝트] 복잡한 소득세법, LLM 챗봇으로 3시간 만에 정복! (LangChain + Pinecone + Streamlit)

안녕하세요, 오랜만에 글을 쓰게 되었습니다! 원래는 배운 내용을 정리해서 글을 써볼까 하다가 강의 분량이 엄청 많지 않아서 후기로 작성하게 됐어요!6월쯤 인프런 x Pseudo Lab AIF 활동을 통해 원하는 강의를 하나 수강할 수 있게 되었는데요. 제가 졸업 작품으로 LLM과 SVM을 결합한 모델을 만들어야 하거든요.복잡한 프로젝트에 들어가기 전, LLM 구현의 핵심 로직을 빠르게 훑어보고 감을 잡자는 마음으로 신청한 강의입니다. 바로!강병진 님의 "RAG를 활용한 LLM Application 개발 (feat. LangChain)"https://www.inflearn.com/course/rag-llm-application%EA%B0%9C%EB%B0%9C-langchain/dashboard 분량은 3..

[혼공머신] 6주차

안녕하세요이제 방학도 2주쯤 남았네요저는 휴학해요 ㅋㅋㅋㅋ 졸업 조건 중에 토익이 있어서 휴학하는 동안 800점 넘겨야 되고...지금 회사에서 링크드인을 제출하라고 하셔서 제출했는데프로필 검토를 했더니 파이썬이 적합한 것 같다고 시험을 보라면서 메일을 주셨어요..저희 회사는 업무 하나 맡으려면 업무 적합 평가를 보고 합격해야만 업무를 할 수 있거든요무려 hard..?를 보라고 하셔서... 보라면 보긴 하는데 하드 너무 어려운 거 아닌가..?암튼 이런저런 할일들로 잠깐 휴학을 냈습니다...하는 김에 프로젝트도 더 하려구요 벌써 6주 차인데 이번에도 많이 공부할 수 있어서 좋았습니다!다음 방학에 봬요 ! 07-1 인공 신경망 인공 신경망생물학적 뉴런에서 영감을 받아 만든 머신러닝 알고리즘*실제 뇌를 모델링한..