전체 글

크롤링할 때 selenium 사용하지 않고 iframe 크롤링을 배우다. https://finance.naver.com/marketindex/?tabSel=exchange#tab_section https://finance.naver.com/marketindex/?tabSel=exchange#tab_section 환전 고시 환율 2023.10.11 10:53 하나은행 기준 고시회차 226회 finance.naver.com # 1. req를 활용해서 네이버 환율 사이트 요청 url = "https://finance.naver.com/marketindex/?tabSel=exchange#tab_section" res = req.get(url) # 2. bs를 통해서 html형태의 데이터로 변형 soup = bs..

OpenCV를 활용한 얼굴 감지를 배우다. (광주, 인공지능, 과학기술정보통신부, 광주광역시) 사용언어 : Python 환경 : Colab 강의 : Computer Vision (Udemy) Udemy의 유료강의를 볼 수 있는 기회가 생겨서 딥러닝의 한 분야인 Computer Vision 강의를 선택했다. 1. OpenCV OpenCV란 이미지나 동영상 처리에 사용되는 라이브러리이다. 이미지, 동영상에서 물체 감지, 추적, 특징추출, 패턴인식, 얼굴인식 등의 작업 수행을 할 수 있다. OpenCV는 무료로 제공되고 딥러닝과 결합해서 데이터 처리를 빠르고 쉽게 처리할 수 있게 되었다. 2. OpenCV를 활용한 얼굴 감지 (Haarcascade) 1. 이미지 불러오기 이미지자료나 캐스케이드 분류기등의 자료..

페이지의 데이터 수집하는 크롤링을 배우다. 1. '크롤링'이란? 크롤링은 인터넷에서 페이지의 정보를 수집하는 '데이터 수집'하는 행위이다. 인터넷상에는 데이터가 엄청 방대하고 다양(빅데이터)하다. 빅데이터가 존재하는 세상에서 크롤링을 사용하지 않고 데이터를 수집하기에는 너무 번거롭고 효율적이지 못하다. 기존에는 브라우저가 페이지 정보를 요청해서 데이터를 받아와서 페이지를 볼 수 있었는데, 우리는 지금 데이터를 수집해야 하는 입장이니까 크롤링을 통해서 페이지에 데이터를 요청해야 한다. 크롤링으로는 HTML의 태그를 통해서 데이터에 접근할 수 있다. 파이썬 언어를 사용해서 크롤링을 진행한다. 크롤링으로 페이지에 데이터를 요청하기 위해서 requests 라이브러리를 사용해야 한다. 2. 클라이언트와 서버간의 ..

퍼셉트론을 배우고 다층 퍼셉트론이 나오게 된 배경과 구조를 배우다. 1. 퍼셉트론과 활성화 함수 퍼셉트론은 간단하게 선형함수 + 활성화 함수의 조합이다. 우리가 처음 보는 것은 활성화 함수일 것이다. 퍼셉트론은 인공 신경망이고 인공 신경망은 인간의 뉴런을 본떠 만든 것이라고 했다. 인간의 뉴런은 특정 자극 이상을 받을 때만 반응한다. 그 특정 자극의 세기를 '역치'라고 하는데, 이 역치 이상의 자극을 주면 반응을 한다. 이 역치의 역할을 하는 것이 바로 퍼셉트론에선 '활성화 함수'이다. 입력 데이터가 선형 함수에 대입 되고, 그 결괏값을 활성화 함수에 대입한다. 위 수학 표현식을 보면 선형함수의 결과가 0 이하이면 활성화 함수의 y값은 0이 되고, 선형함수의 결과가 0 초과이면 활성화 함수의 y값은 1이..

인간의 신경망을 모방하여 학습하는 기술인 딥러닝을 배우다. 1. 딥러닝 정의 기존에 배운 머신러닝은 모델을 학습하기위해 입력데이터를 사람이 개입해서 모델이 잘 학습할 수 있도록 데이터 전처리 과정을 거친다. 그렇기 때문에 데이터 전처리 과정이 굉장히 중요하다. 좋은 데이터로 모델을 학습해야 좋은 모델과 좋은 결과를 출력하기 때문이다. 딥러닝은 다르다. 딥러닝은 머신러닝에 속한 개념인데 딥러닝 모델을 학습시킬 때는 입력 데이터에 사람의 개입이 크지 않다. 입력 데이터가 많을수록 모델이 올바른 방향으로 학습한다. 딥러닝 모델은 인간의 신경망을 모방하여 학습한다. 머신러닝에서 배운 선형함수가 딥러닝 모델의 근간이된다. 인간의 신경망인 뉴런이 선형함수라고 생각하면 된다. 여러개의 선형모델들이 병렬적 다층 구조로..

React와 Node를 연결하다. 1. React와 Node 구성 화면을 구성하는 React와 서버인 Node를 연결할 때의 구성을 그림으로 표현한 것이다. (그림 1) 기존의 Node.js에서는 templete engine(템플릿 엔진)으로 화면에 보일 엔진을 선택하였는데, React와 연결할 거니까 자연스럽게 React가 템플릿 엔진의 역할을 하게 된다. 2. React와 Node 기본 세팅 2 - 1. Node 설치 프로젝트를 진행할 새로운 폴더를 생성하고 폴더에 Node를 설치한다. npm init 명령어를 터미널에서 사용해서 노드 모듈과 package.json 등을 설치한다. github에 프로젝트를 업로드할 때는 노드 모듈을 올리면 안 된다. 다른 사람에게 파일을 공유하거나 공유받을 때 노드 ..

JavaScript 상태 관리 라이브러리인 Redux를 배우다. 1. Redux 정의 1 - 1. 기존 상태관리 문제점, redux 사용하는 이유 기존의 여러 컴포넌트에서 state를 관리하기 위해서 Context API를 사용해서 관리했다. 하지만 Context API를 사용해서 state를 관리하다 보면 문제가 생긴다. 여러 컴포넌트에서 사용하는 state가 많아질수록, 컴포넌트의 구조가 복잡해질수록 Context 컴포넌트를 만들어내고 감싸줘야 한다. 극단적으로 보면 그림 1과 같은 현상이 발생한다. Context는 변하지 않는 state를 관리할 때 사용한다. 즉 상태가 아닌 값인 변수를 설정하는 도구이다. 그리고 Context API는 많은 state를 관리하기에 적합하지 않다. props를 하위..

사용자가 요청한 URL에 따라 해당 URL에 맞는 페이지를 보여주는 Router를 배우다. 1. React에서의 Router, Route 정의 더보기 # index.js import React from 'react'; import ReactDOM from 'react-dom/client'; import './index.css'; import App from './App'; import reportWebVitals from './reportWebVitals'; import { BrowserRouter } from 'react-router-dom' const root = ReactDOM.createRoot(document.getElementById('root')); root.render( // // ); /..