인공지능[AI] (20) 썸네일형 리스트형 케라스 창시자에게 배우는 딥러닝[12장: 생성 모델을 위한 딥러닝] part3 뉴럴 스타일 트랜스퍼 12장 생성 모델을 위한 딥러닝 12.3 뉴럴 스타일 트랜스퍼 뉴럴 스타일 트랜스퍼 뉴럴 스타일 트랜스퍼(neural style transfer)는 딥러닝을 활용하여 이미지의 콘텐츠와 스타일을 결합하여 새로운 예술적인 이미지를 생성하는 기술 스마트폰의 사진 앱 등에서도 사용 원본 이미지의 콘텐츠를 유지한채로 다른 이미지의 스타일을 적용하는 흥미로운 작업을 수행 ▶ 뉴럴 스타일 트랜스퍼 사례 여기에서 스타일은 질감, 색깔, 이미지에 있는 다양한 크기의 시각 요소를 의미 콘텐츠는 이미지에 있는 고수준의 대형 구조를 말함 예를 들어 위 그림(빈센트 반 고흐(Vincent Van Gogh)의 )에서 파란색과 노란색의 원을 그리는 듯한 붓질을 하나의 스타일로 생각할 수 있음 튀빙겐 사진의 건물은 콘텐츠로 생각할 .. 케라스 창시자에게 배우는 딥러닝[12장: 생성 모델을 위한 딥러닝] part2 딥드림 12장 생성 모델을 위한 딥러닝 12.2 딥드림 딥드림 딥드림(DeepDream)은 합성곱 신경망(CNN)이 학습한 이미지 표현을 활용하여 예술적으로 이미지를 변형하는 기법 ▶ 딥드림이 출력한 이미지 딥드림 알고리즘은 9장에서 소개한 컨볼루션 신경망을 거꾸로 실행하는 컨브넷 필터 시각화 기법과 거의 동일 특정 필터의 활성화를 최대화하기 위해 컨볼루션 신경망의 입력에 경사 상승법을 적용 이때 딥드림은 단일 필터가 아니라 층의 활성화를 동시에 최대화하는 방식을 사용. 따라서 여러 다양한 시각적 특징을 한 번에 시각화 가능 딥드림은 빈 이미지나 노이즈가 조금 있는 입력이 아니라 이미 가지고 있는 이미지를 사용. 이는 기존의 시각 패턴을 이용하여 이미지의 요소를 예술적인 스타일로 변형시키는 효과를 가져옴 입력 .. 케라스 창시자에게 배우는 딥러닝[12장: 생성 모델을 위한 딥러닝] part1 텍스트 생성 12장 생성 모델을 위한 딥러닝 12.1 텍스트 생성 텍스트 생성 딥러닝을 통해 텍스트뿐만 아니라 어떤 종류의 시퀀스(순차적인) 데이터도 생성 가능 생성 모델을 위한 딥러닝 기술은 음성 합성과 챗봇의 대화 기능에 성공적으로 적용 구글이 2016년에 공개한 스마트 답장(Smart Reply)도 비슷한 기술을 사용 짧은 문장을 자동으로 생성하여 이메일이나 문자 메시지로 답장을 보낼 수 있음 시퀀스 생성을 위한 딥러닝 모델의 간단한 역사 (생략가능) 2015년에서 2017년 사이에 순환 신경망은 텍스트와 대화 생성, 음악 생성, 음성 합성에 성공적으로 사용 2017~2018년 즈음에 트랜스포머 아키텍처가 자연어 처리 지도 학습 작업뿐만 아니라 시퀀스 생성 모델, 특히 언어 모델링(단어 수준의 텍스트 생성)에서.. 케라스 창시자에게 배우는 딥러닝[11장: 텍스트를 위한 딥러닝] part4 11장: 텍스트를 위한 딥러닝 11.5 텍스트 분류를 넘어: 시퀀스-투-시퀀스 학습 텍스트 분류를 넘어: 시퀀스-투-시퀀스 학습 시퀀스-투-시퀀스 모델은 입력으로 시퀀스(종종 문장이나 문단)를 받아 이를 다른 시퀀스로 바꿈 이는 여러 가지 가장 성공적인 NLP 애플리케이션의 핵심 기계 번역(machine translation): 소스 언어에 있는 문단을 타깃 언어의 문단으로 바꿈 텍스트 요약(text summarization): 긴 문서를 대부분 중요한 정보를 유지한 짧은 버전으로 바꿈 질문 답변(question answering): 입력 질문에 대한 답변을 생성 챗봇(chatbot): 입력된 대화나 또는 대화 이력에서 다음 응답을 생성 텍스트 생성: 시작 텍스트를 사용하여 하나의 문단을 완성 시퀀스-투.. 케라스 창시자에게 배우는 딥러닝[11장: 텍스트를 위한 딥러닝] part3 11장: 텍스트를 위한 딥러닝 11.4 트랜스포머 아키텍처 트랜스포머 아키텍처 2017년부터 새로운 모델 아키텍처인 트랜스포머(Transformer)가 대부분의 자연어 처리 작업에서 순환 신경망을 앞지르기 시작 트랜스포머는 바스와니(Vaswani)등의 획기적인 논문인 "Attention is all you need"에서 소개 이 논문의 요지는 제목에 그대로 나타나 있음 순환 층이나 합성곱 층을 사용하지 않고 '뉴럴 어텐션(neural attention)'이라고 부르는 간단한 메커니즘을 사용하여 강력한 시퀀스 모델을 만들 수 있음 이 발견은 자연어 처리 분야와 그 외 분야에도 혁명을 일으켰음 뉴럴 어텐션은 빠르게 딥러닝에서 가장 영향력 있는 아이디어 중 하나가 되었음 셀프 어텐션 이해하기 이 책을 읽으면서.. 케라스 창시자에게 배우는 딥러닝 [11장: 텍스트를 위한 딥러닝] part2 11장: 텍스트를 위한 딥러닝 11.3 단어 그룹을 표현하는 두 가지 방법: 집합과 시퀀스 단어를 시퀀스로 처리하기: 시퀀스 모델 방식 이전 몇 개의 예제는 단어 순서가 중요하다는 것을 보여 줌 바이그램과 같이 수동으로 만든 순서 기반의 특성이 성능을 크게 높였음 딥러닝의 역사는 수동으로 만드는 특성 공학에서 모델에 데이터를 노출하여 스스로 특성을 학습하도록 바꾸었음 순서 기반의 특성을 수동으로 만드는 대신 원시 단어 시퀀스를 모델에 전달하여 스스로 이런 특성을 학습하도록 하면 어떨까? 이것이 시퀀스 모델(sequence model) 시퀀스 모델을 구현하려면 먼저 입력 샘플을 정수 인덱스의 시퀀스로 표현해야 함(하나의 정수가 하나의 단어를 나타냄) 그다음 각 정수를 벡터로 매핑하여 벡터 시퀀스를 얻음 마.. 케라스 창시자에게 배우는 딥러닝 [11장: 텍스트를 위한 딥러닝] part1 11장: 텍스트를 위한 딥러닝 part1 11.1 자연어 처리 소개 자연어 처리 소개 컴퓨터 과학에서 한국어나 영어 같은 사람의 언어를 어셈블리(assembly), LISP, XML 같은 기계를 위해 고민된 언어와 구별하기 위해 자연어(natural language)라고 부름 모든 기계어는 설계된 것 엔지니어가 해당 언어로 쓸 수 있는 문장과 이 문장의 의미를 기술하는 일련의 규칙을 작성 규칙이 먼저고 규칙이 완성된 후에야 이 언어를 사용 사람 언어는 반대 먼저 사용되고 나중에 규칙이 생김 자연어는 생물 유기체와 매우 비슷하게 진화 과정에 의해 형성 그래서 '자연' 영어 문법과 같은 '규칙'은 나중에 체계화되며 사용자에 의해 종종 무시되거나 깨짐 결과적으로 기계어는 매우 구조적이고 엄격하며, 고정된 어휘.. 케라스 창시자에게 배우는 딥러닝 [10장: 시계열을 위한 딥러닝] 10장 시계열을 위한 딥러닝 10.1 다양한 종류의 시계열 작업 다양한 종류의 시계열 작업 시계열(timeseries) 데이터는 일정한 간격으로 측정하여 얻은 모든 데이터를 말함 예를 들어 주식의 일별 가격, 도시의 시간별 전력 소모량, 상점의 주간별 판매량 등이 해당 시계열은 자연 현상(예를 들어 지진 활동, 강에 있는 물고기 개체 수의 변화, 한 지역의 날씨)이나 인간의 활동 패턴(예를 들어 웹 사이트 방문자, 국가의 GDP, 신용 카드 거래) 어디에서나 볼 수 있음 지금까지 보았던 데이터와 달리 시계열을 다루려면 시스템의 역학(dynamics)을 이해해야 함 주기성, 시간에 따른 트렌드, 규칙적인 형태와 급격한 증가 등 가장 일반적인 시계열 관련 작업은 예측(forecasting) 현시점의 시계열 .. 이전 1 2 3 다음
