900gle shopping/crawler

[900gle] Crawler

닉의네임 2022. 1. 18. 15:59
반응형

데이터수집 - Web Crawler java

 

Text embedding Api

https://ldh-6019.tistory.com/185?category=1043090 

 

[tensorflow 2] Text embedding API를 만들어 보자

900gle shopping에서 사용 할 text embedding API  크롤러, 검색 API 에서 사용 예정 method POST 로 만들고 싶었으나.. 일단 GET 으로 # import tensorflow as tf import tensorflow_hub as hub import tensorfl..

ldh-6019.tistory.com

Api 를 연동할 HTTP 통신

https://ldh-6019.tistory.com/190?category=859888 

 

[java] HTTP 통신하기

HTTP 통신으로 API 호출하기 build.gradle plugins { id 'org.springframework.boot' version '2.6.2' id 'io.spring.dependency-management' version '1.0.11.RELEASE' id 'java' } group = 'com.ldh' version =..

ldh-6019.tistory.com

그리고 크롤링 을 합하여

크롤러를 만들어 보자

 

 

  1. keyword 를 받아서 검색
  2. 리스트를 파싱하여 제품 상세페이지 링크 수집
  3. 상세페이지 이동
  4. 상세페이지에서 정보 추출 

 

반응형