特定ページの画像を一括ダウンロード＆文字抽出

pip install pyocr

pip install requests

pip install beautifulsoup4

pip install lxml

# パラメータ：フォルダ名 URL

import sys,os
import requests # urlを読み込むためrequestsをインポート
from bs4 import BeautifulSoup # htmlを読み込むためBeautifulSoupをインポート

from PIL import Image
import pyocr
import pyocr.builders


#パラメータ取得
args = sys.argv

URL = args[2] # URL入力
images = [] # 画像リストの配列

soup = BeautifulSoup(requests.get(URL).content,'lxml') # bsでURL内を解析

for link in soup.find_all("img"): # imgタグを取得しlinkに格納
    if link.get("src").endswith(".jpg"): # imgタグ内の.jpgであるsrcタグを取得
        images.append(link.get("src")) # imagesリストに格納・相対パスの場合は各サイトごとに微調整必要
    elif link.get("src").endswith(".png"): # imgタグ内の.pngであるsrcタグを取得
    	images.append(link.get("src")) # imagesリストに格納・相対パスの場合は各サイトごとに微調整必要

#フォルダ作成
folder = args[1] + "/"
os.mkdir(folder)

file_name = [] # 画像リストの配列

for target in images: # imagesからtargetに入れる
    re = requests.get(target)
    with open(folder + target.split('/')[-1], 'wb') as f: # imgフォルダに格納
        file_name.append(target.split('/')[-1])
        f.write(re.content) # .contentにて画像データとして書き込む

pyocr.tesseract.TESSERACT_CMD = r'C:\Program Files\Tesseract-OCR\tesseract.exe' # OCRツールがみつからないエラー回避

tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
tool = tools[0]
print("Will use tool '%s'" % (tool.get_name()))

langs = tool.get_available_languages()
print("Available languages: %s" % ", ".join(langs))

for imgFile in file_name: # file_nameからimgFileに入れる
    txt = tool.image_to_string(
        Image.open(folder + imgFile),
        lang='jpn',
        builder=pyocr.builders.TextBuilder(tesseract_layout=6)
    )
    #print(txt)
    name, ext = os.path.splitext(imgFile)
    textfile = open(folder + name +'.txt', 'w')
    textfile.write(txt.replace(' ', ''))

print("ok") # 確認

cd C:\Users\ユーザー名\Desktop\test
python imgCollect.py img https://retrobanner.net/