آموزش ساخت وب اسکریپر با پایتون

در سایت های فریلنسری خارجی و ایرانی پروژه های زیادی وجود دارن که ازتون یک وب اسکریپر ( Web Scraper ) به زبان پایتون میخوان . امروز قراره یک پروژه ی خیلی کوچیک فقط برای اینکه کلیت کار رو یاد بگیرید انجام میدیم. این پروژه به خودی خود نمیتونه براتون پول در بیاره شما باید خلاق باشید و چیز های ساده که از این آموزش یاد میگرین رو با هم ترکیب کنید و یک پروژه خوب بسازید . پروژه رو در گیت هاب هم گذاشتم اگه خواستین میتونین از همونجا فورک کنید و از خالی بودن صفحه ی گیت هابتون جلوگیری کنید 😂

روش‌های زیادی برای ایجاد وب اسکرپر با پایتون وجود دارد و بهترین روش برای این کار استفاده از سلنیوم ( Selenium ) است. سلنیوم به شما امکان می‌دهد تا با استفاده از پایتون یک صفحه مرورگر را باز کنید و کارهای خاصی مانند فشار دادن کلیدها یا استخراج بخشی از صفحه را انجام دهید.

بهترین ویژگی سلنیوم این هست که مانند یک انسان عمل می‌کند و به راحتی برای سایت اسکریپ شونده قابل تشخیص نیست که این عمل بصورت اتوماتیک و انجام میشود

سلنیوم و وب اسکریپر فقط برای استخراج داده‌ها استفاده نمی‌شود، بلکه می‌تواند برای کارهای متنوعی مانند سفارش خرید خودکار و غیره استفاده شود.

امروز ما یک برنامه پایتون ساده می‌سازیم که در آن صفحه گوگل را در مرورگر IE باز می‌کند و نوار جستجوی گوگل (که در حال حاضر نام کلاس آن “gLFyf” است) را انتخاب می‌کند و عبارت “Hi Mom” را تایپ می‌کند و کلید ENTER را برای جستجو فشار می‌دهد. سپس سورس کد صفحه بعد از انجام سرچ رو در یک فایل به نام “page_source_of_google_after_typing_hi_mom.txt” در همان مکانی که برنامه قرار دارد، ذخیره می‌کند.

آموزش ساخت وب اسکریپر

اولین کار این هست که به سایت رسمی پایتون برین و اون رو دانلود و نصب کنید .

https://www.python.org

ما در این آموزش از ویندوز استفاده خواهیم کرد

بعد از نصب پایتون باید دو پکیج رو با وارد کردن کد های زیر در CMD یا Powershell ویندوز خود نصب کنید

pip install webdriver-manager
pip install selenium

ابتدا یک تابع به نام “scrape(url)” ایجاد می‌کنیم و متغیر “url” را به آن می‌دهیم. در این تابع، ابتدا باید مرورگر Edge را باز کنیم و سپس آدرسی که میخوایم اسکریپ شه رو باز میکنیم :

driver = webdriver.Edge()
driver.get(url)

برای باز کردن فایرفاکس این قسمت از کد رو به کد پایین تغییر بدین :

driver =  webdriver.Firefox()
driver.get(url)

قطعه کد های زیر هم در صفحه برای هر المنتی که کلاس gLFyf دارد جست و جو میکند ( که این نام در گوگل input box برای جست و جو هست ) . سپس در اون کلمه ی “Hi mom !” رو مینویسد و دکمه ی ENTER رو میزنه. و سورس کد صفحه ی بعد از انجام این عملیات رو در فایلی به نام “page_source_of_google_after_typing_hi_mom.txt” در همون پوشه ی برنامه مینویسه و میزاره.

element =  driver.find_element(By.CLASS_NAME, "gLFyf")
element.send_keys('Hi mom !' + Keys.RETURN)
html_content = driver.page_source
f = open("page_source_of_google_after_typing_hi_mom.txt", "x")
f.write(html_content)
f.close()

در آخر هم متغیر url رو تعریف میکنیم و به تابع ارسال میکنید تا تابع اجرا بشه :

url = "https://www.google.com/"
matches = scrape(url)

برنامه‌نویسی: بهترین راه کسب درآمد در قرن

امروزه، برنامه‌نویسی به یکی از بهترین راه‌های کسب درآمد در قرن تبدیل شده است. با رشد فناوری و افزایش نیاز به نرم‌افزارها و برنامه‌های کاربردی، تقاضا برای برنامه‌نویسان نیز رو به افزایش است.

بازار کار برنامه‌نویسی در ایران و جهان دائماً در حال رشد است. برنامه‌نویسان می‌توانند در شرکت‌های بزرگ و کوچک، استارتاپ‌ها و حتی به صورت مستقل کار کنند. همچنین، آن‌ها می‌توانند در پروژه‌های مختلفی همچون توسعه وب‌سایت‌ها، اپلیکیشن‌های موبایل، بازی‌های کامپیوتری و برنامه‌های کاربردی شرکت کنند.

برنامه‌نویسان درآمد خوبی کسب می‌کنند و شرایط کاری خوبی دارند. ویژگی‌های این شغل شامل بازار کار مناسب، ساعت کاری منعطف، استقلال کاری و آینده روشن است. برنامه‌نویسان می‌توانند از طریق راه‌های مختلفی درآمد کسب کنند، از جمله:

• کار به صورت حضوری یا آنلاین در شرکت‌ها
• کار به صورت فریلنسری در سایت‌هایی مانند
• فروش دوره‌های آموزشی برنامه‌نویسی
• تأسیس شرکت خود در زمینه برنامه‌نویسی

یکی از بهترین راه ها و کم ریسک ترین راه ها برای کسب درامد ( دلاری یا غیر دلاری ) ساخت وبسایت فروشگاهی خودتون هست . ساختن سایت برای فروشگاه خودتون میتونه اعتماد مشتری ها رو خیلی جلب کنه و فروش شما رو بالا ببره . من در مدت زمان طراحی وبسایتم با شرکت های فروش هاست زیادی کار کردم ولی از بین همه میزبانفا بهترینشون بوده دلایلی هم که میتونم بیارم این ها هست:

• مقدار قطع و وصلی کم هست .
• سرعت سرور ها بالاست
• پشتیبانی عالی