Domine Crawling Assíncrono em C#: Otimize Seu SEO Já!

Crawlers web são robôs digitais que vasculham a internet coletando dados, como o Google faz para🔄 Loops em C#: Repita Tarefas sem Enlouquecer (Com for e while!)Descubra como automatizar repetições em C# utilizando loops for e while com exemplos práticos que evitam erros e otimizam seu código. Aprenda mais! indexar páginas. Neste artigo, vamos criar um crawler assíncrono⚡ Async/Await: Programação Assíncrona sem Callbacks!Aprenda a aplicar Async/Await em C# para criar aplicações responsivas, evitar travamentos e melhorar a escalabilidade com exemplos práticos e dicas essenciais. em C# capaz de processar múltiplas páginas simultaneamente. Ideal para quem quer dominar programação assíncrona⚡ Async/Await: Programação Assíncrona sem Callbacks!Aprenda a aplicar Async/Await em C# para criar aplicações responsivas, evitar travamentos e melhorar a escalabilidade com exemplos práticos e dicas essenciais. e aplicações de alto desempenho!

👉 Exemplo Prático: Imagine monitorar preços de produtos em 50 sites diferentes em paralelo. Nosso crawler fará isso de forma eficiente!

Índice🔗

Por que um Crawler Assíncrono?🔗

Síncrono vs Assíncrono	Desempenho
Processamento sequencial	10 páginas em 10 segundos
Processamento paralelo	50 páginas em 10 segundos

Problema🤝 GitHub Básico: Versionamento para Iniciantes!Descubra como o GitHub facilita colaboração, versionamento e organização de código com este tutorial prático e essencial para desenvolvedores iniciantes. Real: A maioria dos sites tem latência (atraso) de 500ms-2s para🔄 Loops em C#: Repita Tarefas sem Enlouquecer (Com for e while!)Descubra como automatizar repetições em C# utilizando loops for e while com exemplos práticos que evitam erros e otimizam seu código. Aprenda mais! carregar. Um crawler síncrono ficaria ocioso 99% do tempo esperando respostas!

Conceitos Fundamentais🔗

`async`/`await`

public async Task<string> DownloadPageAsync(string url)
{
    using HttpClient client = new();
    return await client.GetStringAsync(url);
}

Funcionamento: Libera a thread enquanto🔄 Loops em C#: Repita Tarefas sem Enlouquecer (Com for e while!)Descubra como automatizar repetições em C# utilizando loops for e while com exemplos práticos que evitam erros e otimizam seu código. Aprenda mais! espera I/O (como download), permitindo que o processador execute outras tarefas.

`HttpClient`

Pool de Conexões: Reutiliza conexões TCP
Timeout: Configurável para🔄 Loops em C#: Repita Tarefas sem Enlouquecer (Com for e while!)Descubra como automatizar repetições em C# utilizando loops for e while com exemplos práticos que evitam erros e otimizam seu código. Aprenda mais! evitar esperas infinitas
Headers: Simula navegadores reais

Concorrência Controlada

SemaphoreSlim throttler = new SemaphoreSlim(10); // Limite de 10 requests simultâneos
await throttler.WaitAsync();
try {
    // Processa página
} finally {
    throttler.Release();
}

Desenvolvendo o Crawler Passo a Passo🔗

Configuração do Projeto

dotnet new console -n WebCrawler
cd WebCrawler
dotnet add package HtmlAgilityPack # Para parsear HTML

Classe Base do Crawler

public class AsyncCrawler
{
    private readonly HttpClient _client;
    private readonly SemaphoreSlim _semaphore;
    public AsyncCrawler(int maxConcurrency = 10)
    {
        _client = new HttpClient();
        _semaphore = new SemaphoreSlim(maxConcurrency);
    }
}

Método Assíncrono Principal

public async Task CrawlAsync(string startUrl)
{
    var html = await DownloadPageAsync(startUrl);
    var links = ParseLinks(html);
    var tasks = links.Select(ProcessLinkAsync);
    await Task.WhenAll(tasks);
}

Parsing de HTML

private List<string> ParseLinks(string html)
{
    var doc = new HtmlDocument();
    doc.LoadHtml(html);
    return doc.DocumentNode
           .SelectNodes("//a[@href]")
           .Select(a => a.GetAttributeValue("href", ""))
           .Where(link => Uri.IsWellFormedUriString(link, UriKind.Absolute))
           .ToList();
}

Gerenciamento de URLs

private ConcurrentDictionary<string, bool> _visitedUrls = new();
private async Task ProcessLinkAsync(string url)
{
    if (_visitedUrls.TryAdd(url, true)) // Evita duplicatas
    {
        await _semaphore.WaitAsync();
        try {
            var content = await _client.GetStringAsync(url);
            // Processa conteúdo...
        } finally {
            _semaphore.Release();
        }
    }
}

Desafios e Soluções Comuns🔗

Rate Limiting

// Adiciona delay entre requests
await Task.Delay(TimeSpan.FromSeconds(1));

Tratamento de Erros

try {
    // Código do crawler
} catch (HttpRequestException ex) when (ex.StatusCode == HttpStatusCode.NotFound) {
    // Página não existe
} catch (Exception ex) {
    // Log de erros
}

Otimização de Performance

// Habilita compressão
_client.DefaultRequestHeaders.Add("Accept-Encoding", "gzip, deflate");

Código Completo do Crawler🔗

using System;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.Linq;
using System.Net.Http;
using System.Threading.Tasks;
using HtmlAgilityPack;
namespace AsyncWebCrawler
{
    public class Program
    {
        private static readonly HttpClient _httpClient = new HttpClient();
        public static async Task Main()
        {
            var urls = new string[]
            {
                "https://exemplo.com",
                "https://outrosite.com"
            };
            var tasks = new List<Task>();
            foreach (var url in urls)
            {
                tasks.Add(ProcessUrlAsync(url));
            }
            // Aguarda todas as tarefas (processamentos) terminarem
            await Task.WhenAll(tasks);
            Console.WriteLine("Crawler finalizado!");
        }
        private static async Task ProcessUrlAsync(string url)
        {
            try
            {
                string content = await _httpClient.GetStringAsync(url);
                if (!string.IsNullOrEmpty(content))
                {
                    var doc = new HtmlDocument();
                    doc.LoadHtml(content);
                    // Exemplo: Selecionar título da página
                    var titleNode = doc.DocumentNode.SelectSingleNode("//title");
                    if (titleNode != null)
                    {
                        Console.WriteLine($"Título da página em {url} => {titleNode.InnerText}");
                    }
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Erro no processamento de {url}: {ex.Message}");
            }
        }
    }
}

Expandindo o Projeto🔗

1. Armazenamento de Dados

await File.WriteAllTextAsync($"pages/{Guid.NewGuid()}.html", content);

2. Paralelismo📊 Parallel.ForEach: Processamento Paralelo Simples!Descubra como o Parallel.ForEach do C# acelera tarefas dividindo o processamento em threads, melhorando desempenho e otimizando o tempo de execução. Avançado

Parallel.ForEach(links, new ParallelOptions { MaxDegreeOfParallelism = 4 },
    link => ProcessLinkAsync(link).Wait());

3. Políticas de Retry

var policy = Policy
    .Handle<HttpRequestException>()
    .WaitAndRetryAsync(3, retryAttempt =>
        TimeSpan.FromSeconds(Math.Pow(2, retryAttempt)));