Como copiar todos os links de uma página da web

Por que você precisaria de todos os links

Juntar links é uma tarefa surpreendentemente comum. Você pode querer todos os artigos de uma lista de leitura, todos os arquivos de um índice de downloads, todos os produtos de uma categoria ou todas as páginas do menu de um site para procurar links quebrados. Copiar um por um com o botão direito e Copiar endereço do link funciona para cinco links e é um sofrimento para duzentos.

O jeito nativo

O Chrome não tem um comando "copiar todos os links". Ele consegue salvar a página inteira com Salvar como, e o HTML salvo contém todos os links, mas você ainda teria de garimpá-los no arquivo.

O jeito manual

As ferramentas de desenvolvedor do Chrome conseguem juntar os links por você, e não é preciso saber programar para usar isto:

1. Na página, pressione F12 (ou Cmd+Option+J no Mac) e abra a aba Console.
2. Cole a linha abaixo e pressione Enter.

copy([...new Set([...document.querySelectorAll("a[href]")].map((a) => a.href))].join("\n"))

3. Todos os links da página estão agora na sua área de transferência, um por linha. Cole num arquivo de texto ou numa planilha.

O que a linha faz, em palavras: encontra todos os elementos de link da página, pega o endereço completo de cada um, remove os duplicados, junta tudo com quebras de linha e copia o resultado. A função copy só existe no console do DevTools, então isso não funciona em nenhum outro lugar.

Duas coisas para saber. Na primeira vez que você colar algo no console, o Chrome pode pedir que você digite uma frase de confirmação, como proteção contra pessoas sendo enganadas para rodar código malicioso. É um bom hábito: só cole código que você entende, como a linha acima. E a linha só enxerga os links que estão na página naquele momento. Numa página que carrega mais conforme você rola, role até o fim antes.

Deixe permanente com uma ferramenta

Se você junta links do mesmo site com frequência, um botão na página é mais prático que abrir o console toda vez. Um userscript é um trecho curto de JavaScript que roda no site que você escolher. Um que adicione um botão Copiar links faz o mesmo que a linha do console, ao clicar, e pode ser mais esperto: pode pular os links do menu e do rodapé do site, ficar só com os da lista principal ou filtrar por tipo, por exemplo só arquivos PDF.

O ScriptPanda é uma extensão do Chrome que cria ferramentas assim a partir de uma descrição simples. Abra o painel lateral dele na página, cole o pedido do fim deste guia, e ele escreve a ferramenta e a instala ali. Ele vê a estrutura da página, então você pode descrever com palavras comuns quais links quer, por exemplo "só os links dos resultados de busca" ou "só os links para páginas de produto".

Copiar links não chama IA, então usar o botão não gasta as solicitações do seu plano. Criar a ferramenta e alterá-la gastam.

Ideias para depois:

• Copiar cada link com o texto dele, como uma lista em Markdown.
• Mostrar a contagem de links antes de copiar.
• Baixar os links como arquivo de texto em vez de copiá-los.

Quando você precisa de mais que links

Se você quer o título, o link e o preço de cada item como colunas numa planilha, uma exportação para CSV combina mais. O guia relacionado adiciona um botão Exportar CSV a qualquer lista.

Limites

O botão copia os links que estão na página quando você clica. Ele não segue links para outras páginas para juntar os delas, e não roda em horários agendados. Links que só aparecem ao rolar, ou atrás de um botão "Carregar mais", só entram depois de carregados. Alguns sites montam links com scripts em vez de elementos de link comuns, e esses podem escapar, então diga ao ScriptPanda o que está faltando e peça para ele ajustar a ferramenta. Se o site mudar o layout, vale o mesmo.