Commons:Guide to batch uploading/pt-br

O "upload em lote" ou "ingestão de dados" consiste no envio automatizado de vários arquivos. Este guia tem como objetivo explicar como realizar esse processo. Consulte também Commons:Batch uploading para obter mais informações. Para informações sobre como estabelecer uma parceria com um fornecedor de conteúdo para obter conteúdo para upload, consulte Commons:Guide to content partnerships. Para obter ajuda na avaliação do fluxo de trabalho de uploads em lote, consulte o padrão de aprendizado no Meta.
Antes de começar: licenciamento e permissões
Antes mesmo de pensar em fazer o upload em lote de um conjunto de arquivos, certifique-se de que todos os arquivos sejam gratuitos e estejam dentro do escopo do projeto. Certifique-se de saber quem são os artistas e quando eles faleceram ou em que século viveram e use modelos de criador para permitir que outras pessoas verifiquem facilmente o ano de falecimento. Se precisar providenciar permissões, faça isso antes de iniciar o upload em lote. Na maioria dos casos, cada upload em lote usará uma única licença para todo o lote. A licença apropriada depende de vários fatores, principalmente se as imagens são de objetos 2D ou 3D.
2D trabalhos
2D works include paintings, drawings, photographs, and documents. If you intend to use one of the licenses below, make sure the images are actually 2D; try to crop frames of paintings if present, do not upload photographs of rooms with murals or frescoes if they show architectural features unless you provide a separate license for the photographer. Some appropriate licenses for 2D works include:
- $ 1 - para uso em imagens de obras de arte em 2D de artistas que morreram há mais de 70 anos.
- $ 1 - para uso em imagens de obras de arte bidimensionais de artistas falecidos há mais de 70 anos, quando o fotógrafo da obra tiver liberado explicitamente suas fotografias sob uma licença livre.
- $ 1 - use para digitalizações ou fotocópias de obras bidimensionais de autores falecidos há mais de 70 anos.
Todos esses modelos podem receber uma sublicença como parâmetro. Por exemplo, se você estiver enviando imagens de pinturas e souber que todos os artistas morreram há pelo menos 100 anos, você poderia usar {{PD-Art|PD-old-100}}.
3D trabalhos
Obras em 3D incluem esculturas, edifícios, pinturas com molduras artísticas, moedas e alguns têxteis. Na maioria dos casos, dois direitos autorais estarão envolvidos nessas imagens: o direito autoral da obra original e o direito autoral da própria fotografia. (Consulte Commons:Freedom of panorama para exceções.) Ao fazer o upload das imagens, certifique-se de especificar a licença tanto para a fotografia quanto para a obra retratada na fotografia. Veja, por exemplo, esta foto de uma obra de arte em 3D do Walters Art Museum. Obras em 3D geralmente não exigem etiquetas de licenciamento especiais. Normalmente, você pode usar etiquetas PD-Old padrão para as obras e etiquetas Creative Commons para as fotografias.
Pré-requisitos
Obter os arquivos
Antes de fazer o upload de qualquer coisa, você precisa ter os arquivos. Você pode armazená-los localmente ou usar links diretos (URLs) para a localização exata dos arquivos de origem. O link direto deve apontar diretamente para os arquivos jpg/ogg/... Caso todas ou algumas das imagens precisem ser alteradas, por exemplo, para recortar partes das pinturas ou remover marcas d'água, é mais fácil baixar todas as imagens primeiro e armazená-las localmente.
Obtenha os metadados
Obtenha os metadados para que tenhamos informações suficientes para posteriormente construir o nome do arquivo, a descrição e as categorias. Por exemplo, no caso de obras de arte, você pode precisar de: autores, títulos, técnicas, datas, instituições detentoras da obra, etc. As fontes de metadados podem incluir:
- podem ser fornecidos pelos sites, veja por exemplo aqui
- podem ser fornecidas pelas instituições GLAM que colaboram no processo de upload (por exemplo, se um museu estiver usando TMS, ele poderá exportar seus dados como um arquivo SQL)
- podem ser extraídos do site: page scraping
Limites de taxa
Usuários comuns no Commons têm um limite de taxa de uploads de 380 a cada 72 minutos. Usuários com status de image-reviewer, patroller ou autopatrolled têm um limite de taxa de 999 uploads por segundo. Esses direitos de usuário podem ser solicitados por COM:RFR. Se você for accountcreator, bot, bureaucrat, sysop ou translationadmin, não há limites de taxa
Para testar seus limites de taxa, clique em aqui, depois vá para query > userinfo > ratelimits > upload.
Ferramentas

Historicamente, os uploads eram feitos usando bots programados por wikimedistas. Atualmente, existem ferramentas mais fáceis de usar que simplificam parte ou a totalidade do processo de upload
- Pattypan e ComeOn! são aplicativos para desktop otimizados para usos GLAM, que utilizam uma planilha para carregar arquivos do seu disco rígido.
- O OpenRefine, uma ferramenta flexível de manipulação de dados, também é adequado para uploads GLAM. Ele aceita uma grande variedade de formatos de dados (incluindo XML e dados de APIs). O OpenRefine suporta a edição e o upload de dados estruturados.
- (Não funciona desde novembro de 2021) Commonist funciona com sistemas mais antigos e instâncias do MediaWiki que não sejam do Commons
- (Obsoleto a partir de 2020) O GLAMwiki Toolset (também conhecido como GWToolset), uma ferramenta on-wiki que permite o carregamento em lote de arquivos a partir de uma fonte de dados estruturada, como um arquivo XML.
- Offroader é um aplicativo para Android que transcodifica arquivos mov e mp4 para webm, divide arquivos de vídeo maiores que 4 GiB, verifica o SHA1 antes de iniciar o upload, permite uploads de revisão, continua uploads após interrupções (token CPSR, logout, alteração da chave do arquivo, falha na internet, travamento do dispositivo), verifica a integridade do arquivo após a publicação e pode criar um protocolo com mensagens de erro para desenvolvedores.
Consulte Commons:Upload tools para ver a lista completa.
Ferramentas que conseguem alterar arquivos já existentes em massa são úteis para adicionar detalhes aos arquivos caso algo tenha sido esquecido durante o upload.
- Cat-a-lot can alter the categories of large amounts of files in seconds
Processo
Abra uma subpágina por US$ 1 para discutir o upload. Nessa página, você pode descrever o que está enviando, receber feedback e documentar o progresso.
Marque como duplicado
Antes de se dar ao trabalho de reunir todas as informações, verifique se o arquivo já não existe no Commons.
- Calcule o hash SHA-1 do arquivo. (Em PHP, você pode usar a função sha1_file().)
- Consulte a API para verificar se existe um arquivo com hash
- Ignore o arquivo se já existir um arquivo com o mesmo hash ou verifique se a descrição atual está no formato correto e adicione metadados, se necessário.
Nomeando
Defina uma convenção de nomenclatura de arquivos que faça sentido, garantindo que os nomes dos arquivos sejam únicos e não estejam sendo usados no Commons. Você pode querer incluir:
- Título e/ou breve descrição (no início, para que mesmo com os nomes cortados ainda seja possível entender do que se trata)
- Ano
- Fonte/nome da nstituição
- Número de acesso/Identificador de registro - Adicionar um identificador único usado por outra instituição facilita a vinculação e aumenta a probabilidade de o nome do arquivo ser único.
Descriptions and templates
As descrições devem ser derivadas dos metadados, especialmente se houver metadados extensos fornecidos por uma instituição parceira. Para armazenar as informações com sucesso no Commons, os metadados precisarão ser convertidos para o formato wikitexto:
- A melhor prática é usar modelos padronizados para os metadados, garantindo assim uma sustentabilidade mais longa e robusta no Commons (especialmente agora que o modelo de contribuição de $ 1 se torna viável):
- {{Information}} -- modelo de descrição padrão, somente para uso
- {{Artwork}}
- {{Book}}
- Sempre que possível, utilize os seguintes modelos, que aproveitam o Wikidata e outras informações geradas pela comunidade:
- modelos de criador existentes modelos de criador para identificar autores, artistas e outros criadores ou criar novos modelos usando {{Creator}}.
- modelos de instituição existentes modelos de instituição para identificar instituições GLAM que possuem as obras de arte ou criar novos modelos usando {{Institution}}.
- {{Other date}}, {{Size}}, {{Technique}}
- o máximo possível de tags multilíngues
- Forneça links URL para os registros de origem, usando algum número de identificação e um modelo, como {{Archives municipales de Toulouse - FET link}} ou {{KIT-source}}.
- Crie uma etiqueta de origem para indicar a fonte/parceria (consulte o item Commons:Partnership templates para obter diretrizes e exemplos).
- Se for apropriado, forneça a atribuição usando mecanismos padrão (parâmetro attribution das etiquetas Creative Commons, {{Credit line}}).
Categorias
Os arquivos que você vai enviar precisam ser integrados à árvore de categorias do Commons. As categorias são uma forma comum de os usuários encontrarem arquivos. Uma categorização o mais completa possível é fundamental para que suas imagens sejam vistas pelo maior número de pessoas possível.
tipos de categorias
De forma geral, um arquivo pode ter dois tipos de categorias: categorias relacionadas ao "tópico" do arquivo e categorias relacionadas à "origem" do arquivo.

Observe a imagem à direita. Trata-se de uma reprodução de uma fotografia da década de 1910, que retrata homens em um carro Pic-Pic, pertencente ao acervo dos Arquivos Federais Suíços.
As categorias de tópicos para esta imagem são Pic-Pic_vehicles, 1910s photographs e Switzerland in World War I (mechanized vehicles).
As "categorias de origem" são Coleção CH-BAR Primeira Guerra Mundial Suíça e Mídia contribuída pelos Arquivos Federais Suíços.
A categoria de origem pode ser subdividida em "categorias de rastreamento" e "categorias de fonte". As categorias de rastreamento são de pouca utilidade para "usuários comuns", mas são essenciais para rastrear todo o conteúdo de uma fonte. Por exemplo, a ferramenta BaGLAMa [de US$ 1] usa essa categoria para fornecer visualizações de página mensais.
Uma "categoria de rastreamento" também pode indicar que a reprodução foi "oficialmente doada". Reproduções (especialmente de obras em domínio público) podem ser encontradas facilmente na internet e enviadas por qualquer usuário do Commons. No caso de um envio em lote, a fonte geralmente é "verificada" (por exemplo, por meio de uma API ou um dump de dados). Portanto, faz sentido ter tanto uma "categoria de rastreamento", como "Mídia contribuída por <instituição>", quanto uma "categoria de origem" indicando a coleção dessa instituição, como "Coleções de <instituição>".
Para arquivos que 'pertencem ao mesmo grupo', também faz sentido criar uma 'categoria de origem abrangente', como 'Artes decorativas no Louvre - Sala 19'. Essa categoria deve ser colocada corretamente na hierarquia adequada (por exemplo, como filha de Artes decorativas no Louvre).
Note que as categorias no Commons estão longe de serem padronizadas e podem ser imprevisíveis. Em geral, os nomes das categorias estão em inglês, mas há muitos casos de nomenclatura inconsistente e erros.
Colocando em prática
Resumindo: todo arquivo que você enviar "deveria" ter:
- Uma "categoria de rastreamento", adicionada por um modelo de parceria, como Category:Media_contributed_by_the_Swiss_Federal_Archives. Esta categoria deve ser filha de:
- A categoria da instituição (neste caso, Category:Swiss Federal Archives)
- Categoria principal para parcerias de conteúdo: $ 1
- Uma categoria de origem abrangente opcional (neste caso, Category:Images from libraries).
- Uma "categoria de origem" que indica a fonte ou coleção da obra de arte original. Por exemplo, Category:CH-BAR Collection First World War Switzerland.
- Esta categoria também deve ser uma subcategoria da categoria instituição (neste caso, Arquivos Federais Suíços).
Seus arquivos podem conter:
- O máximo possível de "categorias de tópicos" a partir dos metadados. Estas podem incluir, conforme apropriado: data (Category:1905 in France), localização, local de criação, artista, tipo de objeto, estilo, material, técnica, assunto, etc. Idealmente, use uma categoria o mais precisa possível dentro de cada árvore (verifique quais subcategorias existem) e, se um grande número de arquivos - digamos, mais de 20, mas às vezes menos - for adicionado a uma categoria, geralmente é melhor distribuí-los entre subcategorias ou criar uma nova subcategoria para eles (como foi feito com as subcategorias de Category:Photographs by Paolo Monti).
- US$ 1 para adicionar US$ 2 automaticamente (HotCat e outros serviços removerão automaticamente quando as categorias forem alteradas manualmente). E/ou uma categoria "Para verificar" para manutenção pós-envio (veja US$ 3).
Faça um upload de teste
Envie algumas imagens e peça feedback sobre a subpágina de US$ 1. Os revisores apontarão ou sugerirão modelos inusitados e inovadores que você vai querer integrar. Certamente, você precisará passar por várias iterações antes de obter a aprovação. Tenha paciência: é melhor acertar na primeira vez do que ter que corrigir os envios posteriormente.
Se você quiser testar o envio de arquivos e experimentar com segurança o uso de ferramentas ou novos modelos em um ambiente seguro, pode criar uma conta no cluster beta. Este é um espelho do Wikimedia Commons, onde, caso algo dê errado, você não causará nenhuma interrupção no ambiente de produção. Veja http://commons.wikimedia.beta.wmflabs.org e esta explicação.
Criar novo usuário para o seu bot de upload
Se você ainda não possui uma, precisará solicitar uma conta de bot por $ 1.
Faça o upload oficial
Embora os bots de upload possam ser escritos em várias linguagens diferentes e usando diferentes frameworks existentes, a maioria dos bots até agora foi baseada no Python Pywikibot Framework. Você também pode reutilizar código compartilhado por outros uploaders em lote.
Caso seus arquivos sejam muito grandes, ou para lotes muito grandes, você pode solicitar um upload do lado do servidor.
Documentação
Crie uma página no Commons para descrever o projeto:
- Por favor, siga o formato usual e use {{Sample}} e {{Header}}.
- Adicione {{Partnership table row}} a Commons:Partnerships.
- Traduza para o máximo de idiomas possível.