research product . 2020

Automated scraping of licence agreements from websites

Bartička, Vojtěch;
Open Access Czech
  • Published: 05 Oct 2020
  • Publisher: Západočeská univerzita v Plzni
  • Country: Czech Republic
Abstract
Práce se zabývá automatickým stahováním smluvních podmínek a zásad ochrany údajů z webových stránek. Je součástí většího projektu, který se zabývá analýzou obsahu těchto stránek a potřebuje pro ni trénovací dataset. Cílem je vytvořit aplikaci, která bude schopna tento dataset automaticky vytvořit. Jako základní řešení jsou použita pravidla založená na klíčových slovech. Toto řešení nám umožní získat dataset, pomocí kterého je vytvořena neuronová síť, která dále zlepšuje výsledky. Omezením kapacity sítě a zakrytím klíčových slov pak sítě dosahují zlepšení 6 až 9 % v f-míře, a až 71% snížení falešné pozitivity oproti klasifikaci pomocí klíčových slov. Obhájeno The thesis deals with the automatic scraping of terms and conditions and privacy protection information from web pages. It's a part of a larger project which focuses on the analysis of such pages and requires a dataset to train the system on. The goal is to create an application, which will be able to automatically create this dataset. As a baseline solution, a keyword-based system is used. This system allows us to create a dataset, on which we can train a neural network, which further enhances the results. By limiting the capacity of the network and hiding the keywords the network achieves a 6 to 9% improvement in f-score and up to 71% reduction in false positivity compared to the keywords-based system.
Subjects
free text keywords: zpracování přirozeného jazyka, strojové učení, sémantické reprezentace slov, získávání informací, klasifikace textu, neuronové sítě, fasttext, natural language processing, machine learning, semantic word representations, information retrieval, text classification, neural networks, fasttext
Related Organizations
Communities
  • Digital Humanities and Cultural Heritage
  • NEANIAS Space Research Community
Any information missing or wrong?Report an Issue