Отвечая на вопрос одного из подписчиков на рассылку по обучению копирайтингу о том, как быстрее поднять уникальность текста, вспомнила вдруг, в какой ужас или трепет меня ввело впервые когда-то услышанное слово «шингл». Вот это да! Какими словами оперируют копирайтеры, а я таких не знаю! Наверное, у всех с этого начинается освоение профессии копирайтинга – с открытия для себя нового. Но о шингле ниже.
Сразу замечу, что техническая уникальность текста – это то, чем должны быть озабочены копирайтеры. А вот для владельцев сайтов, с точки зрения сотрудников поисковой системы Google, уникальный контент – это то, что несет в себе особую информационную ценность. Но сейчас мы именно о технической уникальности, о том, что проверяется с помощью специальных программ, и где мы стараемся добиться высокого процента – 100!
Как поднять уникальность текста или как пройти антиплагиат
Итак, на многих биржах имеются собственные программы проверки уникальности. На бирже ContentMonster, например, тексты проверяются внутри самой биржи. А вот с биржи Etxt.ru программу можно скачать. Проверить уникальность онлайн предлагают сейчас множество сервисов, но на них останавливаться не буду, потому что бесплатная проверка не дает возможности применять свои настройки, потому гарантии высокой точности быть не может. Результат приблизительный.
В последнее время программа Advego Plagiatus (последние версии) доставляют немало неудобств требованиями ввести капчу, но пока альтернативы для себя я не нашла. О том, какие сделать настройки, уже писала, причем, и о том, что программа может сама удалить теги и проверить чистый текст.
Проверять ли уникальность текста с заголовком или без него?
Вот здесь однозначного ответа нет. Во-первых, заголовок увеличивает объем текста на количество символов, из которого он состоит. Потому процент уникальности может быть выше. К примеру, текст объемом 1500 знаков без пробелов плюс 60 знаков заголовок. Итого 1560 знаков.
Теперь считаем проценты.
В 1500 знаках 98% уникальности означает, что похожие места обнаружены в 30 символах.
В 1560 знаках 98% – в 31,2.
Скажете, какая мелочь? 5-6 слов. Совсем не мелочь, потому что при сдаче текста заказчику или на биржу эта «мелочь» может вызвать необходимость исправлений, время, нервы, испорченные отношения. Лучше сразу уточнить, какие установлены требования по проверке уникальности, даже если допустимый уровень – 95%. На бирже Texthunter, например, требуется проверять уникальность текста с заголовком и при шингле 3. Для бирж, где отдельные формы для ввода заголовка и тела текста, проверка должна быть отдельной.
Как быстрее избавиться от обнаруженных совпадений при проверке уникальности
Начнем с того, что совпадений будет меньше, если мы не используем речевые обороты, о которых тоже уже писалось, например, «всем известно», «ни для кого не секрет» и прочих. Предположим, результат проверки выдал 94%, а нам нужно получить 95. Здесь важно определить, эти 6% совпадений раскиданы по всему тексту или где-то в одной фразе.
Как поднять оригинальность текста по Антиплагиат.ру от 0 до 80% БЕСПЛАТНО ЗА 5 МИН
Если выделено целиком предложение, или на стыке фрагменты из двух, это, конечно, нужно переписать полностью. Но совпадения могут быть обнаружены и по всему тексту небольшими словосочетаниями. Тогда можно попробовать заменить слова синонимами, переставить их местами, числа заменить именами числительными, слово «тепла» градусами (+25°С) и так далее.
Бывает, что исправление в одном месте приводит к худшему результату – откуда-то появляются новые выделенные места. Тогда лучше вернуться к исходному варианту и попытаться добавить фразу или просто несколько слов. Помните про подсчет «с заголовком/без заголовка»? Часто помогает – пропорции меняются.
Сколько раз проверять текст на уникальность
Сразу скажу, что одной проверки недостаточно, даже если уникальность 100%. Обратите внимание, были ли ошибки соединения с сайтами. Сегодня у меня, например, проблемы со скоростью интернет-соединения, и многократная проверка выдавала такие цифры, как, найдено 180 страниц, проверено без ошибок 75. Такой результат меня не страивает. Придется проверять снова.
Могут какие-то сканируемые сайты быть недоступны, но соотношение должно быть небольшим и в обратную сторону, например, найдено 180, проверено без ошибок 150.
Насколько мне подсказывает опыт, при проверке уникальности программой Адвего Плагиатус учитывается и региональная привязка сканируемых сайтов. Неоднократно результат проверки одного и того же текста пользователем Украины, Сибири, даже Москвы, при одинаковых настройках программы выдавал существенно отличающиеся результаты. От чего это может зависеть, точно не знаю, но, возможно, и от настроек поиска в браузере, которым постоянно пользуемся. Одним словом, такое может произойти. Не удивляйтесь.
Проверка уникальности – путь к убийству компьютера
И здесь промолчать не могу, хотя повторяю это постоянно: у копирайтера должен быть установлен на компьютере надежный антивирус, который не даст зацепить заразу с зараженного сайта. Во время проверки текстов куда нас только ни заносит. Будьте осторожны!
Источник: nadezhdakhachaturova.ru
Так Систему не обойти
Последний учебный год, апрель месяц. Студента все чаще и чаще начинают посещать мысли о том, что надо бы заняться дипломной работой. Заняться — в смысле придумать, как быстро состряпать нечто, что будет хотя бы созвучно той теме, которую, вроде как, утверждали с научным руководителем.
А, да, надо хотя бы на 80 страниц, еще и соблюсти ГОСТы там всякие… Понятное дело, самому столько связного текста уже не успеть набрать (да еще и могут начать в суть работы вникать, ну его!). Очевидно — надо брать готовую работу, которую уже защитили, работу качественную, проверенную и одобренную. Знакомая всем нам ситуация. Открытым остается единственный вопрос — как сделать так, чтобы работа прошла проверку на заимствования… Поиск в интернете и общение с коллегами по несчастью приводят студента к следующим вариантам решения проблемы:
- Написать работу самому;
- Перефразировать текст (дорого и сложно);
- Обхитрить систему с помощью «технических обходов».
Давайте посмотрим, какими бывают технические обходы, как мы их отлавливаем и почему их применение — не самая хорошая идея…
Перефразирование может помочь выдать чужой текст за собственный, если оно выполнено качественно. Однако, качественное перефразирование само по себе является очень трудозатратным процессом, на который у студента, скорее всего, нет времени и средств. Простые же способы перефразирования (например, синонимизация) дадут результат, который не только обнаружится системой «Антиплагиат», но и, вполне вероятно, развеселит научного руководителя и аттестационную комиссию.
Таким образом, мы подходим к самому творческому и самому популярному среди студентов средству — техническим обходам — преобразованиям документа, которые, не меняя отображения исходного документа, изменяют текст, извлекаемый проверяющей системой.
C точки зрения работы с техническими обходами (далее будем называть их просто «обходами») перед системой «Антиплагиат» стоят две задачи:
- Обнаружение потенциальных обходов и уведомление пользователя о них;
- Очистка проверяемого текста от обходов.
Общую схему обработки обходов можно описать следующим образом:
- Обнаружение обходов, сохранение информации о них;
- Очистка извлеченного текста от обходов;
- Определение «подозрительности» документа на основании найденных обходов;
- Отображение информации о подозрительности пользователю, отображение найденных обходов.
Вот как это выглядит на практике.
Документ в формате docx:
Проверяем документ без функционала обнаружения обходов:
Документ имеет стопроцентную оригинальность.
Проверяем документ с включенным функционалом обнаружения обходов и видим, что оригинальность падает до 0.
Кроме того, система помечает документ как «Подозрительный» и показывает пользователю, где и какие именно обходы были обнаружены:
Поскольку целью технических обходов является повышение оригинальности документа, интересно классифицировать их по тому, каким образом они влияют на проверку документа. Исходя из того, что основным элементом проверки документа на заимствования являются слова документа, обходы можно разделить на следующие типы по их влиянию на извлекаемые слова документа:
- Изменение слова (слово в извлеченном тексте отличается от слова, отображаемого в исходном документе);
- Добавление слова (слово не видимо в исходном документе, появляется в извлекаемом тексте документа);
- Удаление слова (слово видимо в исходном документе, отсутствует в извлекаемом тексте документа);
- Разбиение слова (в исходном документе слово отображается нормально, в излеченном тексте оно разбито на две или более части);
- Слияние слов (в исходном документе отображается несколько слов, в извлеченном тексте они слиты в одно слово).
Давайте посмотрим, с какими обходами мы сталкиваемся. Начнем от простых и пойдем в сторону наиболее интересных.
Текстовые обходы
Обходы данного типа никак не привязаны к формату документа, они меняют строковое значение слов таким образом, что те продолжают выглядеть идентично исходным словам.
Омоглифы
Одним из первых зафиксированных нами способов обхода является замена букв на омоглифы — на визуально схожие с исходными буквами символы, имеющими иное значение. Омоглифия применялась с самых ранних дней существования системы «Антиплагиат», и, несмотря на то, что она нами давно уже отлавливается, мы все еще встречаем подобные обходы в студенческих работах.
Омоглифы легко находить и очищать, когда известен язык каждого слова. Мы умеем достаточно качественно определять язык каждого слова текста, даже когда текст содержит несколько языков и большое количество «мусора» (омоглифов и прочих лишних символов). Как — это тема для отдельной статьи. Имея язык слова и список возможных омоглифов для языка, мы восстанавливаем буквы исходного языка и сохраняем информацию о найденных омоглифах.
Непечатные символы
Другим способом изменения строкового значения слов без существенного изменения их отображения является использование невидимых либо слабо видимых Unicode символов. Вставка таких символов в слово меняет строковое значение слова, при этом практически не меняя его отображение.
Много подобных символов находятся в Unicode категориях «Other, Control» и «Mark, Nonspacing».
Данные символы система просто удаляет и, при их большом количестве, оповещает пользователя о подозрительности документа, отображая очищенные непечатные символы в отчете.
Обходы в pdf
Как мы уже рассказывали ранее, ключевым форматом при обработке документов у нас является pdf. Все остальные типы документов мы конвертируем в pdf, благодаря чему основная логика обработки документов у нас становится унифицирована для всех поддерживаемых форматов. Таким образом, обходы, которые можно реализовать в pdf документах, для нас представляют особый интерес.
Мелкий текст
Способ обхода, который одним из первых приходит на ум — сделать что-то маленьким и невидимым. Полученный таким образом текст не виден при просмотре оригинального документа, однако извлекается системой. Реализация очень проста — выставить у текста минимальный размер шрифта, изменить цвет текста. Настолько же прост отлов обходов данного типа — просто проверяем размер шрифта текста и геометрические размеры отдельных слов. За счет маленьких размеров студенты часто добавляют целые абзацы такого скрытого текста на страницу:
Отображение обнаруженной попытки обхода:
Изменение цвета текста на фоновый
Несмотря на то, что данный способ часто применяется в комбинации с предыдущим, более интересно его независимое использование. Дело в том, что нам для обнаружения и очистки обхода достаточно определения того, что хотя бы один параметр слова/символа имеет «подозрительное» значение. И, если определение маленьких размеров слова тривиально, то определение текста, цвет которого совпадает с фоновым, является более сложной процедурой.
Обнаружения невидимого текста осложнено следующими обстоятельствами:
- Из pdf не всегда возможно получить цвет конкретного символа;
- Фон слова может быть не белым. Более того, слово может находиться на фоне изображения;
- Слова и символы могут наезжать друг на друга.
Для устранения первых двух сложностей «невидимость» текста мы определяем посредством анализа отрендеренного изображения страницы документа:
- Определяем область страницы, содержащую слово;
- Вычисляем дисперсию полученной области. Если дисперсия ниже определенного порога — в анализируемой области имеем однородный цвет, никаких букв не видно. Следовательно, налицо попытка обхода системы.
Слова и символы, спрятанные друг за другом
Невидимые символы невозможно обнаружить посредством анализа области, в которой они находятся, если эти символы скрыты за другими «видимыми» символами. Поэтому для обнаружения подобных «спрятанных» символов у нас существует отдельная процедура, анализирующая пересечение областей символов и помечающая те символы, которые в значительной степени перекрываются другими.
Текст в виде изображений
Что будет, если взять и заменить часть текста изображениями, содержащими этот текст? При должной аккуратности внешне все будет выглядеть так, будто ничего в документе не изменилось, однако при извлечении текстового слоя, естественно, слова с картинок не извлекутся. Для закрытия данной бреши мы применяем оптическое распознавание текста.
Обходы, использующие особенности конвертации docx в pdf
Конвертация документов в pdf — нетривиальная задача. О том, как мы выбирали наиболее подходящее нам решение, можно почитать тут. К сожалению, даже наилучший из проанализированных нами вариантов неидеально конвертирует документы в pdf. Некоторые «особенности» конвертации активно используются при попытках обхода системы.
Формулы
Формулы и ряд других объектов, содержащих текст, «теряются» после конвертации в pdf. Таким образом можно попытаться скрыть целый абзац текста, или, например, каждое второе слово в тексте:
При конвертации в pdf получаем следующий результат:
Для обнаружения и очистки этого и других обходов, заточенных на особенности конвертации docx в pdf, мы анализируем и вычищаем исходный docx файл. В частности, при обнаружении существенного количества формул в документе мы их заменяем на простой текст, который сохранится при конвертации документа в pdf. Более того, мы запоминаем позиции формул, которые мы обработали, и при необходимости сообщаем пользователю о подозрительности проверяемого документа и подсвечиваем текст, который мы восстановили из формул.
Масштаб, маленькое межсимвольное/междустрочное расстояние
При конвертации в pdf не учитывается ряд свойств текста: масштаб, межсимвольное и междустрочное расстояния. Это позволяет добавлять невидимый в исходном документе текст (например, у него выставляется очень маленький масштаб), который в pdf становится нормальным, ничем не выделяющимся текстом. Реализация обхода (docx):
Результат конвертации в pdf (цвет мы меняли сами):
Единственная возможность отловить данный текст — найти его в docx и сохранить информацию о нем. Если мы обнаружили много такого текста в документе — помечаем документ подозрительным и показываем пользователю, где мы нашли в документе текст с подозрительными атрибутами.
Разбиение слова на части
Интересный частный случай применения свойств, описанных в предыдущем пункте — добавить в слово пробел и скрыть его. В исходном документе слово будет выглядеть нормальным, слитным, а после конвертации документа в pdf разобьется на две части, так как пробел станет полноразмерным. Отлавливаем подобный финт ушами примерно так же, как и в предыдущем пункте. Реализация обхода (docx):
Результат конвертации в pdf:
Отображение обнаруженного обхода:
Под старым каштаном, при свете дня, я предал тебя, а ты меня.
Как обойти антиплагиат?
Наверное, каждый студент или автор сталкивался с проблемой антиплагиата, который показывает низкую уникальность текста. В данной статье будут рассмотрены некоторые способы обхода антиплагиата.
Что такое антиплагиат и как он работает?
Антиплагиат – это система проверки текстов и документов на наличие заимствований из других источников, таких как интернет, книги, научные статьи и прочие. Это позволяет определить оригинальность текста и выявить фрагменты, которые могут быть скопированы из других источников без соответствующей ссылки.
Работа антиплагиата заключается в том, что он сравнивает текста с базой данных, доступных в интернете или внутренней базы учебных заведений. Для этого система использует алгоритмы, которые позволяют сравнить тексты и выявить сходство в словах, фразах и предложениях.
После проверки антиплагиат выдает отчет, который показывает процент уникальности текста и указывает на фрагменты, которые были заимствованы из других источников.
Некоторые нюансы
Стоит различать платную и бесплатную версию антиплагиата, которые показывает абсолютно разные результаты, иногда, отличающиеся на 30-40 процентов не в пользу бесплатной версии. Особенно это касается студентов и прочих людей которым необходимо проверять научные работы. Российские ВУЗы в основном используют программу Антиплагиат ВУЗ, которая имеет бесплатную версию Антиплагиат Ру.
Личный пример. Прямо сейчас я пишу свою первую «научную» статью и мне пришлось столкнуться с некоторыми трудностями в этом деле, а если быть точным с одной: антиплагиат. В частности бесплатная версия антиплагиата показывала 96% уникальности, а платная 36%, что является весомой проблемой которую необходимо решить.
Обычные авторы, скорее всего, проверяют свои работы с помощью Text.Ru или Advego Plagiatus, но представленные в данной статье способы обхода антиплагиата будут актуальны и для них.
Напишите, что-то свое
Да, это фактически не является способом обхода антиплагиата, потому что вы не откуда не заимствуете тот или иной материал. Это банально, но чтобы оригинальность была выше вы должны написать текст самостоятельно и это вполне себе реально, хоть и трудозатратно с точки зрения времени. Или перескажите по памяти уже написанный текст, что позволит вам повысить уникальность.
Но вы, скорее всего, читаете данную статью не не для этого, потому что это итак понятно всем, так что перейдем к следующему варианту.
Синонимайзер
Еще одним из вариантов обхода антиплагиата являются различные сервисы синонимайзеры, суть которых заключается в том, что они автоматически подбирают слова синонимы, повышая тем самым уникальность текста.
В качестве примера приведу одну из своих работ, которую модератор IXBT Live отклонил из-за низкой уникальности в 41%, потому что для статьи рассуждения требуется как минимум 90%. Я загрузил текст работы в один из синонимайзеров и немного поработал над ним, тем самым повысив уникальность на 24%, что является неплохим результатом, хоть и не достаточным для публикации.