Технология поиска Web-страниц

С ростом числа сайтов и увеличением объема информации, размещенной на страницах в Интернете, возникла необходимость структурирования ссылок на различные темы. С этой целью были созданы тематические каталоги, в которых хранились ссылки на интернет-ресурсы, отсортированные по темам. Ссылки размещались в каталогах либо владельцами сайтов, либо специалистами, сотрудниками каталогов. В ответ на запрос клиент мог получить относительно небольшое количество ссылок. При этом степень соответствия темы страницы теме запроса (релевантность) была высока.

Постепенно процесс каталогизации и поиска ссылок на страницы автоматизировался. Возникли поисковые машины, сканирующие существующие интернет-ресурсы и индексирующие сайты по ключевым словам, часто встречающимся на страницах. Роль человека в этом процессе уменьшилась. Возросло количество ссылок-ответов на запрос. Но релевантность при этом была ниже, чем в каталогах. Алгоритмы поиска, программное обеспечение, задействованное в системах постоянно совершенствуется. И в настоящее время грань между каталогами и поисковыми машинами постепенно стирается. Большинство успешных каталогов включили в свой состав поисковые машины, расширив тем самым границы поиска запрашиваемых тем.

Сейчас поисковая система - это программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в . Обычно это сайт, на котором размещён интерфейс системы. Программной частью поисковой системы является поисковая машина (поисковый движок) - комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы.

Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на , товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс. При помощи специальной программы «World Wide Web Wanderer» автоматически или по заданному расписанию выполнялись какие-либо действия через те же интерфейсы, что и у обычного пользователя. Разработан Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор.

Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице - с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт». 23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа («интеллектуальной» группировки результатов при поиске файлов, веб-сайтов, других объектов, предоставляя пользователю возможность быстрой навигации, выбора заведомо более релевантного подмножества и исключения заведомо менее релевантного) и поиска по метаданным. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже экспериментировала с визуальной кластеризацией.

Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.

По данным компании Net Applications, в ноябре 2011 года использование поисковых систем распределялось следующим образом:

В Беларуси ситуация с поисковыми системами выглядит так (по данным Liveinternet):

Работа с тематическим каталогом: уточнение темы, поиск по ключевым словам в каталоге или в текущем разделе

Каталог сайтов Интернета, или каталог Интернет-ресурсов, или просто Интернет-каталог, - структурированный набор ссылок на сайты с кратким их описанием. В базе данных поисковой системы web-сайты группируются в иерархические тематические каталоги, которые являются аналогами тематического каталога в библиотеке. Тематические разделы верхнего уровня, например: Интернет, Компьютеры, Наука и образование и т. д., содержат вложенные каталоги. Например, каталог Интернет может содержать подкаталоги Поиск, Почта и др. Сайты внутри каталога разбиваются по темам, а внутри тем могут быть ранжированы или по индексу цитирования (как в каталогах Яндекса или Google), или по дате добавления, или по алфавиту, или по другому параметру. Поисковые кaтaлoги coздaются вpучную, т.e. инфopмaция в них зaнoсится людьми.

Поиск информации в каталоге сводится к выбору определенного каталога, после чего пользователю будет представлен список ссылок на Интернет-адреса наиболее посещаемых и содержательных web-сайтов. Каждая ссылка обычно аннотирована, т. е. содержит короткий комментарий к содержанию документа.

Особенность каталогов в том, что они более эффективны при поиске подборок информации на определенную общую тему, например, «профсоюзное движение», «редакции газет Урала», а не при поиске ответа на конкретный вопрос.

Глобальные каталоги: Open Directory Project, также известный как DMOZ.Каталог, Yahoo!, AboutUs.org,.
Русскоязычные каталоги: каталог @mail.ru, Яндекс, Каталог Wapalta, RINTooby, каталог Amiso.
Белорусские каталоги: TUT.BY, URL.BY, OPEN.BY.

Работа с поисковыми машинами

Поисковый сервер содержит большое количество ссылок на самые различные документы, и все эти ссылки систематизированы в тематические каталоги. Например: спорт, кино, автомобили, игры, наука и др. Причем эти ссылки устанавливаются сервером самостоятельно, в автоматическом режиме путем регулярного просмотра всех появляющихся во Всемирной паутине web-страниц. Кроме того, поисковые серверы предоставляют пользователю возможность поиска информации по ключевым словам. После ввода ключевых слов поисковый сервер начинает просматривать документы на других web-серверах и выводить на экран ссылки на те документы, в которых встретились указанные слова. Обычно результаты поиска сортируются по убыванию специального рейтинга документов, который показывает, насколько полно заданный документ отвечает условиям поиска или насколько часто он запрашивается в сети.

Поиск по ключевым словам

Поиск документа в базе данных поисковой системы осуществляется с помощью введения запросов в поле поиска. Запрос должен содержать одно или несколько ключевых слов, которые являются главными для этого документа. Через некоторое время после отправки запроса поисковая система вернет список Интернет-адресов документов, в которых были найдены заданные ключевые слова.

Чтобы получить лучшие результаты поиска, необходимо запомнить несколько простых правил:

• Не искать информацию только по одному ключевому слову.
• Лучше не вводить ключевые слова с прописной буквы, так как это может привести к тому, что не будут найдены те же слова, написанные со строчной буквы.
• Если в итоге поиска вы не получили никаких результатов, проверьте, нет ли в ключевых словах орфографических ошибок.
• Современные поисковые системы предоставляют возможность подключения к сформированному запросу семантического анализатора. С его помощью можно, введя какое-либо слово, выбрать документы, в которых встречаются производные от этого слова в различных падежах, временах и пр.

Поиск web-страниц в поисковых машинах в режиме расширенного поиска

Чтобы осуществить расширенный поиск в Интернет, необходимо использовать регулярные выражения. Регулярные выражения позволяют осуществить поиск по некоторому шаблону слова или выражения, в который включаются как буквы слова, которые необходимо найти, так и символы, заменяемые другими, произвольными символами.

В регулярных выражениях используются следующие символы:
? - символ, указывающий на то, что на месте этого знака может встречаться любая буква или цифра. Например, регулярному выражению м?л удовлетворяют слова «мал», «мол» и «мел».
* - символ, указывающий на то, что на его месте может встречаться произвольное число любых символов, в том числе пустое множество символов. Например, регулярное выражение «М* » означает любое слово, начинающееся с прописной русской буквы «М».

Эти символы можно комбинировать. Например, по шаблону: «(?* )» будут искаться все непустые выражения, заключенные в обычные (круглые) скобки.

Другие регулярные выражения встречаются редко. Это: «[», «]», «{,}», «^». Отметим, что регулярные выражения «заменяют» символы, поэтому не могут искать сами себя.

Использование регулярных выражений позволяет во много раз «сократить сущности» при поиске ключевых слов. Например, набрав запрос: нов?? автомобил* вы получите ответ, содержащий слова «новый», «новые», «автомобиль», «автомобили» и т.д. Этот запрос обрабатывается гораздо быстрее и точнее, чем простое перечисление слов.

При комбинации запросов, содержащие несколько слов, может возникнуть ситуация, когда требуется найти не просто ключевые слова, а, например:

• чтобы все ключевые слова присутствовали в тексте найденных страниц;
• чтобы в тексте найденных страниц присутствовало хотя бы одно слово (этот режим используется при поиске первоначально);
• чтобы в тексте найденных страниц обязательно присутствовали одни слова, и не встречались другие.

Для написания таких запросов нужно использовать выражения булевой алгебры: «И», «ИЛИ», «НЕ». Они обозначаются соответственно как «&», «|» и «~». Запросу <выражение 1> & <выражение 2> удовлетворяет обязательное одновременное присутствие в ответе обоих выражений. Запросу <выражение 1> | <выражение 2> удовлетворяет присутствие хотя бы одного выражения в ответе. И, наконец, запрос <выражение 1>~<выражение 2> выполняется только в случае присутствия первого выражения и отсутствия в ответе второго выражения. Запросы можно объединять, используя круглые скобки, например: стар?? | антикварн??) & автомобил* .
Многие поисковые системы позволяют при поиске учитывать расстояние между словами. Условно «расстояние» между словами - это количество посторонних слов, встречающихся вместе со словами, по которым ведется полнотекстовый поиск. Приведем пример. Если задан запрос на поиск в виде следующей фразы: широкий стол, то расстоянием между этими словами в тексте для разных фраз будет:

• широкий стол - два слова;
• широкий письменный стол - три слова;
• широкий простор открывался из окна. Поручик сел за обеденный стол. - восемь слов (без учета стоп-слов «за» и «из», а также знаков препинания).

Если пользователь ищет стол для покупки, то последний фрагмент его не заинтересует. Для поиска устойчивых словосочетаний выбирайте опцию поиска «слова вместе» расширенного поиска или используйте ключевые слова для ограничения расстояния. **
В некоторых поисковых машинах предусмотрена опция «поиск по странам» и «поиск по регионам». Для этого пользователь в специальном поле формы запроса пишет (или выбирает) название страны и региона. В этом случае ответы на запрос «фильтруются» по Интернет-адресам серверов, расположенных в данном регионе.

Некоторые поисковые системы предоставляют услугу фильтрации содержимого по типу файлов. Так, по умолчанию поиск ведется только по Веб-страницам (html-файлам). При включении фильтра также будет осуществляться поиск в файлах формата Adobe Acrobat (.pdf), Microsoft Word (.doc), Microsoft Excel (.xls), Microsoft PowerPoint (.ppt) и Macromedia Flash (.swf). Необходимо только учесть, что проиндексированного содержимого этих файлов гораздо меньше, чем HTML, поэтому, если поиск с использованием этого фильтра даст отрицательный результат, это не значит, что таких фрагментов в этих файлах нет - скорее всего, их просто нет в индексе.

Встроенный фильтр некоторых поисковых систем позволяет проверять и выбраковывать веб-страницы, закачанные на веб-сервер раньше или позже определенных дат. Этим фильтром можно отсечь «мертвые», давно не обновляющиеся страницы.
Фильтр по размеру файлов позволяет отсечь слишком малые (меньше 1 Кб) или слишком большие файлы или веб-страницы.

По умолчанию поисковая система ищет только оригинальные страницы, а не их копии на других веб-сайтах (так называемых «зеркалах», «mirror» по-английски). Чтобы система не игнорировала зеркала, необходимо включить эту опцию.

В общем случае регистр написания букв в поисковых словах и операторах значения не имеет. То есть такие слова, как конь и КОНЬ, and и aND воспринимаются поисковыми системами как одинаковые. Однако, в некоторых поисковых системах, с целью повышения качества поиска, регистр слов в запросе принимае6тся во внимание. Прежде всего, это касается обработки имен собственных. Например, если запрос в Рамблере состоит из двух, трех или четырех слов, каждое из которых начинается с прописной буквы, то эти слова считаются именами собственными. Поисковая система автоматически производит изменение ограничения расстояния между словами запроса со значения по умолчанию на величину (n-1)*2, где n - количество слов в запросе. Это позволяет находить группу слов запроса, внутри которого есть не более одного «лишнего» слова или знака препинания, например: «Николай Гаврилович Чернышевский», «Л.Н. Толстой», «Ростов на Дону».

Для поиска цитат можно использовать двойные кавычки. Слова запроса, заключенного в двойные кавычки, ищутся в документах в тех форматах и в том порядке, в котором они встретились в запросе. Следовательно, двойные кавычки можно использовать и просто для нахождения слова в заданной форме (по умолчанию слова находятся во всех морфологических формах).

По каждому слову запроса ведется поиск с учетом правил словообразования и морфологии соответствующего языка. Например, при поиске по слову «человек» будут найдены документы, содержащие слова «человеку», «человеком», «человека», и даже «люди». Чтобы произвести поиск только по одной определенной форме слова, нужно взять его в двойные кавычки, или воспользоваться поиском точной фразы в расширенном поиске.

Некоторые слова и символы по умолчанию исключаются из запроса в связи с их малой информативностью. Это так называемые стоп-слова, самые частотные слова русского и английского языка: предлоги, частицы, союзы и артикли. Присутствие этих слов может замедлить поиск и негативно повлиять на полноту результатов. Если необходимо все-таки включить эти слова в поиск, используйте двойные кавычки.

Если запрос состоит из нескольких слов, и при этом некоторые из них вообще не удалось найти, то выдаются результаты поиска по частичному запросу. Из этого результата частичного поиска исключаются отсутствующие слова. При этом на странице результатов поиска выдается соответствующая диагностика. Если запрос был составлен из двух или нескольких слов без применения операторов и конструкций языка запросов, то будут найдены документы, в которых встречаются все слова запроса. При этом для каждого запроса всегда существует так называемое ограничение контекста - положительное число, по умолчанию равное расстоянию в 40 слов.

Документ, в котором встречаются все слова запроса, будет выдан только в том случае, если расстояния в словах между вхождениями этих слов запроса будет меньше этого числа. Например, по запросу: «красная армия» будут найдены те документы, в которых слова «красная» и «армия» будут хотя бы один раз меньше, чем в 40 словах друг от друга. Значение ограничения контекста можно изменять конструкцией «(число, запрос)», где число - любое положительное число, а запрос - любой корректный с точки зрения поисковой машины запрос, состоящий более чем из одного слова. Таким образом, по запросу «(2, красная армия)» найдутся только те документы, в которых между словами «красная» и «армия» хотя бы раз не стоит ни одного слова (поскольку лишь в случае их непосредственного соседства разница в порядковых номерах слов меньше двух, то есть равно единице).

Поисковые системы физически не могут создавать индексы на всех языках. Все поисковые системы имеют «национальную» составляющую. Какие-то из поисковых систем ищут тексты только на английском языке (Yahoo.Com, Alta Vista.Com), какие-то на русском и английском (Рамблер), некоторые индексируют страницы на нескольких языках. Например, поисковая система Яндекс способна индексировать файлы на русском, английском, немецком, французском, украинском и белорусском языках. Особняком среди этих поисковых систем стоит Google: базовый ее сервер (www.google.com) индексирует файлы на английском языке, а национальные серверы (www.google.de, www.google.fr, www.google.ru) - на своих национальных языках. Все индексные базы находятся в одной глобальной сети, поэтому, можно сказать, что Google - одна из немногих поисковых систем, которая ищет сразу на всех языках в сети.

Особенности составления запросов в различных поисковых машинах

Лицензионно-правовые особенности свободного программного продукта

Определение Свободного Программного Обеспечения было дано Ричардом Столлмэном в 1986 году. Однако само это явление существовало и ранее. Фактически, большая часть программного обеспечения до 1980-х годов распространялась принципами, лежащими в основе Свободного ПО.
Свободное ПО может считаться таковым, если предоставляет пользователю следующие четыре свободы:

• свобода запуска программы в любых целях;
• свобода изучения работы программы и адаптации ее к нуждам пользователя (необходимым условием этой свободы является доступ к исходным кодам);
• свобода распространения копии;
• свобода распространения модификаций и улучшенных версий

Фонд Свободного Программного Обеспечения (Free Software Foundation, основанный в 1985 г. Ричардом Столлмэном), разделяет ПО на свободное (Free Software), полусвободное (Semi-free Software) и собственническое (Proprietary Software). Свободное ПО должно обладать всеми четырьмя свободами, приведенными выше. Полусвободное допускает те же свободы, только в отношении некоммерческого использования. Все остальное программное обеспечение относится к собственническому.

Термин «Открытое Программное Обеспечение» (Open Source, далее «ОПО») был предложен в 1998 году Эроком Реймондом и Брюсом Перенсом как альтернатива термину Свободное ПО, поскольку слово «free» в английском «Free Software» часто ошибочно читалось как «бесплатное» (а не «свободное»), что отпугивало коммерческих предпринимателей. Понятие Свободное ПО и Открытое ПО близки, многие лицензии удовлетворяют им обоим, в то же время определение Свободное ПО более строгое и требует обязательного предоставления свобод распространения, модификации, изучения и распространения улучшенных версий, тогда как Открытое ПО концентрируется на открытости исходных кодов как эффективного метода разработки.

По отношению к платности программное обеспечение можно условно разделить на:

• Бесплатное (Freeware). Лицензия такого ПО допускает бесплатное распространение бинарных экземпляров ПО. Этот термин не является синонимом Free Software, поскольку Freeware может распространяться без исходных кодов и других свобод, а Free Software не обязательно распространяется бесплатно.
• Условно-бесплатное (Shareware). Как правило, распространяемые бесплатно экземпляры имеют ограниченную функциональность, работают в течение ограниченного промежутка времени или имеют рекламную функцию, отключающуюся после оплаты.

Качество открытого исходного кода Свободного ПО, как правило, выше, поскольку закрытый исходный код скрывает недостатки и ошибки разработчика от коллег и клиентов. При открытом коде выше доля ответственности разработчика, в том числе и его репутационная ответственность.

В развитии Свободного ПО может участвовать любой из пользователей. Благодаря этому Свободное ПО может лучше отражать предметную область и быть более удобным в применении. Следует отметить, что этот эффект в наибольшей степени сказывается в областях, охватывающих достаточно большое количество IT-специалистов, таких как разработка программного обеспечения, наука, образование, порталы государственных услуг населению.

Благодаря доступности исходных кодов и свободы их использования Свободное ПО позволяет реализовать все преимущества повторного использования кода.

Эффект от поддержки основанного на Свободном ПО проекта IT-сообществом может оказаться настолько велик, что даже небольшой студенческий проект может превратиться в передовой программный продукт, наравне конкурирующим с лидерами IT-отрасли, и будет поддерживаться крупнейшими коммерческими и государственными организациями. Яркий пример - ядро операционной системы Linux.

Видеоматериалы

Как устроен информационный центр Google
(English)

Мэтт Катс (Google) объясняет, как работает поиск Google
(English)

Как искать людей с помощью Яндекса

Часто задаваемые вопросы

В чем основное отличие браузеров Яндекс, Рамблер, Google?

Яндекс обобщает все словоформы (мн. и ед. число, падежи), опускает предлоги (за, на, под и т. д.) и вопросительные формы (что, когда, как и т. п.). То есть при помощи Яндекса выне получите конкретный ответ на запрос «Дом» или «Дома», а только общее количество запросов по всем словоформам конкретного единичного слова.

Кроме стандартной информации по запросам, а также словосочетаниях и близких темах, поисковик предоставляет возможность отсеивать результаты по регионам, городам, а также по месяцам.
Учитывая тот факт, что Яндекс является самой популярной в Рунете поисковой системой, подобная статистика является наиболее репрезентативной при оценке положения дел в Рунете.

Рамблер в этом плане более точен, и его отчёты, по умолчанию, выдают сочетания запросов, в том виде, в котором их ввел в строку поиска пользователь. Для выдачи отчёта, подобного отчету Яндекса, в Рамблере предусмотрен язык запросов. Например, для получения всех словоформ от слова «Дерево» необходимо будет ввести «Дерев*».

Интерфейс Google содержит довольно сложный язык запросов, позволяющий ограничить область поиска отдельными доменами, языками, типами файлов и т. д. Например, поиск «intitle:Google site:wikipedia.org» выведет все статьи Википедии на всех языках, в заголовке которых встречается слово Google.
Для результатов поиска Google ранее предоставлял возможность повторного поиска, что позволяло производить поиск более детально. Для более детального поиска пользователям необходимо было указывать дополнительные параметры, по которым происходил отбор результатов, что позволяло сразу отобразить не только запрос, но и контекст, где он применяется. Данная возможность упрощала процедуру поиска, исключив необходимость в открытии каждого результата.

Что такое метопоисковая система?

Метапоисковая система (метапоисковая машина) - это поисковая система, которая в отличие от классических поисковых машин не имеет собственной базы данных и собственного поискового индекса, а формирует поисковую выдачу за счет смешивания и переранжирования результатов поиска других поисковых систем.

Как расширить возможности поиска?

1. В каждой поисковой системе, как правило, есть функция расширенного поиска. С его помощью можно найти нужную информацию на конкретном сайте, в определенном регионе и на определенном языке. Также можно уточнять поиск по многим другим параметрам: тип файлов, точность результата и пр. Данные параметры могут различаться в различных поисковых системах.
2. Более оперативный способ - использование , таких как AND или &, OR или |, NOT, ?, *, «», () и пр.

Linux уже давно захватил огромную часть рынка информационных технологий, большинство серверов работают под Linux, все суперкомпьютеры используют Linux, большинство планшетов и смартфонов используют Android, который, по сути, тоже является системой семейства Linux. Losst - сайт про Linux и свободное программное обеспечение, а поэтому для обеспечения его работы используется только свободное ПО.

В этой небольшой заметке мы рассмотрим какие программные решения используются для поддержания работы сайт, почему была выбрана та или иная программа и чем она лучше других. Ведь все это и есть Linux в действии. Начнем с самого низкого уровня и будет подниматься выше.

Какое программное обеспечение используется на Losst

1. Система виртуализации - XEN

Как и большинство современных сайтов Losst расположен на VPS сервисе. В качестве системы виртуализации используется XEN-PV. В сторону OpenVZ я вообще смотреть не рекомендую, так как там вы получаете только контейнер и не можете полностью контролировать свою операционную систему. Виртуализация KVM уже лучше, модуль виртуализации работает на уровне ядра, и вы можете контролировать свою ОС, для виртуализации аппаратных устройств используется Qemu. Но здесь минус в том, что возможен оверселлинг. В Xen оверселлинг реализуется сложнее, а технология паравиртуализации XEN-PV дает производительность схожую с реальным железом.

2. Операционная система - CentOS 7

В качестве операционной системы используется CentOS 7. Я выбрал эту ОС из-за длительного строка поддержки и постоянных обновлений. Если обновить Ubuntu 16.04 до LTS на сервере может вызвать определенные проблемы, то CentOS в рамках седьмой версии (на данный момент самой свежей) обновляется штатным пакетным менеджером без возникновения каких-либо проблем. Например, не так давно вышла новая версия Red Hat 7.4 и через несколько месяцев CentOS прозрачно обновилась до этой версии и получила новый Nginx с поддержкой ALPN, PHP 7 и другие улучшения. А поскольку система создана на основе корпоративной Red hat, то она очень стабильна.

3. Панель управления - VestaCP

Конечно, можно настроить сервер без всяких панелей управления, но на это нужно много времени, которое не всегда есть. Поэтому я использую панель управления с открытым исходным кодом - VestaCP. Некоторое время назад я использовал ISPManager и могу сказать что по субъективным ощущениям Vesta намного лучше. Красивый интерфейс, интуитивно понятное расположение функций, легкое управление пользователями, возможность настраивать шаблоны конфигурации по своему усмотрению, создание домена в несколько кликов, настройка Cron и веб-интерфейса и просмотр статистики. Отличная панель, если вы еще не использовали ее - рекомендую.

4. Веб-сервер - Nginx

Высокопроизводительный веб-сервер, который может выдерживать большие нагрузки благодаря своей оптимизированности под HighLoad. До перехода на использование HTTPS я использовал Apache, но потом нагрузка на сервер значительно выросла и мне пришлось искать более производительное решение. На данный момент Nginx отлично справляется со своей задачей. Сам Nginx может отдавать хоть 10 000 страниц в секунду, но узким местом здесь является PHP. Чтобы хоть как-то решить эту проблему используется fastcgi кэш для скриптов.

5. Интерпретатор скриптов - PHP 7

Основная часть сайтов сейчас написана на PHP и это нормально, так как php - самый популярный язык программирования для веб. Я использую php-fpm в связке с Nginx, это оптимальное решение. Я выбрал именно PHP 7 потому что по многим тестам его производительность немного выше чем у предыдущих версий. Также для ускорения выполнения php кода используется кэш opcache.

6. Безопасность - Lets Encrypt

Весь интернет медленно, но уверено переходит на безопасный протокол HTTPS, и хотя на этом сайте нечего перехватывать, мы тоже используем этот протокол, потому что это дает преимущества в поиске, более быструю загрузку и гарантию того, что в будущем браузеры не будут называть сайт небезопасным. Бесплатный сертификат от Lets Encrypt удовлетворяет все требования. Продление работает автоматически с помощью VestaCP.

7. Почтовый сервер - Postfix

Для отправки почты с сайта и приема почтовых сообщений для домена используется почтовый сервер Postfix. Я не выбирал этот сервер, он был автоматически установлен в VestaCP и отлично справляется со своей задачей.

8. Почтовый интерфейс - Roundcube

Чтобы иметь возможность читать письма, которые приходят на адреса из домена @сайт я использую веб-интерфейс почты roundcube. Интерфейс достаточно простой и в то же время удобный. Есть все необходимые возможности - выделение сообщений, удаление, отметка важных сообщений, сортировка по папкам и многое другое.

9. СУБД - MariaDB

Ни один современный динамический сайт не работает без системы управления базами данных. На Losst используется СУБД MariaDB - эта СУБД разработана создателем MySQL после перехода последней в собственность Oracle. Эта база данных имеет все возможности MySQL, более высокую производительность, а также огромное сообщество разработчиков. Обновления для MariaDB выходят быстрее чем MySQL, а также разработка ведется более активно.

10. Резервное копирование - automysqlbackup

Резервное копирование на сервере - это одна из самых важных вещей. Пусть оно будет не нужным основную часть времени, но один раз это может спасти огромное количество вашего времени и ресурсов. Я использую скрипт для автоматического копирования базы данных automysqlbackup. Резервная копия выполняется каждый день, к тому же скрипт позволяет выполнять ротацию копий и удалять лишние. Сохраняются все копии за последнюю неделю, ода копия недельной давности, одна месячной и одна годовой. Такое поведение можно настроить для каждой из баз данных.

11. Система мониторинга - zabbix

В работе сайта важно, чтобы он был постоянно доступен для пользователей и поисковых систем. Поэтому для мониторинга состояния сервера используется Zabbix. Zabbix позволяет отслеживать все состояние служб, нагрузку на сервер и другие параметры, а также информировать о появлении проблем через Email или Telegram. Чем раньше я узнаю о проблеме, тем раньше она будет решена и сайт снова заработает.

12. Система управления контентом - WordPress

WordPress - одна из самых популярных систем управления контентом в мире, она имеет огромное количество возможностей и огромное количество плагинов, созданных сторонними разработчиками. Да WordPress не идеален. Без кэширования он очень медленный и еще имеет кучу проблем. Но разрабатывать собственную CMS тоже не вариант, поскольку это занимает очень много времени и у вас просто не будет времени наполнять сайт контентом и думать о других вещах. Я знаю о чем говорю, несколько лет назад я уже пытался создать CMS на PHP, исходники до сих пор где-то лежат на GitHub, из того проекта ничего не вышло. В итоге либо вы делаете CMS, либо сайт, все вместе делать не получиться.

Выводы

В этой статье мы рассмотрели какое программное обеспечение используется для работы Losst. На момент написания статьи - все основные используемые программы распространяются с открытым исходным кодом. Конечно, есть плагины для WordPress, которые имеют закрытую лицензию, но это уже необходимость. А какое программное обеспечение используете вы на своих серверах? Напишите в комментариях!

Что такое программное обеспечение? Примеры его практического использования мы встречаем каждый день, садясь за компьютер. Даже простое перемещение мыши по экрану - это результат работы программного обеспечения. Какие есть разновидности ПО? Как осуществляется разработка программного обеспечения?

Программное обеспечение: теория

Работа компьютера осуществляется за счет совокупного использования аппаратного и программного обеспечения. Под первым понимается набор микросхем, плат и прочих электронных компонентов и устройств, входящих в состав ПК. Под вторым - компьютерные программы, которые предназначены для обработки информации и выполнения полезных действий при помощи ПК. Первое на сленге часто называется "железо", второе - "софт".

Появляется ПО на компьютере посредством инсталляции - размещения соответствующих файлов на диске. В ряде случаев необходимо производить обновление программного обеспечения. Это, по сути, повторная инсталляция более совершенной и современной версии ПО. Чтобы нужно обладать так называемым "дистрибутивом". Он представляет собой специализированную программу-инсталлятор.

Есть два основных типа ПО - системное и прикладное. Первая разновидность обеспечивает работу ПК с точки зрения его основных функций: запуск, загрузку и осуществление низкоуровневых вычислительных операций. Основными разновидностями системного ПО принято считать а также средства управления аппаратными компонентами компьютера и их настройки.

Это программы, с помощью которых на ПК производятся практически значимые действия. Например, набор текста, построение таблиц, рисование, пользование интернетом и т. д.

Если упростить язык, то можно резюмировать так: системное программное обеспечение - для компьютера, прикладное - для пользователя. Еще один способ объяснить разницу простым языком: работа как правило не видна. Они выполняют свои функции без "согласования" с пользователем, в скрытом режиме. В свою очередь, только при прямом участии пользователя работает прикладное программное обеспечение. Примеры и того и другого мы сегодня рассмотрим.

Есть, конечно, и "некомпьютерные" виды ПО. Ими могут управляться иного рода устройства - к примеру, планшеты, смартфоны, телевизоры. Есть программное обеспечение систем климат-контроля, промышленных объектов и т. д.

Что такое операционная система?

ОС - базовый с точки зрения эксплуатации возможностей ПК вид системного ПО. Почему его относят к этой категории программного обеспечения? Дело в том, что в средах, формируемых операционными системами, работают все остальное ПО компьютера (как системное, так и прикладное). ОС являют собой базу для работы ПК. Если нет операционной системы, то ни одна другая программа работать не будет. Основные процессы работы ОС скрыты от пользователя.

Самые распространенные в мире ОС для ПК - Windows (самая популярная, есть очень много ее версий - 7-я, 8-я, XP и другие), Linux, MacOS.

Системное ПО: драйвера

Второй, пожалуй, по значимости вид системного ПО - драйвера. Они призваны обеспечивать корректную работу аппаратных компонентов. Если на компьютере не инсталлированы драйверы для диска, то он функционировать не будет. Аналогично - для видеокарты, мыши, модема и даже процессора. Типовое программное обеспечение сети - драйвер маршрутизатора или же модема. Данный вид ПО, как правило, поставляется производителями оборудования (и во многих случаях входят в состав операционных систем).

Такова сущность системного ПО. На очереди у нас - прикладное программное обеспечение, примеры самых популярных решений и основные возможности, которые предлагаются пользователям.

Прикладное ПО: антивирусы, утилиты

Распространенные виды прикладного программного обеспечения - это антивирусы и утилиты. Первые предназначены защищать ПК от вредоносных программ, которые способны вывести из строя другое ПО или даже аппаратные компоненты компьютера. Одни из самых популярных в России антивирусов - NOD32, DrWeb, Kaspersky. Утилиты призваны обеспечивать стабильную работу ПК, следить за тем, насколько корректно работают процессор, диски, память и другие аппаратные компоненты компьютера.

Популярные Microsoft Word

Какие из конкретных образцов прикладного ПО находят наибольшую востребованность сегодня? Прежде всего, это касается программ для обработки текстов. Такого рода операции на компьютере - исторически самые первые. Одна из наиболее популярных в мире программ для обработки текстов и выполнения сопутствующих операций (рисование таблиц, графиков и т. д.) - Word. Разработала ее одна из крупнейших в мире корпораций - американская Microsoft. Допустима ее русская транскрипция, которая звучит как "программа Ворд".

К настоящему моменту выпущено несколько версий данного ПО. Функции в каждом из них отличаются, но базовая (и самая востребованная на практике) задача, выполняемая MS Word в той или иной модификации, - форматирование текста, сохранение его в файл и обеспечение (при необходимости) его корректного вывода на принтер.

Microsoft Word: возможности

"Программа Ворд" умеет выполнять огромное количество операций. А именно:

Форматирование букв и абзацев (подбор шрифта нужного размера и основных атрибутов - подчеркивание, написание жирным, курсив, расстояние между строк и т. д.)

Оформление внешнего вида страниц (задание цвета и рисунка на фоне, добавление графики, картинок и т. д.)

Добавление сопутствующих тексту элементов (таблиц, графиков, значков и т. д.)

Научиться пользоваться Word очень просто. Многие из элементов управления программой понятны интуитивно. Также стоит отметить, что компания Microsoft, выпустившая Word, снабдила свое решение подробной справочной системой, обратиться к которой пользователь может, нажав на клавиатуре F1.

Популярные прикладные программы: Microsoft Excel

Пример другого популярного прикладного ПО - Microsoft Excel (по-русски - "программа Эксель"). Ее узкая специализация - вычисления при помощи электронных таблиц. Такого рода решения значительно упрощают работу с цифрами.

Несмотря на то что данная программа считается профессиональной, освоить базовые методы работы с ней могут даже начинающие пользователи (отчего она и приобрела всемирную известность).

Microsoft Excel: возможности

Самые простые операции в Excel - это отображение текста и цифр в виде таблиц. Рабочее поле программы, собственно, и выглядит как большое количество ячеек, в каждую из которых можно что-то вписать. Более сложная процедура - построение графиков, введение формул. Операции, которые требуют профессиональной подготовки - программирование так называемых "макросов" (своего рода внутренних программ), инженерные вычисления.

Перечислим самые распространенные на практике типы задач, которые умеет решать "программа Эксель":

Математические расчеты с использованием числовых значений в табличных ячейках (суммирование, вычитание, деление, умножение, выстраивание прогрессий и т. д.);

Применение формул для автоматизации счета;

Составление отчетов, бланков, опросников и иных документов, которые наиболее комфортно смотрятся в виде таблиц;

Построение графиков, визуализация статистики при помощи диаграмм.

Так же как и в случае с Word, пользование Excel очень легко освоить самостоятельно. Элементы управления программой во многом интуитивно понятно. Данный вид ПО также снабжен подробной справочной системой (которая может пригодиться не только начинающему пользователю, но и профессионалу).

Популярные прикладные программы: Adobe Photoshop

Часто у пользователей возникает потребность в задействовании одной интересной программы - "Фотошопа". Для Windows 7, 8 или же XP она существует в большом количестве версий. Официально эта программа называется Adobe Photoshop. Она предназначена для рисования (такого рода решения называются "графическими редакторами"). Пользуются ей, как и в случае с Word и Excel, как начинающие пользователи, так и профессионалы: дизайнеры, веб-разработчики, создатели мультфильмов.

Photoshop относится к программам, обрабатывающим изображения в так называемом "растровом" режиме. Что это значит? Можно сказать, что к категории "растровой" принадлежит основная часть компьютерной графики. Речь идет об изображениях, состоящих из большого количества мелких точек (вспоминаем, как строится картинка на телевизоре и мониторе - принцип тот же). При помощи "растровых" можно создавать абсолютно любые графические элементы. Можно нарисовать портрет человека, дом, пейзаж - все что угодно. Кроме "растровой" графики есть еще "векторная". Изображения на ее основе можно, в свою очередь, выстраивать только по шаблонам, заложенным в программе.

Adobe Photoshop: возможности

При помощи Photoshop можно не только создавать картинки, но также вносить изменения в уже готовые. Отсюда термин "отфотошопить". Можно, например, видоизменять объекты на фото, что-то к ним пририсовывать, ретушировать - при большом опыте работы с Photoshop все может получиться очень правдоподобно.

Adobe Photoshop работает с большинством форматов графических файлов благодаря наличию большого набора конверторов для разных форматов. Последние преобразуют графическую информацию из формата файла в собственный формат редактора Adobe Photoshop при чтении из файла. При записи в файл конверторы выполняют обратное преобразование.

Каковы самые популярные виды операций, которые производятся в Photoshop? К ним можно отнести следующие:

Создание новых рисунков при помощью виртуальных кистей, карандашей, линеек, фигур с использованием различных цветов;

Изменение размера картинок или отдельных их элементов;

Объединение содержимого двух разных изображений;

Изменение цвета картинки или ее частей;

Применение визуальных эффектов за счет встроенных в программу шаблонов и алгоритмов;

Трансформация картинок (отражение, вращение и т. д.).

Так же, как в случае с Word и Excel, элементы управления Photoshop легко осваиваются интуитивно. Так что даже неопытный пользователь сможет что-то нарисовать. Многие из версий программы оснащены справочной системой на русском языке, где в подробностях рассказывается о том, как работать с Photoshop.

Популярные виды прикладного ПО: браузеры

Браузер - это программа, с помощью которой пользователи выходят в Интернет, читают новости с сайтов, пишут сообщения в соцсетях, просматривают ролики - словом, делают все то, что характерно для "виртуального пространства". Самые популярные в мире решения такого типа - Internet Explorer, Opera, Google Chrome. Есть очень большое количество их аналогов и подтипов. Функциональность каждого из них, в целом, одинаковая. Большинство пользователей предпочитают эксплуатировать те или иные, исходя из субъективной оценки качества дизайна программ и удобства расположения элементов управления на них.

Принцип работы браузеров основан на распознавании языка разметки гипертекста (называемого HTML) и преобразования его в понятные для пользователя визуальные элементы - текст, картинки, таблицы, видео, анимацию, формы сообщений и т. д.

Браузеры: возможности

Устроены образцы такого ПО очень просто. Основные элементы браузера - строка с адресом сайта и основное поле (называемое чаще всего "веб-интерфейсом", где отображается информация из Интернета. Главная особенность такой программы - она является посредником между пользователем ПК и другими людьми, находящимися в виртуальном пространстве. То есть, при помощи браузера (точнее, "веб-интерфейса") человек, по сути, может осуществлять обмен данными, отправляя что-то от себя (текст, файлы) и получая что-то от других. Был ли Интернет до изобретения браузеров? Безусловно. Дело в том, что "веб-интерфейс" - исторически не самый первый способ коммуникации между пользователями. Он появился после долгих лет международных согласований стандартов, по которым должен осуществляться обмен "виртуальной" информацией.

ПО: платное и бесплатное

Один из критериев классификации ПО - стоимость. Есть три категории решений. Во-первых, это полностью бесплатное Во-вторых, есть коммерческое. Если пользователь хочет задействовать такое ПО, то он должен заплатить за его инсталляцию. В-третьих, существует промежуточный тип ПО - условно бесплатное. В чем его особенность? В общем случае задействования такого ПО такова: не нужно платить за инсталляцию, но, после эксплуатации программы в течение какого-то времени (например, месяца), необходимо будет перечислить денежные средства разработчику за дальнейшее пользование.

Что такое "облачные технологии"?

В последние годы набрал очень большую популярность термин "облачные технологии". Что это за явление? "Облачные технологии" - это, если говорить простым языком, прикладное ПО, которое можно запускать из браузера (соответственно, оно не установлено на ПК). Рассмотрим пример. Microsoft Word, о котором мы говорили выше, запускается двойным щелчком по значку на рабочем столе. Но есть такое же решение но "облачное": использование программного обеспечения такого типа осуществляется через веб-интерфейс браузера. Как правило, файлы, с которыми работает пользователь при помощи такого ПО, также хранятся в Интернете.

Очень много программ сейчас существует в "облачном" формате. Появились даже версии операционных систем такого типа. Так что можно говорить, что "облачный" формат - это не только прикладное, но и системное ПО. Популярность таких решений сегодня связана с быстрой скоростью Интернета (несколько лет назад такого не было), а также экономией времени пользователя - не нужно ничего инсталлировать на ПК. Кстати, обновление программного обеспечения облачного типа происходит независимо от пользователя. Это тоже удобно.

Кто разрабатывает программное обеспечение?

Существует целая отрасль экономики, в рамках которое осуществляется разработка ПО - программирование. В ней работают люди с самыми разными профилями знаний. Но их объединяет общий признак - знание языков программирования. Используя один или несколько из них, человек пишет ПО. Язык программирования - это набор команд, распознаваемых аппаратными компонентами компьютера. Написав выстроенную определенным образом "фразу", человек, создающий ПО, дает "распоряжение" процессору, или, скажем, диску ПК произвести над файлом такую-то операцию. Языков, с помощью которых осуществляется разработка программного обеспечения, сотни. В числе популярных - С ("Си"), Java, Pascal, Ruby-on-Rails.

Трудно ли научиться создавать ПО?

Совсем нет. Разработчиком программ может стать абсолютно любой желающий человек. Создание ПО - это совсем не запрещенный вид деятельности. Многие успешные предприниматели начинали с того, что разрабатывали программное обеспечение. Примеры таких людей - Билл Гейтс, Линукс Торвальдс, Евгений Касперский. Изучить языки для создания ПО можно на основе большого количества доступной литературы, видеоуроков, или посетив специализированные курсы. Разработка программного обеспечения - одна из самых динамично развивающихся отраслей, и рост ее популярности главным образом, связан с всеобщей доступностью.

В программном обеспечении компьютера есть необходимая часть, без которой на нем просто ничего не сделать. Она называется системным ПО . Покупатель приобретает компьютер, оснащенный системным программным обеспечением, которое не менее важно для работы компьютера, чем память или процессор. Кроме системного ПОв состав программного обеспечения компьютера входят еще прикладные программы и системы программирования .

Программное обеспечение компьютера делится на:

Системное ПО;

Сервисное ПО,
- прикладное ПО;
- системы программирования.

К системным относятся прежде всего операционные системы и программы, входящие в состав операционной системы (например, драйвера для различных устройств компьютера (от английского слова "drive" - управлять), т.е. программы, управляющие работой устройств: драйвера для сканера, принтера и т.д.). Кроме операционных систем еще относятся обслуживающее программное обеспечение (их ещё называют сервисные или утилиты, от английского слова "utilize" - использовать) для обслуживания дисков, архиваторы, антивирусные программы и т.д.

Сервисное программное обеспечение - это совокупность программных продуктов, предоставляющих пользователю дополнительные услуги в работе с компьютером и расширяющих возможности операционных систем. По функциональным возможностям сервисные средства можно подразделить на средства:

• улучшающие пользовательский интерфейс;
• защищающие данные от разрушения и несанкционированного доступа;
• восстанавливающие данные;
• ускоряющие обмен данными между диском и ОЗУ:
• средства архивации и разархивации;
• антивирусные средства.

Программы, с помощью которых пользователь может решать свои информационные задачи, не прибегая к программированию, называются прикладными программами.

Как правило, все пользователи предпочитают иметь набор прикладных программ, который нужен практически каждому. Их называют программами общего назначения . К их числу относятся:

Текстовые и графические редакторы, с помощью которых можно готовить различные тексты, создавать рисунки, строить чертежи; проще говоря, писать, чертить, рисовать;

Системы управления базами данных (СУБД), позволяющие превратить компьютер в справочник по любой теме;

Табличные процессоры, позволяющие организовывать очень распространенные на практике табличные расчеты;

Коммуникационные (сетевые) программы, предназначенные для обмена информацией с другими компьютерами, объединенными с данным в компьютерную сеть.

Кроме того, имеется большое количество прикладных программ специального назначения для профессиональной деятельности. Их часто называют пакетами прикладных программ. Это, например, бухгалтерские программы, производящие начисления заработной платы и другие расчеты, которые делаются в бухгалтериях; системы автоматизированного проектирования, которые помогают конструкторам разрабатывать проекты различных технических устройств; пакеты, позволяющие решать сложные математические задачи без составления программ; обучающие программы по разным школьным предметам и многое другое.

Комплекс средств, включающих в себя входной язык программирования, транслятор, машинный язык, библиотеки стандартных программ, средства отладки оттранслированных программ и компоновки их в единое целое, называется системой программирования . В системе программирования транслятор переводит программу, написанную на входном языке программирования, на язык машинных команд конкретной ЭВМ.

26. Операционная система компьютера (назначение, состав, загрузка).

Все разнообразие программ, используемых на современных компьютере называется программным обеспечением.

Операционная система является базовой и необходимой составляющей программного обеспечения компьютера, без нее компьютер не может работать в принципе.

Операционная система – это программа , котораяобеспечивает совместное функционирование всех устройств компьютера и предоставляет пользователю доступ к его ресурсам.

На сегодняшний день наиболее известными операционными системами для IBM-совместимых персональных компьютеров являются семейства операционных систем MicrosoftWindows и Linux.

ОСНОВНЫЕ ФУНКЦИИ ОПЕРАЦИОННОЙ СИСТЕМЫ:

Осуществлениедиалога с пользователем;

Ввод-вывод и управление данными;

Планирование и организация процесса обработки программ;

Распределение ресурсов (оперативной памяти и кэша, процессора, внешних устройств);

Запускпрограммнавыполнение;

Всевозможныевспомогательныеоперацииобслуживания;

Передача информации между различными внутренними устройствами;

Программная поддержка работы периферийных устройств (дисплея, клавиатуры, дисковых накопителей, принтера и др.).

Современные операционные системы имеют сложную структуру, каждый элемент которой выполняет определенные функции по управлению компьютером.

Управление файловой системой. Процесс работы компьютера в определенном смысле сводится к обмену файлами между устройствами. В операционной системе имеются программные модули, управляющие файловой системой .

Командный процессор - специальная программа, которая запрашивает у пользователя команды и выполняет их.

Драйверы устройств - специальные программы, которые обеспечивают управление работой устройств и согласование информационного обмена с другими устройствами, а также позволяют производить настройку некоторых параметров устройств.

Графический интерфейс – это оболочка, позволяющая осуществлять взаимодействие человека с компьютером в форме диалога с использованием окон, меню и элементов управления (диалоговых панелей, кнопок и так далее) . В операционных системах с графическим интерфейсом пользователь может вводить команды с помощью мыши, тогда как в режиме командной строки необходимо вводить команды с помощью клавиатуры.

Сервисные программы. В состав операционной системы входят также сервисные программы , или утилиты . Такие программы позволяют обслуживать диски (проверять, сжимать, дефрагментировать и так далее), выполнять операции с файлами (архивировать и так далее), работать в компьютерных сетях и так далее.

Справочная система. Для удобства пользователя в состав операционной системы обычно входит также справочная система . Справочная система позволяет оперативно получить необходимую информацию как о функционировании операционной системы в целом, так и о работе ее отдельных модулей.

Файлы операционной системы хранятся во внешней долговременной памяти компьютера.(на жестком, гибком или лазерном диске). Однако программы могут выполняться, только если они находятся в оперативной памяти, поэтому файлы операционной системы необходимо загрузить в оперативную память. Диск (жесткий, гибкий или лазерный), на котором находятся файлы операционной системы и с которого производится ее загрузка, называется системным.

Самотестирование компьютера. В состав компьютера входит энергонезависимое постоянное запоминающее устройство (ПЗУ), содержащее программы тестирования компьютера и первого этапа загрузки ОС - это BIOS (BasicInput/OutputSystem - базовая система ввода/вывода).

После включения питания процессор начинает выполнение программы самотестирования компьютера POST (Power-ONSelfTest). Производится тестирование работоспособности процессора, памяти и других аппаратных средств компьютера процессора, видеоадаптера, оперативной памяти, дисководов, контроллеров жестких дисков и клавиатуры. В случае обнаружения неисправностей выдаются диагностические сообщения в виде различных последовательностей коротких и длинных звуковых сигналов или в виде текстовых сообщений. После успешной инициализации видеоплаты краткие диагностические сообщения выводятся на экран монитора.

После проведения самотестирования специальная программа в BIOS, начинает поиск загрузчика ОС. Происходит поочередное обращение к имеющимся дискам и поиск в первом загрузочном секторе диска специальной программы MasterBoot (программы-загрузчика ОС).

Если диск системный и программа-загрузчик оказывается на месте, то она загружается в оперативную память и ей передается управление работой компьютера. Программа ищет файлы операционной системы на системном диске и загружает их в оперативную память в качестве программных модулей. Если системные диски в компьютере отсутствуют, на экране монитора появляется сообщение "Nonsystemdisk", загрузка операционной системы прекращается и компьютер остается неработоспособным.

27. Файлы. Имя файла. Файловая система. Основные операции с файлами.

Все программы и данные хранятся в долговременной (внешней) памяти компьютера в виде файлов.

Файл - это определенное количество информации (программа или данные), имеющее имя и хранящееся в долговременной (внешней) памяти.

Имя файла. Имя файла состоит из двух частей, разделенных точкой: собственно имя файла и расширение, определяющее его тип.

<имя файла>.<расширение>

Собственно имя файлу дает пользователь, а расширение задается программой автоматически при его создании.

Таблица 1. Типы файлов и расширений

В различных операционных системах существуют различные форматы имен файлов. В операционной системе MS-DOS собственно имя файла должно содержать не более 8 букв латинского алфавита, цифр и некоторых специальных знаков, а расширение состоит из трех латинских букв, например: proba.txt

В операционной системе Windows имя файла может иметь длину до 255 символов, причем можно использовать русский алфавит, например: Единицы измерения информации.doc

Правила создания имени файла:

Нельзя использовать следующие символы, которые зарезервированы для специальных функций: ? : * / \ “ >< |

Есть специальные зарезервированные слова, именами которых назвать папку не получится. ОС Windows не позволяет этого сделать. Дело в том, что до Windows существовала ОС DOS. В ней использовались системные папки со следующими именами: PRN, AUX, CLOCK$, NUL, COM0, COM1, COM2, COM3, COM4, COM5, COM6, COM7, COM8,COM9,LPT0,LPT1, LPT2,LPT3, LPT4, LPT5, LPT6, LPT7, LPT8, LPT9, CON

Файловая система - это функциональная часть операционной системы, обеспечивающая выполнение операций над файлами. Файловая система позволяет работать с файлами и директориями (каталогами) независимо от их содержимого, размера, типа и т. д.

Файловая система определяет общую структуру именования, хранения и организации файлов в операционной системе.

Функции файловой системы:

1. Сохранение информации на внешних носителях
2. Чтение информации из файлов
3. Удаление файлов, каталогов
4. Переименование файлов
5. Копирование файлов и др.

Для дисков с небольшим количеством файлов (до нескольких десятков) может использоваться одноуровневая файловая система , когда каталог (оглавление диска) представляет собой линейную последовательность имен файлов. Такой каталог можно сравнить с оглавлением детской книжки, которое содержит только названия отдельных рассказов.

Если на диске хранятся сотни и тысячи файлов, то для удобства поиска используется многоуровневая иерархическая файловая система , которая имеет древовидную структуру. Начальный, корневой каталог содержит вложенные каталоги 1-го уровня, в свою очередь, каждый из последних может содержать вложенные каталоги 2-го уровня и так далее. Необходимо отметить, что в каталогах всех уровней могут храниться и файлы.

Путь к файлу . Для того чтобы найти файл в иерархической файловой структуре, необходимо указать путь к файлу. В путь к файлу входят записываемые через разделитель "\" логическое имя диска и последовательность имен вложенных друг в друга каталогов, в последнем из которых содержится нужный файл.

Путь к файлу вместе с именем файла называют иногда полным именем файла .

Операции над файлами. В процессе работы на компьютере наиболее часто над файлами производятся следующие операции:

• копирование (копия файла помещается в другой каталог);
• перемещение (сам файл перемещается в другой каталог);
• удаление (запись о файле удаляется из каталога);
• переименование (изменяется имя файла).

Графический интерфейс Windows позволяет проводить операции над файлами с помощью мыши с использованием метода Drag&Drop (перетащи и оставь). Существуют также специализированные приложения для работы с файлами, так называемые файловые менеджеры : NortonCommander, TotalCommander, Проводник и др.

В некоторых случаях возникает необходимость работать с интерфейсом командной строки. В Windows предусмотрен режим работы с интерфейсом командной строки MS-DOS.

28. Компьютерные вирусы: методы распространения, профилактика заражения.

Компью́терныйви́рус - разновидность компьютерных программ или вредоносный код, отличительным признаком которых является способность к размножению (саморепликация). В дополнение к этому вирусы могут без ведома пользователя выполнять прочие произвольные действия, в том числе наносящие вред пользователю и/или компьютеру.

Даже если автор вируса не программировал вредоносных эффектов, вирус может приводить к сбоям компьютера из-за ошибок, неучтённых тонкостей взаимодействия с операционной системой и другими программами. Кроме того, вирусы обычно занимают некоторое место на накопителях информации и отбирают некоторые другие ресурсы системы. Поэтому вирусы относят к вредоносным программам.

Вирусы распространяются, копируя свое тело и обеспечивая его последующее исполнение: внедряя себя в исполняемый код других программ, заменяя собой другие программы, прописываясь в автозапуск и другое. Вирусом или его носителем могут быть не только программы, содержащие машинный код, но и любая информация, содержащая автоматически исполняемые команды - например, пакетные файлы и документы MicrosoftWord и Excel, содержащие макросы. Кроме того, для проникновения на компьютер вирус может использовать уязвимости в популярном программном обеспечении (например, AdobeFlash, InternetExplorer,Outlook), для чего распространители внедряют его в обычные данные (картинки, тексты и т.д.

Вирусы распространяются через дискеты (устар.), флеш-накопители, электронную почту, системы обмена мгновенными сообщениями, веб-страницы, интернет и локальные сети (черви).

Основные типы компьютерных вирусов:

Программные (файловые): инфицируют исполняемые файла компьютера, имеющие расширения com и exe. К этому же классу относятся и макровирусы, написанные помощью макрокоманд. Они заражают неисполняемые файлы (например, в текстовом редакторе MSWord или в электронных таблицах MSExcel).

Загрузочные вирусы внедряются в загрузочный сектор диска (Boot – сектор) или в сектор, содержащий программу загрузки системного диска (MasterBootRecord – MBR). Некоторые вирусы записывают свое тело в свободные сектора диска, помечая их в FAT – таблице как “плохие” (Badcluster).

Макровирусы поражают документы, выполненные в некоторых прикладных программах (например, Word). Заражение происходит при открытии файла документа в окне программы

Сетевые вирусы распространяются по различным компьютерным сетям.

Одним из существенных условий лицензионного договора на программное обеспечение является указание на разрешенные способы использования таких программных продуктов. При этом речь не идет об описании функциональных возможностей или и порядке применения программ по назначению, как это зачастую бывает во множестве лицензионных соглашений.

Поскольку лицензионный договор направлен на предоставление права использования, отсутствие в нем указания на соответствующие требованиям закона способы использования или их подмена фиктивными способами автоматически влечет возможность признания такого договора не заключенным.

Важно знать! Авторское право регулирует оборот копий произведений, включая программное обеспечение. Поэтому под юридическими способами использования ПО следует понимать только действия, направленные на передачу их копий третьим лицам. Извлечение полезных свойств программного обеспечения в рамках пользования его экземпляром не относится законом к способам использования.

Основные способы использования произведений перечислены в ст.1270 ГК РФ. Среди них к способам использования ПО можно отнести следующие:

1. воспроизведение ПО , т.е. есть изготовление одного и более экземпляра ПО или его части в любой материальной форме, включая запись в память ЭВМ;
2. распространение ПО путем продажи или иного отчуждения его экземпляров;
3. публичный показ ПО , то есть любая демонстрация экземпляра ПО на экране с помощью телевизионного кадра или иных технических средств в месте, открытом для свободного посещения, или в месте, где присутствует значительное число лиц, не принадлежащих к обычному кругу семьи, независимо от того, воспринимается ПО в месте его демонстрации или в другом месте одновременно с демонстрацией ПО;
4. импорт экземпляров ПО в целях распространения;
5. прокат экземпляра ПО , когда программа является основным объектом проката;
6. модификация ПО , т.е. любые его изменения, в том числе перевод такой программы или такой базы данных с одного языка на другой язык, за исключением адаптации, то есть внесения изменений, осуществляемых исключительно в целях функционирования программы для ЭВМ или базы данных на конкретных технических средствах пользователя или под управлением конкретных программ пользователя;
7. доведение ПО до всеобщего сведения таким образом, что любое лицо может получить доступ к ПО из любого места и в любое время по собственному выбору (доведение до всеобщего сведения), т.е. передача экземпляра по сети Интернет.

Установленный в ст.1270 ГК РФ перечень способов использования ПО является открытым, т.е. законодательство не исключает возможность существования иных способов. Однако такие способы должны относиться непосредственно к передаче экземпляров программного обеспечения, а не практической реализации заложенного в них функционала, как мы наглядно проиллюстрировали выше.

Внимание! В результате применение программ по функциональному назначению, адаптация программ путем их настройки с использованием заложенных внутренних возможностей не относятся к использованию. Следовательно, удаленный доступ к ПО и различным облачным сервисам на его основе также не может рассматриваться в качестве легального способа его использования.

Формулируйте условия лицензионного договора правильно.