Популярное- Новинки
- Горячие новинки
- Аудиофанфики
- Все фанфики
- Рекомендации
- Коллекции
- Заявки
- Конкурсы
- Фанфик в файл
- Таблица переводов
- 0
Включить тёмную тему - Справка по сайту
Популярное Включить тёмную тему
 #моё #вопрос #IT
Правда ли, что в сверхбольших базах данных объём метаинформации растёт экспоненциально быстрее по сравнению объёма информации? Если да, то можно пруфлинк? Может быть, даже на русском? 8 марта 2016
|
 |
|
|
Матемаг, так "информации" или "метаинформации"? Ибо фильмы/тексты/прочее - информация.
|
|
|
|
|
А теги к ним, аннотации, поисковые системы, рейтинги и т.п. - метаинформация. Я просто говорю, что там не только индексы в качестве метаинформации.
|
|
 |
|
|
Матемаг
ОЧЕНЬ сильно зависит от архитектуры и реализации. У меня нет опыта работы с OLTP "изнутри", я честно не знаю, как там оптимизируется производительность. В стандартном Оракле, я всегда сам объявляю, сколько места выделить под индексы. |
|
|
|
|
"всегда сам объявляю, сколько места выделить под индексы" - хмн, вот я и спрашиваю. Если данные неограниченно растут, то эти самые индексы тоже приходится растить, чтобы операции над БД не лагали. Рост того и другого в условиях сохранения одинаковой нелагаемости и отсутствии технических ограничений - как соотносится? Графики какие?
|
|
|
|
|
Матемаг, дело в том, что уже сейчас довольно неплохо продвинулись в нейросетях - и, хотя с этой областью я не сталкивался, подозреваю, там возможен совершенно иной способ хранения информации, нежели в классических СУБД.
|
|
|
|
|
Именно поэтому ни я, ни дядюшка тут ничего сказать не можем.
|
|
|
|
|
Романио, ОК. Представим, что у тебя N методов поиска по неограниченно растущей БД. Ты реализуешь их с помощью нейросетей, которые обучаешь до максимума. Как будет соотносится скорость роста размера нейросетей и скорость роста данных, если необходимо сохранять постоянный или хотя бы минимально убывающий лаг всех операций над БД? Количество и структура нейросетей - любая, важна эффективность. Это гуглится?
|
|
|
|
|
Матемаг
(пожимает плечами) У меня нет баз, которые растут "неограниченно", я все-таки не в Facebook работаю. У меня есть два прогноза (min/max) по росту бизнес-критикал баз на ближайшие три года, на основе которых я планирую закупки оборудования. Для всех здесь присутствующих, оптимизация зетабайтных распределенных баз - вопрос теоретический. У меня точных знаний нет, общие соображения я уже озвучил. |
|
|
|
|
ОК. Спасибо. Эхехе, какого бы теоретика найти, да только где ж?..
|
|
|
|
|
Дядюшка, Матемагу даже не оптимизация нужна - его больше интересует то, что я бы отнес к внутренней архитектуре СУБД.
И на этот вопрос, полагаю, мы с вами уж точно не ответим. :) Не наш профиль. |
|
 |
Marlagram Онлайн
|
|
Подпишусь.
Но ИМХО, тут просто нет одного ответа в принципе. Вопрос требует, даже в чисто теоретическом разрезе, множества уточнений. Можно сделать очень большую базу данных, у которой размер метаинформации от собственно информации будет изменяться практически линейно. А можно накрутить и по экспоненте - особенно если склепать что-нибудь в духе тотального рекурсивного логирования вообще всех операций, включая собственно логирование :-) 1 |
|
|
|
|
liveinternet.ru /users/rss_rss_hh_full/post362298221 - нашёл здесь:
Джордан: В классической базе данных у вас есть около нескольких тысяч человек. Вы можете думать о них как о строках в базе, а столбцы представляют собой особенности этих людей: возраст, рост, вес, заработок и так далее. Количество комбинаций этих столбцов растет экспоненциально с их числом. Так что если в вашей базе данных очень и очень много столбцов, и мы говорим о современных базах данных, то каждый человек обладает миллионами и миллионами атрибутов. |
|
|
|
|
Разделил пробелом, т.к. ссылка длиннее 50 символов:(
|
|
|
|
|
Марлаграм, мне уже хочется задать какой-нибудь трешевопрос вроде "а если считать такой БД весь общественный индексируемый интернет?"
|
|
|
|
|
Матемаг, ты бы для начала прочел хоть "Базы данных. Проектирование, реализация и сопровождение. Теория и практика".
|
|
|
|
|
А смысл? Я не собираюсь работать в этой области, мне проще спросить у специалистов. Это как оверинженеринг, только оверусилия. Слишком мал выхлоп от потраченных сил и времени.
|
|
|
|
|
Матемаг
Да потому что для более-менее точного ответа на твой вопрос требует изрядное количество уточнений, вплоть до объявленных типов данных внутри БД, и размера блока файловой системы, на которой крутится эта БД. |
|
|
|
|
Вот я и прошу заодно доформулировать вопрос. Как сделать максимально экономно, но с сохранением функциональности и скорости работы? Я ж не спец по БД.
|
|
|
|
|
Матемаг
Чувак, я могу выйти на архитектора hi-load apps, но такие люди бесплатно не работают, тем более по невнятным вопросам :) |
|
|
|
|
Вот-вот:( Такие люди работают или за интерес (крайне маловероятно), или за большие деньги, которых, понятное дело, у меня нет.
|
|
Включить тёмную тему
VKontakte
WhatsApp
Telegram
