واگرایی آنتروپیک و آنتروپی مربوط به معادلات کارشناسی ارشد غیرخطی

2 و

1،3،4،5

مرکز تحقیقات فیزیک Wigner ، 1121 بوداپست ، مجارستان گروه فیزیک ، دانشگاه بابی-بولی ، 400084 کلوج-ناپوکا ، رومانی

گروه علوم کامپیوتر و نظریه اطلاعات ، دانشگاه فناوری و اقتصاد بوداپست ، 1111 بوداپست ، مجارستان

گروه روشهای کمی ، دانشگاه پانونیا ، 8200 وسپرم ، مجارستان مؤسسه مجازی VIAS برای مطالعات پیشرفته ، 1039 بوداپست ، مجارستان نویسنده ای که مسئول است باید ذکر شود. بر اساس صحبت های ارائه شده در JETC ، بارسلونا ، 21-24 مه 2019. دانشکده خارجی ، مرکز علوم پیچیده ، 1080 وین ، اتریش. آنتروپی 2019 ، 21 (10) ، 993 ؛https://doi.org/10. 3390/E21100993

دریافت: 11 سپتامبر 2019 / اصلاح شده: 2 اکتبر 2019 / پذیرفته شده: 8 اکتبر 2019 / منتشر شده: 11 اکتبر 2019

خلاصه

:

ما فرمول های آنتروپی مهندس معکوس از واگرایی آنتروپیک ، بهینه شده در کلاسهای داده شده از عملکرد توزیع احتمال (PDF) معادله دینامیکی. برای دینامیک خطی عملکرد توزیع ، فرمول سنتی Kullback-Leibler از استفاده از عملکرد لگاریتم در ساخت و ساز F-Divergence CSISZár پیروی می کند ، در حالی که برای معادلات کارشناسی ارشد غیرخطی فرمول های عمومی تر پدیدار می شود. به عنوان برنامه ها ، ما یک مدل رشد محلی و تنظیم مجدد جهانی (LGGR) را برای توزیع استناد ، مدل های توزیع درآمد و نوسانات تعداد هادرون در برخورد با انرژی بالا مرور می کنیم.

کلید واژه ها:

1. انگیزه

همگرایی آنتروپیک در کنار نابرابری های عملکردی به شدت مورد مطالعه قرار می گیرد.

نابرابری lo g-sobolev و خانواده ای از سایر نابرابری های عملکردی مرتبط برای کنترل سرعت همگرایی فرآیندهای تصادفی در فضای اقلیدسی و مانیفولد ها ایجاد شده است. کنترل به شکلی از حد بالایی بر سرعت همگرایی در یک یا معیارهای دیگر ، به عنوان مثال ، فاصله Wasserstein ، LP-NORM یا موارد دیگر داده می شود. مهمترین پیشرفت با این رویکرد ، ترکیب شرایط انحنای است که جایگزین شرایط در مرز پایین شکاف طیفی می شود. مورد دوم می تواند به طور معمول در مجموعه های جمع و جور مورد استفاده قرار گیرد در حالی که اولی به ما امکان می دهد همگرایی را در مجموعه های غیر فشرده ، در فضاهای قطر بی نهایت یا اندازه گیری کنترل کنیم.

تئوری غلظت اندازه گیری ("کوچک شدن فاصله آنتروپیک") تأثیر جدیدی از کار مارتون [1] و تالگراند [2] دریافت کرد. این ابتکار عمل بعداً به یک درمان یکپارچه توسط اتو و ویلانی تبدیل می شود [3] که شامل تئوری حمل و نقل انبوه و جریان شیب بر روی منیفولدهای اقدامات است. تمام این تلاش ها بر یافتن شرایط برای همگرایی روند تحت نظارت متمرکز شده است. در این آثار چندین برنامه افزودنی از نابرابری log-pobolev ، فاصله Wasserstein و اطلاعات فیشر-دونسکر-وارادان ایجاد شده است [4].

کار حاضر با فرایندهایی که چنین روشهایی به بهترین دانش ما عمل نمی کند ، برخورد می کند. همگرایی به روشی متفاوت تضمین می شود. یک متریک ، به ویژه یک واگرایی از نوع kullback [5] ایجاد شده است که در آن با تشکر از رابطه صمیمی با ساختار معادله کارشناسی ارشد-می توان نشان داد که مشتق زمان آن منفی است.

برای تحولات اخیر که با زنجیره های مارکوف گسسته سروکار دارد ، به منابع [6،7] و منابع موجود در آن نیز مراجعه کنید.

رابطه آنتروپی کلاسیک - رابطه ای ، که توسط بولتزمن پیشگام شده است ، توسط گیبس ، پلانک و شانون استفاده و مورد بحث قرار گرفته است [8،9،10،11،12] (فقط به ذکر چند مورد) ، تحت تلاش عمومی است ، به عنوان مثال [13 ، [13 ، [13 ، [13 ، [13 ، [13 ،14،15،16،17،18]. بیشتر پیشنهادات از نظر ریاضی انگیزه دارند ، از نظر بدیهیات (Khintchine یا موارد دیگر) [19،20] تدوین می شوند ، و گاهی اوقات خاصیت افزودنی را برای فاکتورسازی احتمالات رها می کنند ، بنابراین با استقلال آماری به روش غیرمستقیم رفتار می کنند [21]. انگیزه انجام این کار در مطالعه سیستم های پیچیده نهفته است ، جایی که پیچیدگی خود را در همبستگی های دوربرد نشان می دهد و باعث ایجاد رفتار غیرمعمول در حد ترمودینامیکی می شود. در چنین پدیده هایی متداول است که اثرات رابط ، ضرب با طول همبستگی مشخصه ، از اثرات فله (حجم) کوچکتر نیستند. این سلسله مراتب آشنا را که برای سیستم های بزرگ در ترمودینامیک کلاسیک معتبر است ، خراب می کند و از نظر ریاضی در خاصیت غیر حساسیت منعکس می شود. از این رو فرمول های تعمیم عملکرد لگاریتمی در هسته فرمول آنتروپی لزوماً غیر متعارف هستند. علاوه بر این ، برخی از رویکردها لگاریتم را حفظ می کنند اما از تابعی از احتمال در فرمول استفاده می کنند. به عنوان مثال ، در زمینه تجزیه و تحلیل داده های سنسور ، آنتروپی دنگ در حال استفاده است [22،23،24].

با فرمول آنتروپی تعمیم یافته ، خواص مهم ، مانند غیر منفی بودن ، قابلیت انبساط ، محدب هنوز برآورده نمی شود [25]. با این وجود ، متقاعد کردن در مورد یک یا دیگری "در کنار ساده ترین" بدون بررسی پدیده های جسمی که متوجه می شویم یا اگر خوش شانس هستیم - حتی پیشنهاد می کنیم فرمول مشخصی را علیه دیگران ترجیح دهید [26،27]. ابتدا به روش قیاسی کسی فرمول را پیشنهاد می کند و سپس قبل از اعمال تعدادی از مشاهدات فیزیکی ، خصوصیات اساسی آن را بررسی می کند. هر فرمول جدید آنتروپی پیشنهادی باید شامل یک مورد معمولی به عنوان یک مورد محدود کننده باشد ، زیرا این در حال حاضر بزرگترین پشتیبانی مشاهده ای را دارد. راه دوم برای انتخاب فرمول مورد علاقه ممکن است با شروع مطالعه یک کلاس معین از رفتار سیستم پیچیده متکی باشد و تعریف کلاسیک را بر این اساس تنظیم کند. مهمتر از همه ، انتظار می رود که فرمول به آنتروپی دستور دهد تا در یک سیستم بسته ، تحت دینامیک میکروسکوپی داده شده که قبلاً شناخته شده یا فرض شده است ، افزایش یابد.

اگرچه هر دو روش قانونی هستند ، اما در این مقاله مورد دوم را دنبال می کنیم. با توجه به یک پویایی تکامل برای احتمالات میکرواستات ، ابتدا به دنبال یک فرمول مصلحت برای واگرایی آنتروپیک هستیم [28]: یک اندازه گیری غیر منفی بین دو توزیع احتمال (در یک عملکرد توزیع احتمال مدل مداوم (PDF) که در طول تکامل دینامیکی کاهش می یابداحتمالاً برای دو توزیع اولیه دلخواه. یا حداقل بین توزیع اولیه خودسرانه و توزیع ثابت. پس از تحقق این معیار همگرایی ، ما واگرایی آنتروپیک را از توزیع یکنواخت مطالعه می کنیم. توزیع یکنواخت را می توان متناسب با تفاوت عملکرد یکسان در لباس و توزیع مورد بررسی قرار داد. سرانجام این عملکرد به عنوان کاندیدای فرمول آنتروپی پیشنهاد می شود. برای معادلات کارشناسی ارشد خطی که توصیف تکامل احتمال استفرمول آنتروپی بولتزمن ، در حالی که برای سایر معادلات کارشناسی ارشد ، فرمول های مختلف نتیجه می گیرند. به طور خاص ، برای وابستگی به قدرت فراکتال به احتمال ، فرمول آنتروپی Tsallis ظهور می کند. روش ما که در بالا توضیح داده شد ، هنگام ارائه اثبات ، تعادل مفصلی را فرض نمی کند ، از این طریق در یک کلاس بسیار وسیع تر از پویایی نسبت به طوری معروف Boltzmann معتبر است.

غالباً فرض بر این است که توزیع انرژی غیر گسترده ای می تواند نشانه آنتروپی غیر فشرده باشد. این فرض اشتباه است. هر دو یک فرمول آنتروپی غیر فشرده با محدودیت خطی بر روی انرژی و یک فرمول آنتروپی لگاریتمی سنتی با محدودیت در عملکرد دیگری از انرژی منجر به PDF های غیر گسترده در تعادل. علاوه بر این ، چندین سیستم فیزیکی تمایل به یک رفتار آماری با توزیع ثابت غیرقانونی بدون رسیدن به تعادل (سیستم های باز) دارند. در چارچوب رشد محلی و مدل تنظیم مجدد جهانی (LGGR) ما نشان می دهیم که به دور از توزیع ثابت حالت تعادل ، یک رفتار ترمودینامیکی را نشان می دهد ، شبیه به قضیه نوسان و تقسیم [29]. نمونه هایی در توزیع درآمد ، محبوبیت اندازه گیری شده توسط استناد و تعدد هادرون در برخورد با انرژی بالا ، انعطاف پذیری و سودمندی مدل LGGR را نشان می دهد.

به عنوان بخشی از این ارائه ، ما برخی از فرمول های منتشر شده قبلاً [26،28] را تکرار می کنیم. هدف ما ارائه زنجیره ای از افکار خود به خواننده است که بدون خواندن بیشتر قابل پیگیری است. با این حال ، برای کمک به تمرکز بر تمایز ، ما به طور خلاصه توسعه اصلی را نسبت به انتشارات قبلی خود خلاصه می کنیم. اثبات کلی درگیری از کوچک شدن واگرایی آنتروپیک اکنون برای دو توزیع دلخواه ، برخلاف مشتق قبلی و سنتی تر ، هنگامی که یکی از توزیع ها ثابت است ، داده می شود. ما همچنین برخی از جزئیات را در مورد این که چرا در پویایی عمومی مارکوویان ، اثبات مشابهی بر اساس خاصیت محدب تعریف واگرایی آنتروپیک فقط برای رویکرد توزیع ثابت کافی است ، ارائه می دهیم. استدلال برای تعمیم در پویایی احتمال غیرخطی به زودی ذکر شده است ، اما برنامه های کاربردی در چارچوب مدل LGGR ما دوباره خطی است و بر روی فرآیندها با حالت ثابت و بدون تعادل دقیق متمرکز است.

2. کاهش واگرایی آنتروپیک

واگرایی آنتروپیک (که گاهی به عنوان "فاصله آنتروپیک" ذکر می شود ، با این حال ، معمولاً یک اقدام متقارن نیست ، و همچنین هیچ نابرابری مثلث را برآورده نمی کند) یک کاربردی با ارزش واقعی غیر منفی از توزیع دو احتمال است ، ρ [p ، q] ≥0ما همچنین می خواهیم که هر زمان که این اندازه گیری صفر باشد ، برابری دو توزیع به شرح زیر است: ρ [p ، q] = 0 ⇒ ∀ n p n = q n. ما یک نیاز بیشتر ، مربوط به پویایی تکامل احتمالات را اضافه می کنیم. این خاصیت برگشت ناپذیر بیان می کند که با شروع توزیع دلخواه در زمان t = 0 ، به توزیع ثابت نزدیک می شود ، بنابراین واگرایی آنتروپیک آنها کوچک می شود. برای شروع ، فرمول F-Divergence Csiszar را در نظر می گیریم [30،31]

ρ [p ، q] = ∑ n q n f (p n / q n) ،

به عنوان یک کلاس از فرمول های واگرایی آنتروپی که در اینجا مورد بررسی قرار گرفته است. استفاده از نابرابری جنسن [32،33] برای این فرمول یک به دست می آید

ρ [p ، q] ≥ f ∑ n p n = f (1)

for f ″>0از این رو خاصیت غیر منفی از هر عملکردی در فرمول CSISZAR با مشتق دوم صحیح و F (1) = 0 راضی است.