David, Sí, MapReduce está diseñado para operar en una gran cantidad de datos. Y la idea es que en general, el mapa y las funciones de reducción no deberían cuidar cuántos mapeadores o cuántos reductores hay, esa es sólo la optimización. Si piensas cuidadosamente sobre el algoritmo que publiqué, puedes ver que no importa qué asignador obtiene qué partes de los datos. Cada registro de entrada estará disponible para cada operación de reducción que lo necesite. Ndash Joe K Sep 18 12 at 22:30 En el mejor de mi entendimiento el promedio móvil no está bien mapas al paradigma de MapReduce ya que su cálculo es esencialmente la ventana deslizante sobre datos ordenados, mientras que MR es el procesamiento de los rangos no intersectados de los datos ordenados. Solución que veo es como sigue: a) Para implementar particionador personalizado para poder hacer dos particiones diferentes en dos ejecuciones. En cada ejecución, los reductores obtendrán diferentes rangos de datos y calcularán el promedio móvil cuando sea apropiado. Voy a tratar de ilustrarlo: En la primera ejecución, los datos de los reductores deberían ser: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Aquí usted cacluate el promedio móvil para algunos Qs. En la próxima ejecución, los reductores deberían obtener datos como: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 Y caclular el resto de promedios móviles. A continuación, tendrá que agregar los resultados. Idea de particionista personalizado que tendrá dos modos de funcionamiento - cada vez que se divide en rangos iguales, pero con algún cambio. En un pseudocódigo se verá así. Partición (keySHIFT) / (MAXKEY / numOfPartitions) donde: SHIFT se tomará de la configuración. MAXKEY valor máximo de la clave. Supongo que por simplicidad empiezan con cero. RecordReader, IMHO no es una solución ya que se limita a la división específica y no se puede deslizar sobre el límite de divisiones. Otra solución sería implementar la lógica personalizada de dividir datos de entrada (es parte del InputFormat). Se puede hacer para hacer 2 diapositivas diferentes, similar a la partición. Cuando el cálculo de un promedio móvil corriendo, colocando el promedio en el período de tiempo medio tiene sentido En el ejemplo anterior que calculó el promedio de los primeros 3 períodos de tiempo y lo colocó al lado del período 3. Podríamos haber colocado El promedio en el medio del intervalo de tiempo de tres períodos, es decir, al lado del período 2. Esto funciona bien con períodos de tiempo impares, pero no tan bueno para incluso períodos de tiempo. Entonces, ¿dónde colocaríamos el primer promedio móvil cuando M 4 Técnicamente, el promedio móvil caería en t 2,5, 3,5. Para evitar este problema, suavizamos las MA usando M 2. Así, suavizamos los valores suavizados Si promedio un número par de términos, necesitamos suavizar los valores suavizados La tabla siguiente muestra los resultados usando M 4.Moving Average: What it is Y cómo calcularlo Ver el video o leer el artículo a continuación: Un promedio móvil es una técnica para obtener una idea general de las tendencias en un conjunto de datos que es un promedio de cualquier subconjunto de números. El promedio móvil es extremadamente útil para pronosticar tendencias a largo plazo. Puede calcularlo por cualquier período de tiempo. Por ejemplo, si tiene datos de ventas para un período de veinte años, puede calcular una media móvil de cinco años, una media móvil de cuatro años, una media móvil de tres años, etc. Analistas del mercado de valores a menudo utilizan una media móvil de 50 o 200 días para ayudarles a ver las tendencias en el mercado de valores y (con suerte) pronosticar dónde se dirigen las acciones. Un promedio representa el valor 8220middling8221 de un conjunto de números. El promedio móvil es exactamente el mismo, pero el promedio se calcula varias veces para varios subconjuntos de datos. Por ejemplo, si desea un promedio móvil de dos años para un conjunto de datos de 2000, 2001, 2002 y 2003, encontrará promedios para los subconjuntos 2000/2001, 2001/2002 y 2002/2003. Los promedios móviles suelen representarse gráficamente y se visualizan mejor. Cálculo de una media móvil de 5 años Ejemplo Ejemplo Problema: Calcule una media móvil de cinco años a partir del siguiente conjunto de datos: (4M 6M 5M 8M 9M) / 5 6.4M Las ventas promedio del segundo subconjunto de cinco años (2004 8211 2008) . Centrado alrededor de 2006, es 6.6M: (6M 5M 8M 9M 5M) / 5 6.6M Las ventas medias para el tercer subconjunto de cinco años (2005 8211 2009). Centrado alrededor de 2007, es 6.6M: (5M 8M 9M 5M 4M) / 5 6.2M Continúe calculando cada promedio quinquenal, hasta que usted alcance el final del sistema (2009-2013). Esto le da una serie de puntos (promedios) que puede usar para trazar un gráfico de promedios móviles. La siguiente tabla de Excel muestra las medias móviles calculadas para 2003-2012 junto con un diagrama de dispersión de los datos: Vea el video o lea los pasos a continuación: Excel tiene un potente complemento, el Data Analysis Toolpak (cómo cargar los datos Analysis Toolpak) que le ofrece muchas opciones adicionales, incluyendo una función de media móvil automatizada. La función no sólo calcula el promedio móvil para usted, sino que también grafica los datos originales al mismo tiempo. Lo que le ahorra un montón de pulsaciones de teclas. Paso 3: Haga clic en el cuadro 8220Input Range8221 y, a continuación, seleccione los datos. Haga clic en la ficha 8220Data8221 y, a continuación, haga clic en 8220Data Analysis.8221 Paso 2: Haga clic en 8220Moving average8221 y luego haga clic en 8220OK.8221. Si incluye encabezados de columna, asegúrese de marcar el cuadro Etiquetas en primera fila. Paso 4: Escriba un intervalo en el cuadro. Un intervalo es el número de puntos anteriores que desea que Excel utilice para calcular el promedio móvil. Por ejemplo, 822058221 usaría los 5 puntos de datos anteriores para calcular el promedio para cada punto subsiguiente. Cuanto más bajo sea el intervalo, más cerca será su media móvil de su conjunto de datos original. Paso 5: Haga clic en el cuadro 8220Output Range8221 y seleccione un área en la hoja de trabajo donde desea que aparezca el resultado. O, haga clic en el 8220New worksheet8221 botón de opción. Paso 6: Marque el cuadro 8220Chart Output8221 si desea ver un gráfico de su conjunto de datos (si se olvida de hacer esto, siempre puede volver y agregarlo o elegir un gráfico de la 8220Insert8221 tab.8221 Paso 7: Presione 8220OK .8221 Excel devolverá los resultados en el área especificada en el paso 6. Ver el vídeo o leer los pasos siguientes: Pasos Ejemplo de problema: Calcule el promedio móvil de tres años en Excel para los siguientes datos de ventas: 2003 (33M), 2004 (22M), 2005 (36M), 2006 (34M), 2007 (43M), 2008 (39M), 2009 (41M), 2010 (36M), 2011 (45M), 2012 (56M), 2013 (64M). Paso 1: Escriba sus datos en dos columnas en Excel. La primera columna debe tener el año y la segunda columna los datos cuantitativos (en este ejemplo el problema, las cifras de ventas). Asegúrese de que no hay filas en blanco en los datos de su celda. 2) Calcule el primer promedio de tres años (2003-2005) para los datos Para este problema de ejemplo, escriba 8220 (B2B3B4) / 38221 en la celda D3 Calcule el primer promedio Paso 3: Arrastre el cuadrado en la esquina inferior derecha Hacia abajo para mover la fórmula a todas las celdas de la columna. Esto calcula los promedios de los años sucesivos (por ejemplo, 2004-2006, 2005-2007). Arrastre la fórmula. Paso 4: (Opcional) Cree un gráfico. Seleccione todos los datos de la hoja de cálculo. Haga clic en la ficha 8220Insert8221, luego haga clic en 8220Scatter, 8221 y luego haga clic en 8220Scatter con líneas suaves y marcadores.8221 Un gráfico de su promedio móvil aparecerá en la hoja de cálculo. Consulta nuestro canal de YouTube para obtener más información y ayuda sobre estadísticas. Media móvil: ¿Qué es y cómo se calcula? Fue modificado por última vez: 8 de enero de 2016 por Andale 20 pensamientos sobre ldquo Promedio móvil: ¿Qué es y cómo calcularlo? Perfecto y simple de asimilar. Gracias por el trabajo Esto es muy claro e informativo. Pregunta: ¿Cómo se calcula una media móvil de 4 años ¿En qué año se centrará el promedio móvil de 4 años Se centrará al final del segundo año (es decir, el 31 de diciembre). ¿Puedo usar ingresos medios para pronosticar las ganancias futuras nadie sabe sobre medio centrado, por favor, amablemente dígame si alguien sabe. Aquí es porque tenemos que considerar 5 años para conseguir la media que está en el centro. Entonces, qué pasa con los años de descanso si queremos obtener la media de 20118230, ya que no tenemos más valores después de 2012, entonces ¿cómo lo calculamos Como usted Don8217t tiene más información que sería imposible calcular el MA de 5 años para 2011. Usted podría conseguir una media móvil de dos años sin embargo. Hola, gracias por el video. Sin embargo, una cosa no está clara. Cómo hacer una previsión para los próximos meses El video muestra la previsión de los meses para los que ya hay datos disponibles. Hola, Raw, I8217m trabajando en la ampliación del artículo para incluir la previsión. El proceso es un poco más complicado que usar datos pasados. Echa un vistazo a este artículo de la Universidad de Duke, que explica en profundidad. Saludos, Stephanie gracias por una explicación clara.
No comments:
Post a Comment